Un article retrace l'histoire technique de l'architecture Transformer, montrant qu'elle n'a pas émergé soudainement en 2022 mais s'inscrivait dans une continuité de recherche plus longue.
Un article exploratoire sur l'histoire des représentations vectorielles en informatique, des débuts de l'algèbre linéaire aux embeddings dans les LLM d'aujourd'hui.
Une recherche académique montre que plusieurs modèles de langage indépendants développent des représentations internes similaires pour les concepts numériques.