Un tutoriel implémente deux motifs architecturaux fondamentaux des transformers modernes : la normalisation RMS (Root Mean Square) et les connexions résiduelles.
Un article retrace l'histoire technique de l'architecture Transformer, montrant qu'elle n'a pas émergé soudainement en 2022 mais s'inscrivait dans une continuité de recherche plus longue.
Une architecture neuronale combinant mémoire générative et mémoire traditionnelle adresse le problème d'oubli catastrophal en apprentissage continu, où les modèles oublient des tâches antérieures lors de l'acquisition de nouvelles.
La troisième partie d'une série d'articles démontre comment un Transformer entraîné peut effectuer des inférences en temps réel sans latence perceptible.