Un article retrace l'histoire technique de l'architecture Transformer, montrant qu'elle n'a pas émergé soudainement en 2022 mais s'inscrivait dans une continuité de recherche plus longue.
Les grands modèles de langage, popularisés par le lancement de ChatGPT comme prototype expérimental fin 2022, modifient profondément les pratiques de recherche scientifique.
Un tutoriel détaille la construction d'un modèle GPT fonctionnel en quatre fichiers de code, couvrant toute l'architecture d'un transformateur moderne.