La synthèse générative transforme les transformers pour produire chaque mot de sortie

Une série didactique décortique le processus de génération mot par mot dans les modèles transformers de langage. Cet article approfondit les connexions résiduelles et le mécanisme d'attention pour expliquer l'génération de tokens en sortie.