Au-delà des LLM standards : nouvelles architectures émergentes

Exploration des hybrides à attention linéaire comme alternative aux transformers classiques pour réduire la complexité computationnelle Diffusion textuelle et world models pour le code émergent comme nouveaux paradigmes d'apprentissage au-delà des approches autorégressives Petits transformers récursifs étudiés pour améliorer l'efficacité et la scalabilité des modèles de langage