ByteDance et Renmin University lancent iLLaDA, un modèle de langage par diffusion rival de Qwen2.5

iLLaDA, un modèle de langage de 8 milliards de paramètres, utilise une approche par diffusion plutôt que l'architecture traditionnelle des LLM comme ChatGPT. Le modèle atteint des performances comparables à Qwen2.5 à l'état de base, mais accuse un retard après l'étape de fine-tuning. Développé en collaboration entre des chercheurs de l'Université Renmin et ByteDance, il explore une alternative aux architectures autoregressives dominantes.