OpenAI révèle que 30 % des tâches d'un benchmark d'IA en codage sont défectueuses
OpenAI a analysé SWE-Bench Pro, un benchmark couramment utilisé pour évaluer les compétences en programmation des modèles d'IA, et identifié que près de 30 % de ses tâches sont invalides ou défectueuses.
Publié 1sem1 média
Read in English
≈ 34s
Le fait
L'entreprise retire son soutien à ce benchmark après cette découverte, remettant en question sa fiabilité pour mesurer les performances des modèles d'IA.
Cette révélation soulève des interrogations sur la robustesse des évaluations actuelles des capacités des LLM en développement logiciel.
Cliquez sur le lien pour lire un article sur le sujet :