La loi de Goodhart ruine les modèles d'IA, alerte un développeur senior de 20 ans
Un développeur expérimenté observe que la loi de Goodhart — quand une mesure devient un objectif, elle cesse d'être une bonne mesure — s'applique directement aux métriques d'évaluation des modèles d'IA actuels. Les entreprises optimisant exclusivement sur des benchmarks publics (MMLU, HumanEval) sacrifient les vrais problèmes de robustesse, biais et généralisation. Cette distorsion métrique compromet la qualité réelle des modèles d'IA, créant une illusion de progrès tout en empirant les performances dans les cas d'usage réels.
29 avr. · 1 source