Pourquoi les petits modèles de langage échouent sur les tâches rares

Une étude révèle que les petits modèles oublient les tâches rares car les tâches fréquentes les écrasent lors de l'entraînement Les chercheurs ont testé des modèles de 4 millions à 4 milliards de paramètres pour identifier ce mécanisme Augmenter la fréquence de la tâche cible dans les données d'entraînement pourrait suffire, sans avoir besoin de scale up