Étude propose une méthode pour améliorer la mémorisation des petits modèles de langage avec des ordinateurs neuronaux différentiables

Une recherche aborde le problème de l'oubli des faits par les petits modèles de langage (LLM). Contrairement aux grands modèles comme GPT-4, les petits LLM peinent à stocker des connaissances dans leurs paramètres. Les auteurs suggèrent l'utilisation d'ordinateurs neuronaux différentiables comme solution.