Modèles linguistiques petits : donner une mémoire externe et structurée

Étude propose une méthode pour améliorer la mémorisation des petits modèles de langage avec des ordinateurs neuronaux différentiables

• Une recherche aborde le problème de l'oubli des faits par les petits modèles de langage (LLM).
• Contrairement aux grands modèles comme GPT-4, les petits LLM peinent à stocker des connaissances dans leurs paramètres.
• Les auteurs suggèrent l'utilisation d'ordinateurs neuronaux différentiables comme solution.

Lire à la source