Les fenêtres contextuelles élargies n'améliorent pas la qualité des systèmes RAG

Une étude révèle que l'augmentation de la taille des fenêtres contextuelles (tokens) dans les systèmes RAG (Retrieval-Augmented Generation) ne se traduit pas par une meilleure qualité de récupération des données.

Publié 1sem1 média

Read in English

≈ 33sVitesse

Le fait

Les auteurs soulignent que la pertinence des informations récupérées prime sur le volume de tokens injectés dans le prompt.

Cette observation remet en question l'hypothèse selon laquelle des modèles avec des fenêtres contextuelles plus larges (ex. 128k tokens) améliorent systématiquement les résultats.

Cliquez sur le lien pour lire un article sur le sujet :