Pourquoi votre LLM oublie tout : le mensonge de la fenêtre de contexte

Un article démonte le mythe marketing des fenêtres de contexte massives (100K+ tokens) : la rétention d'informations en milieu de séquence chute drastiquement au-delà de 8K tokens. Ce phénomène, appelé « middle-token loss », limite l'efficacité réelle des longs contextes déclarés par les éditeurs de modèles. Les développeurs doivent redessiner leurs stratégies de retrieval pour ne pas surcharger les modèles avec des données inutiles.