Pourquoi votre LLM oublie tout : le mensonge de la fenêtre de contexte
Un article démonte le mythe marketing des fenêtres de contexte massives (100K+ tokens) : la rétention d'informations en milieu de séquence chute drastiquement au-delà de 8K tokens.
Publié 10sem·1 média·Important·maj 10sem
≈ 31s
Le fait
Ce phénomène, appelé « middle-token loss », limite l'efficacité réelle des longs contextes déclarés par les éditeurs de modèles.
Les développeurs doivent redessiner leurs stratégies de retrieval pour ne pas surcharger les modèles avec des données inutiles.
Impact observé
Stratégies RAG doivent segmenter requêtes pour contourner la perte mid-token
Le modèle DeepSeek-V4 devient accessible avec un contexte de un million de tokens, démocratisant la fenêtre d'attention massive jusqu'à présent réservée aux modèles premium.