Informatique
vLLM 0.28.0 : une mise à jour majeure pour la bibliothèque d'inférence LLM
- La version 0.28.0 de vLLM améliore les performances d'inférence des modèles de langage.
- Cette release introduit des optimisations pour les GPU et une meilleure gestion de la mémoire.
- Elle cible les développeurs et les entreprises utilisant des LLM en production.
Lire à la source