Llama-Server en mode routeur : basculer de modèle sans redémarrage
Llama.cpp ajoute un mode routeur pour basculer dynamiquement entre modèles IA sans redémarrage du serveur.
Cette limitation historique de llama.cpp bloquait les déploiements multi-modèles en production.
Le nouveau mode router permet une utilisation plus flexible des ressources GPU.
Le fil de l’événement13 faits · 22 avr. → 19 juil.