db_locking_serverless_bottleneck

Llama-Server en mode routeur : basculer de modèle sans redémarrage

• Llama.cpp ajoute un mode routeur pour basculer dynamiquement entre modèles IA sans redémarrage du serveur.
• Cette limitation historique de llama.cpp bloquait les déploiements multi-modèles en production.
• Le nouveau mode router permet une utilisation plus flexible des ressources GPU.

Lire à la source