Les endpoints LLM publics séparent cache HTTP et inférence pour réduire les coûts

Une approche utilise les requêtes GET pour servir un cache et les POST pour exécuter l'inférence. Cette séparation optimise les coûts en évitant les appels inférences inutiles via le cache. La stratégie améliore la sécurité en limitant l'exécution de code aux requêtes POST.