Le débat tokenmaxxing manque le vrai sujet : comment optimiser le temps du modèle
Jensen Huang d'NVIDIA recommande que tout ingénieur consomme 100 000 tokens par jour pour exploiter les LLMs modernes, mais ce conseil manque le vrai défi : comment optimiser le temps d'inférence du modèle plutôt que juste consommer plus de tokens.
Des ingénieurs partagent des techniques d'optimisation pour réduire les crashs et coûts des modèles LLM en production : speculative decoding, shrinking draft models.