Briser le piège spéculatif MoE : 460 tokens par seconde sur AMD Strix Halo

Une optimisation révèle comment améliorer significativement la vitesse d'inférence des modèles Mixture of Experts sur AMD Strix Halo. Le trick évite le goulot d'étranglement spéculatif courant et atteint 460 tokens par seconde. Cette technique peut réduire les coûts d'infrastructure pour les déploiements IA sur edge.