Tutoriel
Briser le piège spéculatif MoE : 460 tokens par seconde sur AMD Strix Halo
- Une optimisation révèle comment améliorer significativement la vitesse d'inférence des modèles Mixture of Experts sur AMD Strix Halo.
- Le trick évite le goulot d'étranglement spéculatif courant et atteint 460 tokens par seconde.
- Cette technique peut réduire les coûts d'infrastructure pour les déploiements IA sur edge.
Lire à la source