Briser le piège spéculatif MoE : 460 tokens par seconde sur AMD Strix Halo

• Une optimisation révèle comment améliorer significativement la vitesse d'inférence des modèles Mixture of Experts sur AMD Strix Halo.
• Le trick évite le goulot d'étranglement spéculatif courant et atteint 460 tokens par seconde.
• Cette technique peut réduire les coûts d'infrastructure pour les déploiements IA sur edge.

1 rédaction rapporte ce fait

Factae établit le fait ; chaque récit est à un clic, chez sa rédaction.