Intelligence artificielle
Amazon SageMaker HyperPod accélère l'inférence avec un cache de modèles
- Amazon SageMaker HyperPod intègre un cache de modèles pour l'inférence.
- Les poids et images de conteneurs sont préchargés sur les nœuds, réduisant les démarrages à froid.
- Les temps de latence passent de plusieurs minutes à quelques secondes.
Lire à la source
