Intelligence artificielle1 rédaction
Amazon lance SageMaker HyperPod Inference Gateway pour optimiser l'IA générative
- Amazon introduit un module Kubernetes natif pour Amazon EKS, réduisant la latence des requêtes IA jusqu'à 82 %.
- L'outil utilise des signaux GPU en temps réel pour router les demandes vers les pods les plus adaptés.
- Aucune modification des serveurs de modèles ou des applications clientes n'est requise.
1 rédaction rapporte ce fait
Factae établit le fait ; chaque récit est à un clic, chez sa rédaction.
82 %Amazon introduit un module Kubernetes natif pour Amazon EKS, réduisant la latence des requêt…
Le fil de l’événement
- Qualcomm et Amazon scellent un partenariat sur l'inférence IA via un échange d'actions
- Amazon lance SageMaker HyperPod Inference Gateway pour optimiser l'IA générative