Intelligence artificielle
AWS lance un conteneur Ray Serve pour simplifier l'inférence GPU avec TorchServe
- AWS propose un conteneur Deep Learning Ray Serve pour remplacer TorchServe, non maintenu.
- Le conteneur pré-assemblé intègre framework, pilotes GPU et couche de service pour Amazon EKS.
- Il permet de déployer des modèles vision-langage sans gérer l'intégralité de la pile d'inférence.
Lire à la source
