Bonsai 27B : un modèle d'IA de 27 milliards de paramètres compressé pour iPhone

PrismML a compressé un modèle d'IA de 27 milliards de paramètres à moins de 4 Go, permettant son exécution sur un iPhone tout en conservant 90 % des performances d'origine. Les benchmarks internes montrent des résultats quasi inchangés en mathématiques et en codage, malgré la réduction de taille. Apple testerait déjà cette technologie de compression pour renforcer ses capacités d'IA locale et combler son retard.