KVQuant permet de lancer des modèles de 70 milliards de paramètres sur 8 Go de RAM
Une technique de quantisation 4-bit du cache clé-valeur réduit la mémoire requise pour les grands modèles.
Les modèles de 70 milliards de paramètres deviennent accessibles sur des appareils de 8 Go de RAM.
1 rédaction rapporte ce fait
Factae établit le fait ; chaque récit est à un clic, chez sa rédaction.
