KVQuant permet de lancer des modèles de 70 milliards de paramètres sur 8 Go de RAM
Une technique de quantisation 4-bit du cache clé-valeur réduit la mémoire requise pour les grands modèles.
Les modèles de 70 milliards de paramètres deviennent accessibles sur des appareils de 8 Go de RAM.
Les chiffres du fait
70 milliards de paramKVQuant permet de lancer des modèles de 70 milliards de paramètres sur 8 Go de RAM
Le fil de l’événement13 faits · 23 avr. → 16 juil.