Google komprimiert LLM-Cache auf 3 Bit ohne Genauigkeitsverlust

Auszug aus dem Beitrag von Heise.de

Googles TurboQuant drückt den KV-Cache großer Sprachmodelle auf 3 Bit. Die Genauigkeit soll bleiben, die Geschwindigkeit sich vervielfachen.