#kv-cache

الذكاء الاصطناعي والتعلم الآلي٦ أبريل ٢٠٢٦١١ دقيقة

TurboQuant من Google: استهلاك ذاكرة أقل بـ ٦ مرات لاستنتاج LLM (٢٠٢٦)

تقوم أداة TurboQuant من Google بضغط ذاكرة KV caches الخاصة بنماذج LLM إلى ٣ بت دون أي فقدان في الدقة، مما يقلل استهلاك الذاكرة بمقدار ٦ مرات ويسرع حسابات attention في معالجات H100 حتى ٨ مرات مقارنة بـ FP32.