الذكاء الاصطناعي والتعلم الآلي١١ دقيقة
TurboQuant من Google: استهلاك ذاكرة أقل بـ ٦ مرات لاستنتاج LLM (٢٠٢٦)
تقوم أداة TurboQuant من Google بضغط ذاكرة KV caches الخاصة بنماذج LLM إلى ٣ بت دون أي فقدان في الدقة، مما يقلل استهلاك الذاكرة بمقدار ٦ مرات ويسرع حسابات attention في معالجات H100 حتى ٨ مرات مقارنة بـ FP32.