وسم

#quantization

مقالتان

الذكاء الاصطناعي والتعلم الآلي٦ أبريل ٢٠٢٦١١ دقيقة
TurboQuant من Google: استهلاك ذاكرة أقل بـ ٦ مرات لاستنتاج LLM (٢٠٢٦)
تقوم أداة TurboQuant من Google بضغط ذاكرة KV caches الخاصة بنماذج LLM إلى ٣ بت دون أي فقدان في الدقة، مما يقلل استهلاك الذاكرة بمقدار ٦ مرات ويسرع حسابات attention في معالجات H100 حتى ٨ مرات مقارنة بـ FP32.
نماذج اللغة والتكامل١٥ نوفمبر ٢٠٢٥١١ دقيقة
بناء نماذج ذكاء اصطناعي خاصة باستخدام Open Source LLMs
أنشئ نماذج AI الخاصة باستخدام LLMs مفتوحة المصدر: Llama, Mistral, Qwen, Gemma. Fine-tuning، والامتثال لـ GDPR و HIPAA، وDeploying على hardware خاص بك.

كل المقالات في #quantization (٢)

TurboQuant من Google: استهلاك ذاكرة أقل بـ ٦ مرات لاستنتاج LLM (٢٠٢٦)