وسم

#llm-inference

٣ مقالات

الذكاء الاصطناعي والتعلم الآلي٢ مايو ٢٠٢٦١١ دقيقة
FlashKDA: كيرنل CUTLASS من Moonshot لـ Kimi Linear (٢٠٢٦)
قامت Moonshot بطرح FlashKDA كمصدر مفتوح، وهو عبارة عن CUTLASS CUDA kernel لـ Kimi Delta Attention. يمكن استخدامه كبديل مباشر لـ flash-linear-attention مع زيادة في سرعة الـ prefill تصل إلى 2.22x على معالجات H20 GPUs.
الذكاء الاصطناعي والتعلم الآلي٦ أبريل ٢٠٢٦١١ دقيقة
TurboQuant من Google: استهلاك ذاكرة أقل بـ ٦ مرات لاستنتاج LLM (٢٠٢٦)
تقوم أداة TurboQuant من Google بضغط ذاكرة KV caches الخاصة بنماذج LLM إلى ٣ بت دون أي فقدان في الدقة، مما يقلل استهلاك الذاكرة بمقدار ٦ مرات ويسرع حسابات attention في معالجات H100 حتى ٨ مرات مقارنة بـ FP32.
الذكاء الاصطناعي والتعلم الآلي٥ أبريل ٢٠٢٦١١ دقيقة
AirLLM: تشغيل نماذج 70B على GPU سعة 4GB — الضجة مقابل الواقع
AirLLM بيشغل 70B LLMs على GPU واحدة 4GB من خلال layer-wise inference — مفيش حاجة لـ quantization. بنختبر الادعاءات دي، وبنقيس الـ tradeoffs، وبنقارن البدائل.

كل المقالات في #llm-inference (٣)

FlashKDA: كيرنل CUTLASS من Moonshot لـ Kimi Linear (٢٠٢٦)