#kimi-delta-attention

الذكاء الاصطناعي والتعلم الآلي٢ مايو ٢٠٢٦١١ دقيقة

FlashKDA: كيرنل CUTLASS من Moonshot لـ Kimi Linear (٢٠٢٦)

قامت Moonshot بطرح FlashKDA كمصدر مفتوح، وهو عبارة عن CUTLASS CUDA kernel لـ Kimi Delta Attention. يمكن استخدامه كبديل مباشر لـ flash-linear-attention مع زيادة في سرعة الـ prefill تصل إلى 2.22x على معالجات H20 GPUs.