متوسط
بنية إنتاج نماذج اللغة الكبيرة: التقديم عالي الأداء والتحسين
أتقن تحسين استدلال نماذج اللغة الكبيرة باستخدام vLLM وTensorRT-LLM ومراقبة الإنتاج. تعلم إدارة KV cache والفك الترميزي التخميني وبوابات LLM واستراتيجيات تحسين التكلفة لنشر الذكاء الاصطناعي على نطاق المؤسسات.
٧٦ دقيقة٢٢ درسًا٦ وحداتDevOps
ماذا ستتعلم
- تحسين أداء استدلال نماذج اللغة الكبيرة باستخدام vLLM و TensorRT-LLM
- تنفيذ إدارة KV cache للاستخدام الفعال للذاكرة
- تطبيق تقنيات فك الترميز التخميني لتوليد الرموز بشكل أسرع
- تصميم ونشر بوابات LLM مع LiteLLM للتوجيه متعدد المزودين
- تنفيذ استراتيجيات تحسين التكلفة للنشر على نطاق المؤسسات
محتوى الدورة
أساسيات استدلال نماذج اللغة الكبيرة
٤ دروس · ١٤ دقيقة- خط أنابيب استدلال نماذج اللغة الكبيرةبدون تسجيل٤ دقائق
- مقفل حتى تسجّل في الدورةKV Cache: أساس تحسين الذاكرة٤ دقائق
- مقفل حتى تسجّل في الدورةاستراتيجيات التجميع لأقصى إنتاجية٣ دقائق
- مقفل حتى تسجّل في الدورةالفك الترميزي التخميني لتوليد أسرع٣ دقائق
- اختبار: الوحدة ١: أساسيات استدلال نماذج اللغة الكبيرة
vLLM ومحركات الاستدلال مفتوحة المصدر
٤ دروس · ١٤ دقيقة- مقفل حتى تسجّل في الدورةبنية vLLM والمفاهيم الأساسية٤ دقائق
- مقفل حتى تسجّل في الدورةنشر vLLM في الإنتاج٤ دقائق
- مقفل حتى تسجّل في الدورةمحركات الاستدلال البديلة: TGI وOpenLLM وSGLang٣ دقائق
- مقفل حتى تسجّل في الدورةالتخزين المؤقت للبادئة والتحسين المتقدم٣ دقائق
- اختبار: الوحدة ٢: vLLM ومحركات الاستدلال مفتوحة المصدر
TensorRT-LLM وتحسين GPU
٤ دروس · ١٤ دقيقة- مقفل حتى تسجّل في الدورةمعمارية TensorRT-LLM والإعداد٤ دقائق
- مقفل حتى تسجّل في الدورةتقنيات تكميم نماذج اللغة الكبيرة٤ دقائق
- مقفل حتى تسجّل في الدورةتحسين Blackwell GPU٣ دقائق
- مقفل حتى تسجّل في الدورةضبط أداء TensorRT-LLM٣ دقائق
- اختبار: الوحدة ٣: TensorRT-LLM وتحسين GPU
قابلية المراقبة الإنتاجية
٤ دروس · ١٤ دقيقة- مقفل حتى تسجّل في الدورةأساسيات قابلية مراقبة LLM٤ دقائق
- مقفل حتى تسجّل في الدورةLangfuse: قابلية مراقبة LLM مفتوحة المصدر٤ دقائق
- مقفل حتى تسجّل في الدورةHelicone: وكيل LLM عالي الأداء٣ دقائق
- مقفل حتى تسجّل في الدورةLangSmith: منصة قابلية المراقبة من LangChain٣ دقائق
- اختبار: الوحدة ٤: قابلية المراقبة الإنتاجية
بوابات LLM والتوجيه
٣ دروس · ١٠ دقائق- مقفل حتى تسجّل في الدورةمعمارية بوابة LLM٣ دقائق
- مقفل حتى تسجّل في الدورةLiteLLM: بوابة LLM الموحدة٤ دقائق
- مقفل حتى تسجّل في الدورةاستراتيجيات توجيه النماذج٣ دقائق
- اختبار: الوحدة ٥: بوابات LLM والتوجيه
تحسين التكلفة والتوسع
٣ دروس · ١٠ دقائق- مقفل حتى تسجّل في الدورةتحليل تكلفة LLM٣ دقائق
- مقفل حتى تسجّل في الدورةاستراتيجيات تحسين التكلفة٤ دقائق
- مقفل حتى تسجّل في الدورةأنماط التوسع٣ دقائق
- اختبار: الوحدة ٦: تحسين التكلفة والتوسع