دوره LLMOps

طول مدت دوره: ۶ روز

مخاطبان:

  • مهندسان DevOps

LLMOps چیست؟

این دوره مهندسین هوش مصنوعی را برای طراحی، پیاده‌سازی و مدیریت زیرساخت‌های سخت‌افزاری و بک‌اند مدل‌های زبانی بزرگ آماده می‌کند. مسئولیت یک مهندس LLMOps شامل انتخاب و بهینه‌سازی سخت‌افزار مناسب، طراحی سیستم‌های مقیاس‌پذیر و پایدار برای آموزش و سرویس‌دهی مدل‌ها است. او باید از ابزارهای مدرن برای آموزش توزیع‌شده، استقرار امن و پایدار مدل‌ها و مدیریت هزینه‌های عملیاتی استفاده کند. همچنین بر روی عملکرد سیستم، تضمین امنیت داده‌ها و رعایت استانداردهای قانونی و اخلاقی نظارت داشته باشد.

محورهای تخصصی دوره

  • ‎LLM‎ مبانی زیرساخت‌های

  • ‎LLMطراحی سخت‌افزار برای

  • سیستم‌های بک‌اند و استقرار مدل

  • ‎LLMعملیت و پایش

  • موضوعات پیشرفته و کاربردهای عملی

هزینه دوره: ۸.۰۰۰.۰۰۰ تومان

سرفصل‌های دوره

۱- نقشه میدان: مفاهیم و معماری LLMOps

آشنایی با مفاهیم پایه، چرخه عمر مدل‌های زبانی و چالش‌های عملیاتی

  • تفاوت LLM با مدل‌های سنتی ML
  • بررسی چرخه عمر LLM
  • مولفه‌های LLMOps
  • مرور ابزارها و پشته‌ی فنی LLMOps
  • مدیریت داده با DVC
۲- بازخوانی هوشمند: RAG و پرامپت‌نویسی

توانمندسازی در ترکیب داده‌های بیرونی با LLM  از طریق RAG

  • مهندسی پرامپت: تکنیک‌ها و الگوهای رایج
  • ساختار معماری RAG
  • ذخیره و بازیابی برداری با FAISS، Qdrant، Pinecone
  • استفاده از LangChain یا LlamaIndex برای اتصال به دیتابیس
  • کارگاه: ساخت یک RAG ساده با داده‌های واقعی
۳- مدل سفارشی شما: اصول fine-tuning

آموزش روش‌های تنظیم مدل برای کاربردهای خاص

  • مقدمه بر fine-tuning در مقابل مهندسی پرامپت
  • روش‌های بهینه‌سازی: LoRA، PEFT، QLoRA
  • استفاده از PEFT + Transformers در Hugging Face
  • کارگاه: تنظیم یک مدل کوچک روی داده‌ خاص کسب‌وکار
۴- مدل روی میز: میزبانی مدل‌ها در عمل

آموزش نحوه‌ی راه‌اندازی و سرویس‌دهی مدل‌های LLM  به شکل بهینه

  • بررسی معماری inference و سرویس‌دهی
  • GPU vs. CPU
  • ابزارها: vLLM، TGI، Triton، FastAPI
  • معرفی Hugging Face Inference API
  • کارگاه: توسعه یک مدل به کمک vLLM
۵- دیده‌بانی مدل: مانیتورینگ، امنیت و حاکمیت

آموزش اصول نظارت، ثبت لاگ و حفاظت از خروجی‌های مدل

  • ابزارهای پایش: Prometheus، Grafana، Langfuse
  • مخاطرات LLM و ابزارهای حفاظت
  • سیاست‌های Responsible AI
  • کارگاه: افزودن فیلتر به پاسخ LLM
۶- راه‌اندازی نهایی: مقیاس‌پذیری و تست بار

آماده‌سازی کامل برای استقرار در محیط تولید واقعی

  • پیاده‌سازی CI/CD با GitLab و مدل‌ورژنینگ
  • استقرار در Docker و Kubernetes
  • مقیاس‌پذیری پویا با ابزارهایی مثل KEDA
  • تست بار با Locust یا Vegeta
  • راهبردهای مدیریت هزینه

سخنرانان کلیدی

Alexey Lukatsky
Alexey LukatskyCISO Advisor
بیشتر بخوانید
How to achieve a result-oriented cybersecurity and why risk management doesn’t work properly in modern world
Mikhail Kader
Mikhail KaderSenior Security Architecture
بیشتر بخوانید
Architectural features of a result-oriented Cyber Security Center
Aytekin Guzelis
Aytekin GuzelisCISO
بیشتر بخوانید
The Future CISO: Present and Future of Security Leadership
دکتر محمدرضا عارف
دکتر محمدرضا عارفاستاد تمام دانشگاه صنعتی شریف
بیشتر بخوانید
سخنرانی افتتاحیه
قبل
بعدی

اساتید دوره

علی عدالت

استاد دوره

مهندس ارشد توسعه LLM شرکت ژرفاتک؛ دانش‌آموخته دانشگاه تهران

عرفان باقری

استاد دوره

مهندس ارشد زیرساخت LLM شرکت ژرفاتک؛ دانش‌آموخته دانشگاه صنعتی شریف

امیرمحمد غضنفری

استاد دوره

مهندس ارشد زیرساخت LLM شرکت ژرفاتک؛ دانش‌آموخته دانشگاه صنعتی امیرکبیر