ساخت LLM از صفر؛ آموزش ساخت مدل‌های زبانی بزرگ با پایتون

اگر تا امروز فقط از ChatGPT و مدل‌های هوش مصنوعی استفاده کردی، وقتشه یک قدم جلوتر بری و بفهمی پشت صحنه این مدل‌ها دقیقاً چه اتفاقی می‌افته.

این دوره برای کسانی ساخته شده که نمی‌خوان صرفاً کاربر هوش مصنوعی باشن؛ بلکه می‌خوان معماری، منطق و فرآیند ساخت یک Large Language Model (LLM) رو از پایه تا سطح پیشرفته یاد بگیرن.

در این آموزش، هیچ مفهومی از قبل فرض گرفته نشده و همه چیز از صفر، با مثال‌های عملی و کدنویسی واقعی در Python آموزش داده میشه.

در این دوره چه چیزی یاد می‌گیری؟

از اولین جلسه تا انتهای دوره، قدم‌به‌قدم یک LLM را می‌سازیم و تمام اجزای آن را بررسی می‌کنیم.

آشنایی با دنیای LLMها

در ابتدا با مفاهیم پایه آشنا میشی و درک درستی از نحوه عملکرد مدل‌های زبانی به دست میاری.

در این بخش یاد می‌گیری:

• LLM چیست و چگونه کار می‌کند؟
• تفاوت Language Model و Large Language Model
• تفاوت Pretraining و Fine-tuning
• مراحل ساخت یک مدل زبانی بزرگ
• اجزای اصلی یک LLM

یادگیری معماری Transformer

تقریباً تمام مدل‌های مدرن مثل GPT بر پایه Transformer ساخته شده‌اند.

در این بخش یاد می‌گیری:

• معماری Transformer
• دلیل موفقیت Transformerها
• ساختار GPT
• مسیر عبور داده داخل مدل
• نقش هر لایه در پردازش متن

پیاده‌سازی کامل بخش پردازش داده‌ها

قبل از آموزش مدل، باید داده‌ها آماده شوند.

در این قسمت به صورت عملی یاد می‌گیری:

• ساخت Tokenizer از صفر
• پیاده‌سازی Byte Pair Encoding (BPE)
• آماده‌سازی دیتاست
• ساخت Input و Target
• کار با DataLoader
• ساخت Token Embedding
• پیاده‌سازی Positional Embedding
• طراحی کامل Data Pipeline

Attention را واقعاً درک می‌کنی

Attention مهم‌ترین بخش LLMهاست؛ اما در این دوره فقط فرمول حفظ نمی‌کنی.

هم مفهوم را یاد می‌گیری و هم آن را پیاده‌سازی می‌کنی.

موضوعات این بخش:

• مفهوم Attention
• Simple Attention
• Self Attention
• Query، Key و Value
• محاسبات Attention
• Causal Self Attention
• Multi-Head Attention
• پیاده‌سازی کامل با Python

ساخت معماری کامل GPT

بعد از یادگیری تمام قطعات، زمان ساخت مدل اصلی می‌رسد.

در این بخش یاد می‌گیری:

• Layer Normalization
• GELU Activation
• Residual (Shortcut) Connection
• Transformer Block
• اتصال تمام بخش‌ها
• ساخت یک LLM از ابتدا

آموزش و اجرای مدل

در این قسمت مدل را آموزش می‌دهیم و وارد دنیای واقعی می‌شویم.

مواردی که یاد می‌گیری:

• نحوه پیش‌بینی توکن بعدی
• محاسبه Loss
• فرآیند Training
• ذخیره و بارگذاری وزن‌ها
• بررسی GPT-2 با 124 میلیون پارامتر
• استفاده از وزن‌های Pretrained

Fine-tuning مدل‌های زبانی

در بخش پایانی یاد می‌گیری چگونه مدل‌های آماده را برای مسئله خودت شخصی‌سازی کنی.

این بخش شامل:

• مفهوم Fine-tuning
• آماده‌سازی دیتاست
• ساخت DataLoader
• Fine-tuning برای Classification
• ساخت مدل تشخیص Spam
• Instruction Fine-tuning
• فرمت Alpaca
• آموزش مدل
• ارزیابی مدل با Ollama

این دوره مناسب چه کسانی است؟

این دوره برای افرادی مناسب است که:

• می‌خواهند از سطح استفاده از ChatGPT فراتر بروند.
• قصد دارند سازوکار واقعی LLMها را درک کنند.
• به یادگیری عمیق Transformer علاقه دارند.
• دوست دارند همه چیز را با کدنویسی واقعی یاد بگیرند.
• می‌خواهند وارد حوزه AI Engineer یا LLM Engineer شوند.
• به دنبال یک آموزش جامع و پروژه‌محور هستند.

پیش‌نیاز دوره

برای شرکت در این دوره فقط کافی است:

• آشنایی مقدماتی با Python داشته باشید.
• علاقه‌مند به یادگیری هوش مصنوعی باشید.

تمام مفاهیم مربوط به LLM، Transformer و GPT از پایه آموزش داده می‌شوند.

چرا این دوره متفاوت است؟

بیشتر آموزش‌های موجود فقط نحوه استفاده از APIهای هوش مصنوعی را یاد می‌دهند؛ اما در این دوره، خود مدل را از صفر می‌سازی.

اینجا فقط یاد نمی‌گیری که ChatGPT چگونه کار می‌کند؛ بلکه دلیل عملکرد هر بخش، منطق پشت معماری Transformer و نحوه پیاده‌سازی آن را نیز کاملاً درک می‌کنی.

اگر هدفت این است که از یک کاربر ابزارهای هوش مصنوعی به یک توسعه‌دهنده واقعی مدل‌های زبانی بزرگ (LLM Engineer) تبدیل شوی، این دوره می‌تواند یکی از کامل‌ترین مسیرهای یادگیری برای تو باشد.