Fabryka AI · LLM od zera · edycja 3
Chcesz zbudować LLM, ale nie teraz?
Druga edycja nie pasuje Ci czasowo? Zostaw kontakt na trzecią. Powiadomimy Cię, gdy ustalimy termin i otworzymy zapisy.
Od tokenizera i danych do treningu, ewaluacji i własnego API. Własny projekt, eksperymenty i praca z modelami językowymi.
Bez płatności i zobowiązania do zakupu. Kontakt wyłącznie w sprawie kursu.
03kolejna edycja
LLM od zera
- Termin
- Do ustalenia
- Cena
- Podamy przy otwarciu zapisów
- Teraz
- Zostaw kontakt — damy znać
To lista zainteresowanych. Szczegółowy program, harmonogram i warunki udziału potwierdzimy przed zakupem.
Kierunek programu
Jeden model. Pięć warstw pracy.
Każdy tydzień rozwija ten sam projekt. Zobacz zakres obecnej edycji. Szczegóły trzeciej potwierdzimy przed startem.
01TokenizerBPE · polszczyzna
Byte-level BPE, kompresja i pułapki polskiej morfologii.
Artefakt: własny tokenizer i raport porównawczy.02Danejakość · deduplikacja
Źródła, licencje, filtrowanie jakości, MinHash/LSH, PII i deterministyczne splity.
Artefakt: pipeline danych z manifestem pochodzenia.03Język jako prawdopodobieństwobigram · MLP
Od zliczeń do sieci, embeddingi, backprop i negative log likelihood.
Artefakt: bigram i MLP generujące pierwsze próbki.04AttentionQ · K · V
Self-attention krok po kroku, maska przyczynowa, multi-head i pozycje.
Artefakt: single-head attention bez gotowego modułu.05Pełna architektura GPTresidual · norm · MLP
Bloki transformera, pre-norm, RMSNorm, SwiGLU, GQA i świadome decyzje architektoniczne.
Artefakt: model robiący pełny forward pass.06Treningoptymalizacja · debug
Batching, AdamW, harmonogram LR, mixed precision, checkpointing i diagnostyka lossa. Pierwszy dłuższy eksperyment treningowy.
Artefakt: wytrenowany checkpoint i karta przebiegu.07Skalowaniecompute · DDP
Scaling laws, budżet tokenów, multi-GPU i ekonomia treningu.
Artefakt: policzony plan większego eksperymentu.08Ewaluacjaprotokół · PL
Held-out loss, zadania downstream, benchmarki polskie i ryzyko kontaminacji.
Artefakt: własny mały benchmark z kartą metodologiczną.09SFT, LoRA i QLoRAdostrajanie
Dane instrukcyjne, chat templates i adaptacja niskiego rzędu.
Artefakt: porównanie modelu przed i po dostrojeniu.10Preferencje i DPOalignment
Dane preferencyjne, funkcja celu DPO i typowe błędy alignowania małych modeli.
Artefakt: kontrolowany eksperyment DPO.11InferencjaGGUF · API
KV-cache, batching, kwantyzacja, llama.cpp i pomiar tokenów na sekundę.
Artefakt: lokalne API z benchmarkiem wydajności.12Capstonedemo · publikacja
Projekt end-to-end: dane, trening lub dostrojenie, ewaluacja i wdrożenie. Wspólny artykuł kohorty.
Artefakt: demo projektu i dokumentacja decyzji.Zapisy na edycję 3
Teraz zostaw kontakt. Dołącz, gdy znajdziesz czas.
Podaj imię i e-mail. Wyślemy Ci informację o terminie, programie i cenie trzeciej edycji, kiedy będą gotowe. Wtedy zdecydujesz, czy dołączasz.
- Zapis
- Bezpłatny i niezobowiązujący
- Start
- Termin nie jest jeszcze ustalony
- Wsparcie
- Kupując kurs, wspierasz rozwój laboratorium Fabryka AI.
FAQ
Jak działają zapisy?
Kiedy ruszy trzecia edycja?
Termin nie jest jeszcze ustalony. Osoby z listy otrzymają informację o starcie i warunkach udziału.
Czy zapis oznacza zakup kursu?
Nie. To bezpłatna lista zainteresowanych. Decyzję o zakupie podejmiesz po poznaniu terminu, programu i ceny.