Gépi tanulás
VIMIMA27 | Mérnökinformatikus MSc | Félév: 1 | Kredit: 5 | Hivatalos tantárgyi adatlap
A tantárgy célkitűzése
Antal Péter
docens
tárgyfelelős
A tárgy oktatói
Alekszejenkó Levente
tanársegéd
Antal Mátyás
doktorandusz
Antal Péter
docens
Bolgár Bence
óraadó
Gézsi András
docens
Marosi Márk
doktorandusz
A tantárgy részletes tematikája
Az előadások részletes tematikája:
- Bevezetés: Mesterséges intelligencia, gépi tanulás és adattudomány. A gépi tanulás mint következtetés. Tanulás megfigyelésekből és beavatkozásokból. Megbízható és magyarázható gépi tanulás.
- Bayesi valószínűségelméleti alapfogalmak. Valószínűség, prior, likelihood, posterior. Maximum likelihood (ML), maximum a posteriori (MAP), teljesen bayesi következtetés, modellátlagolás. A teljesen bayesi következtetés nehézségei (példák analitikus megoldásokra). Konjugált priorok (alkalmazási példák).
- Regresszió. Alapfeladat, a lineáris regresszió valószínűségi modellje, ML és MAP becslés, analitikus formulák levezetése, a megoldás menete, numerikus szempontok. Teljesen bayesi következtetés. Nem lineáris kiterjesztések: bázisfüggvények alkalmazása, gyakran használt bázisfüggvények. Bias-variancia dekompozíció, alultanulás, túltanulás, regularizáció.
- Osztályozás. Alapfeladat, a logisztikus regresszió valószínűségi modellje. Perceptron származtatása a Bayes-tétel felhasználásával, ML és MAP becslés, az iteratív formulák levezetése (szigmoid függvény, gradiens), a megoldás menete, numerikus szempontok.
- Neurális hálózatok. MLP architektúra, ML és MAP becslés, a backpropagation algoritmus levezetése. Neurális modellekben használt aktivációs függvények.
- Optimalizáció neurális modellekben. Az optimalizáció nehézségei, analitikus és numerikus szempontok. Optimalizációs algoritmusok alapelvei (batch, momentum, adaptív learning rate, magasabb rendű módszerek). Nevezetes algoritmusok.
- Regularizáció: Neurális hálózatok tanításának gyakorlati megközelítése. Regularizációs módszerek neurális hálózatokban, súlycsökkentés, korai leállás, dropout.
- Konvolúciós neurális hálózatok: Konvolúciós neurális hálózatok működési elve; konvolúció, pooling. Lokális mintázatok felismerése és hierarchikus reprezentációk. Klasszikus CNN architektúrák.
- Transzformerek: A transzformer-architektúra hatása a mélytanulásra, különösen az NLP-ben. Önfigyelmi mechanizmusok, pozicionális kódolás, gépi fordítás és szöveg-összegzés legújabb fejleményei.
- Gráf neurális hálók: Gráfos gépi tanulás alapvető feladatai. Gráfok reprezentációja. Mély gráf enkóderek. Gráf konvolúciós hálók; klasszikus GNN architektúrák. Túlsimítási jelenség és kezelése.
- Variációs módszerek. Közelítő bayesi következtetés, ELBO+KL dekompozíció, a variációs módszerek alapelve. BBVI, sztochasztikus gradiens-alapú optimalizáció. Reparametrizációs trükk, VAE. Adversarial training ötlete, GAN architektúrák alapelve.
- MCMC. Az MCMC módszerek alapelve. Markov-láncok tulajdonságai. Az egyensúlyi eloszlás létezésének elégséges feltétele. Metropolis, Metropolis-Hastings algoritmus. Gibbs-mintavétel, konjugált priorok. Példa: bayesi lineáris regresszió Gibbs mintavétellel.
- Valószínűségi gráfmodellek: Bayes-hálók és Markov-véletlenmezők használata a változók feltételes függőségeinek modellezésére. Következtetés, struktúratanulás és paraméterbecslés, gyakorlati alkalmazások és következtetési technikák.
- Döntési-fa együttesek: A CART döntési-fák bevezetése szabálytanulásra, majd kiterjesztése Random Forestre és Gradient-Boosted fákra. Szétválasztási kritériumok, nyesés, hiperparaméter-hangolás, variancia-csökkentő elmélet, jellemző-fontosság/SHAP magyarázhatóság, gyakorlati kérdések (hiányzó értékek kezelése, osztály-egyensúlytalanság, GPU-gyorsított tanítás).
A gyakorlatok részletes tematikája:
- Naive Bayes osztályozó: Többosztályos Gauss-Naive Bayes kézi implementálása, poszterior-számítás log-térben, valamint alapvető teljesítménymutatók (pontosság, F1) kiszámítása és értelmezése.
- Lineáris és polinomiális regresszió: ML- és MAP-becslések analitikus levezetése, regularizációs megoldások (Ridge/Lasso) hiperparaméter-hangolással; szimulált és valós adatokon hibagörbék készítése és értékelése.
- Logisztikus regresszió és többrétegű perceptron: Gradiens-csökkentéses tanítás batch / mini-batch módban, automatikus differenciálás használata, valamint két-rétegű MLP összeállítása és tanulási görbék monitorozása.
- Konvolúciós neurális háló: Egyszerű CNN felépítése (Conv-ReLU-Pool-FC) képosztályozási feladatra, regularizációs technikák (Dropout, BatchNorm) alkalmazása, túltanulás-diagnosztika és korai megállítás.
- Transformerek: Önfigyelmi mechanizmus, több fejű figyelmi mechanizmus, pozicionális kódolás; mini nyelvi modell tanítása, veszteséggörbék és generált szövegminták kiértékelése.
- Kauzális gráf-felfedezés: Bayes-háló struktúra-tanulási algoritmusok megvalósítása, megfigyelési vs. intervenciós adatok kezelése, kauzális irányok validálása szintetikus benchmarkon.
BME-MIT