Gépi tanulás

VIMIMA27  |  Mérnökinformatikus MSc  |  Félév: 1  |  Kredit: 5  |  Hivatalos tantárgyi adatlap

A tantárgy célkitűzése

A tantárgy az intelligens rendszerek egyik alapvető képességének, a tanulásnak a gépi megvalósítási lehetőségeivel foglalkozik. Bemutatja a gépi tanulás fajtáit, összefoglalja a gépi tanulás elméleti alapjait, és részletesen elemzi a legfontosabb tanuló rendszer architektúrákat. A tárgy a gépi tanulást egységes valószínűségi keretbe helyezve vizsgálja, amelynek során érinti a matematikai, filozófiai és programozási aspektusokat is. Az elméleti alapok bemutatásán túl a tárgy célja, hogy fejlessze a gyakorlati problémamegoldó készséget. Mindezt az egységes tárgyalásmód alkalmazásával és komplex alkalmazási példák bemutatásával éri el. A tárgy keretében elsajátított módszerek megalapozásként és háttérként szolgálnak kutatási és fejlesztési feladatok megoldásához.
Antal Péter
Antal Péter

docens

tárgyfelelős

A tárgy oktatói

A tantárgy részletes tematikája

Az előadások részletes tematikája:

  1. Bevezetés: Mesterséges intelligencia, gépi tanulás és adattudomány. A gépi tanulás mint következtetés. Tanulás megfigyelésekből és beavatkozásokból. Megbízható és magyarázható gépi tanulás.
  2. Bayesi valószínűségelméleti alapfogalmak. Valószínűség, prior, likelihood, posterior. Maximum likelihood (ML), maximum a posteriori (MAP), teljesen bayesi következtetés, modellátlagolás. A teljesen bayesi következtetés nehézségei (példák analitikus megoldásokra). Konjugált priorok (alkalmazási példák).
  3. Regresszió. Alapfeladat, a lineáris regresszió valószínűségi modellje, ML és MAP becslés, analitikus formulák levezetése, a megoldás menete, numerikus szempontok. Teljesen bayesi következtetés. Nem lineáris kiterjesztések: bázisfüggvények alkalmazása,  gyakran használt bázisfüggvények. Bias-variancia dekompozíció, alultanulás, túltanulás, regularizáció.
  4. Osztályozás. Alapfeladat, a logisztikus regresszió valószínűségi modellje. Perceptron származtatása a Bayes-tétel felhasználásával, ML és MAP becslés, az iteratív formulák levezetése (szigmoid függvény, gradiens), a megoldás menete, numerikus szempontok.
  5. Neurális hálózatok. MLP architektúra, ML és MAP becslés, a backpropagation algoritmus levezetése. Neurális modellekben használt aktivációs függvények.
  6. Optimalizáció neurális modellekben. Az optimalizáció nehézségei, analitikus és numerikus szempontok. Optimalizációs algoritmusok alapelvei (batch, momentum, adaptív learning rate, magasabb rendű módszerek). Nevezetes algoritmusok.
  7. Regularizáció: Neurális hálózatok tanításának gyakorlati megközelítése. Regularizációs módszerek neurális hálózatokban, súlycsökkentés, korai leállás, dropout.
  8. Konvolúciós neurális hálózatok: Konvolúciós neurális hálózatok működési elve; konvolúció, pooling. Lokális mintázatok felismerése és hierarchikus reprezentációk. Klasszikus CNN architektúrák.
  9. Transzformerek: A transzformer-architektúra hatása a mélytanulásra, különösen az NLP-ben. Önfigyelmi mechanizmusok, pozicionális kódolás, gépi fordítás és szöveg-összegzés legújabb fejleményei.
  10. Gráf neurális hálók: Gráfos gépi tanulás alapvető feladatai. Gráfok reprezentációja. Mély gráf enkóderek. Gráf konvolúciós hálók; klasszikus GNN architektúrák. Túlsimítási jelenség és kezelése.
  11. Variációs módszerek. Közelítő bayesi következtetés, ELBO+KL dekompozíció, a variációs módszerek alapelve. BBVI, sztochasztikus gradiens-alapú optimalizáció. Reparametrizációs trükk, VAE. Adversarial training ötlete, GAN architektúrák alapelve.
  12. MCMC. Az MCMC módszerek alapelve. Markov-láncok tulajdonságai. Az egyensúlyi eloszlás létezésének elégséges feltétele. Metropolis, Metropolis-Hastings algoritmus. Gibbs-mintavétel, konjugált priorok. Példa: bayesi lineáris regresszió Gibbs mintavétellel.
  13. Valószínűségi gráfmodellek: Bayes-hálók és Markov-véletlenmezők használata a változók feltételes függőségeinek modellezésére. Következtetés, struktúratanulás és paraméterbecslés, gyakorlati alkalmazások és következtetési technikák.
  14. Döntési-fa együttesek: A CART döntési-fák bevezetése szabálytanulásra, majd kiterjesztése Random Forestre és Gradient-Boosted fákra. Szétválasztási kritériumok, nyesés, hiperparaméter-hangolás, variancia-csökkentő elmélet, jellemző-fontosság/SHAP magyarázhatóság, gyakorlati kérdések (hiányzó értékek kezelése, osztály-egyensúlytalanság, GPU-gyorsított tanítás).

A gyakorlatok részletes tematikája:

  1. Naive Bayes osztályozó: Többosztályos Gauss-Naive Bayes kézi implementálása, poszterior-számítás log-térben, valamint alapvető teljesítménymutatók (pontosság, F1) kiszámítása és értelmezése.
  2. Lineáris és polinomiális regresszió: ML- és MAP-becslések analitikus levezetése, regularizációs megoldások (Ridge/Lasso) hiperparaméter-hangolással; szimulált és valós adatokon hibagörbék készítése és értékelése.
  3. Logisztikus regresszió és többrétegű perceptron: Gradiens-csökkentéses tanítás batch / mini-batch módban, automatikus differenciálás használata, valamint két-rétegű MLP összeállítása és tanulási görbék monitorozása.
  4. Konvolúciós neurális háló: Egyszerű CNN felépítése (Conv-ReLU-Pool-FC) képosztályozási feladatra, regularizációs technikák (Dropout, BatchNorm) alkalmazása, túltanulás-diagnosztika és korai megállítás.
  5. Transformerek: Önfigyelmi mechanizmus, több fejű figyelmi mechanizmus, pozicionális kódolás; mini nyelvi modell tanítása, veszteséggörbék és generált szövegminták kiértékelése.
  6. Kauzális gráf-felfedezés: Bayes-háló struktúra-tanulási algoritmusok megvalósítása, megfigyelési vs. intervenciós adatok kezelése, kauzális irányok validálása szintetikus benchmarkon.