Neurális hálók és mély tanulás alkalmazása témalabor

Jelentkezés egyéni feladatért

Kérünk minden hallgatót, akik e témalabor előadásait hallgatták, hogy az alábbi formot kitöltve válasszanak egyéni témát.

https://docs.google.com/forms/d/e/1FAIpQLSeTtRHD3GpRJ_1i6M9U8ry27IuHh_H-...

Jelentkezési határidő: 2018. november 7.

Témlabor foglalkozások anyaga

Tankönyv: http://www.mit.bme.hu/books/neuralis (chrome alapú böngészőkben MathML bővítmény használata szükséges)

Tankönyv2: http://www.deeplearningbook.org/

 

1. alkalom - 2018. szeptember 17.

1. Tanuló rendszerek motivációja : tankönyv 1.1, 1.2, 1.3 fejezetei

2. Ellenőrzött (induktív) tanítás lényege, tapasztalati kockázatminimalizálás módszere (ennek konzisztenciájával nem foglalkoztunk)

3. Egyszerű neuronok felépítése, működése: perceptron, adaline: tankönyv 3.1, 3.2 fejezetei

4. Gradient descent eljárás viselkedése kvadratikus hibafelületen (adaline tanítása): tankönyv 2.5  
(ehhez kapcsolódóan matematikai alapok: szimmetrikus mátrixok sajátérték szerinti diagonalizációja,
több dimmenziós terek feletti konvex függvények, Hesse mtx. defincíciója)

2. alkalom - 2018. szeptember 24.

Tanulás fajtái, alkalamzásuk célja (ellenőrzött, nem ellenőrzött, félig ellenőrzött, (megerősítéses)) : tankönyv 2. fejezetének erre vonatkozó részei (2.0, 2.1)

Klasszikus neurális hálózatok felépítése, működése, tanulása, tanítása: tankönyv 4. fejezete

3. alkalom - 2018. október 1.

Tanuló rendszerek általánosító képességének kérdésköre (torzítás / variancia dilemma, empirikus kockázatminimalizálás konzisztenciája, VC dimenzió): tankönyv 2.1, 2.3, 2.4

Regularizáció alkalmazása gépi tanulás során: SVM, RVM, direkt regularizációs módszerek (Tihonov, L1, L0), implicit regularizáció módszerei (augmentáció, dropout, adversial training, virtual adversial training, stb.): tankönyv 6.1-6.3, tankönyv2 7. fejezete 

4. alkalom - 2018 október 8.

Szekvenciális neurális hálók konstrukciója, tanító eljárásai (BPTT, RTRL, TBP, teacher forceing), hálók használata során felmerülő technikai problémák. Cella alapú hálók, LSTM. tk(1) 8, tk2 10
 
Mély neurális hálók tanítása során alkalmazott optimalizációs eljárások (adaptív gradiens módszerek, Polyak átlagolás, Nesterov momentum). Hálók módosítása a taníthatóság érdekében (Batchn normalizáció, residual blokk, skipp connection). tk2 8
 

6. alkalom - 2018 október 29.

Objektumdetektálás képeken mély tanulás alkalmazásával: R-CNN, Fast R-CNN, Faster R-CNN, R-FCN, YOLO (v2, v3), SegNet, U-net, Mask R-CNN

 

7. alkalom - 2018 november 5.

Eloszlások modellezése mély neurális hálókkal: VAE, GAN-ok. tk2 20. fejezet.
 
 
 
 
© 2010-2024 BME MIT