Előadások

 
2, Basic concepts of probability theory
◦On the use of probabilities: PDSS:2.1
◦The Bayesian framework: PDSS:2.2
◦LATER: Indepence models: PDSS:2.3
      Naive Bayesian networks
◦Definition, Inference (PDSS:2.5.1)
◦Full Bayesian treatment: LATER: IDA:9.2.5 (~9.2)

Márc. 1-i előadáshoz notebook: https://drive.google.com/file/d/11pK6NhAdLptNB_RICk4nwtVo3N1UCxgR/view?usp=sharing

Márc. 20-i előadáshoz anyagok

Március 22: Lengyel Máté előadása: A BAYESIAN APPROACH TO INTERNAL MODELS

Április 10-12: Statistical learning theories (1,2,3)

Április 17: E-M parameter learning in HMMs

Bolgár Bence előadásahoz referenciák és kódok (közös zip-ben, mert ipynb-t nem enged feltölteni)

Bayesi következtetés, konjugáltság: pdf
  Kód: érmedobálás (Erme.ipynb)
Gamma-függvény, Gamma-eloszlás, Beta-eloszlás: akárhonnan...
Segédanyag: https://www.johndcook.com/CompendiumOfConjugatePriors.pdf
Bayesi lineáris regresszió analitikus következtetéssel + bázisfüggvényes kiterjesztés: Bishop 3.1, 3.3
  Kód: mindez egy dimenzióban (BayesNonlin.ipynb)
Exponenciális eloszlások: pl. https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-read...
  Opcionális:
  Variációszámítás intro: pl. Bishop appendix D
  Lagrange-dualitás: http://stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf 5.1.1-5.3.3
  Entrópia, differenciális entrópia, ennek maximalizációja az előbbi módszerekkel
Newton--Raphson módszer: akárhonnan...
Laplace approximáció: Bishop 4.4
  Kód: Gamma eloszlás közelítése normállal (Laplace.ipynb)
MCMC módszerek, Metropolis--Hastings, Gibbs-mintavétel: Bishop 11.2-11.3
  Kód: Ising-modell szimulációja Metropolis-módszerrel (magnes.py)
  Kód: Bayesi lineáris regresszió Gibbs mintavétellel (MCMC.ipynb)
Mean-field variációs következtetés: Bishop 10.1-10.1.2
Black box variációs következtetés (BBVI): https://arxiv.org/pdf/1401.0118.pdf ami órán elhangzott
  Kód: bayesi lineáris regresszió + BBVI/Gibbs (GibbsVsVar-Lognormal.ipynb)
  Kód: bayesi logisztikus regresszió + BBVI/Gibbs (LogReg.ipynb)
  Kód: Dirichlet--multinomiális modell + BBVI/Gibbs (MultiDir.ipynb)
  Kód: (deep) logisztikus mátrix-faktorizáció + BBVI (LogMF-Deep.ipynb)
Keverék eloszlások: Bishop 9.2
  Kód: domináns színek (Colors.ipynb)
Variational autoencoder: https://arxiv.org/pdf/1312.6114.pdf
  Kód: képgenerálás, nem túl jól (VAE-Keras.ipynb)
Energia-alapú modellek, Restricted Boltzmann Machine, CD/SML algoritmus: http://www.deeplearningbook.org 18.1-18.2, 20.1-20.2
Generative Adversarial Networks: https://arxiv.org/pdf/1406.2661.pdf
Blokkmátrixok inverze, normál eloszlás feltételes eloszlásai: Bishop 2.3.1
Gauss-folyamatok és regresszió: Bishop 6.4.1-6.4.2
  Kód: mindez egy dimenzióban (Gauss.ipynb)
Gauss-folyamatok és klasszifikáció: Bishop 6.4.5-6.4.6
  Kód: mindez két dimenzióban (GaussClass.ipynb)

© 2010-2021 BME MIT