機械学習 発展編の授業内容
一方、演習では、意外と擬似コード(がキレイだったのか、それ)を追うだけで、numpyですぐに実装できることもました。
授業の内容は大きく分けて4つ。教師あり学習の発展、アンサンブル学習、スパースモデル、そして最後にちょっとだけLDAなど。
教師あり学習については、
1、一般線形モデル
指数分布族、一般線形モデルでGauss,Binomial,Poissonなどの分布で回帰、またGD-SGD-Newtonの場合の記述
2、ガウス過程
回帰、分類(識別)
3、サポートベクターマシンの計算とマルチクラス
SVMprimal、SVMpegasos、SVMdualとマルチクラスの分類
アンサンブル学習は
1、スタッキング
アンサンブルの基本(平均と投票)、スタッキング基本、バギングやRandomForest
2、ブースティング
基本コンセプト、L2 boosting、Adaboost、勾配ブースティング
3、混合モデル
基本コンセプト、EMアルゴリズムの復習。
スパースモデルについては、各アルゴリズム。
1、LARS
2、近接勾配法(proximal gradient)。 ISTAとFISTA
3、ラプラスprior(事前確率)
最後にちょっとだけ、Latent Dirichlet Allocation、LDAをやりました。
また、バイアスと分散の関係やちょっとしたMAP推定や階層ベイズなど推定の種類の違いなどもさらっと説明だけやりました。
日本では、以下のビショップの本が有名のようですが、
授業では基本的に下の教科書を元にしています。こちらの方が説明は長いので、こちらを訳したほうがいいのではと個人的に思います。たぶんビショップより分厚いです。