Libera Vista

学び続けることによって、自由な視点(Libera Vista)で考えられますように。

機械学習 発展編の授業内容

海外大学院のMachine learning の発展コースでやったことをまとめておきます。非常に難しく、90 分だけで理解はほとんどできないため、予習をかなりしていきました。働きながら学習している人を尊敬します。すらすら理解できるのは、きっと元々数学が相当得意な人(受験的な意味ではなく、さらに大学レベル。)ではないでしょうか。全て条件付き確率で表していける、それがベイズ的と言われるゆえんとわかったのは面白かったですが、逆に数式の形が似ているので、特徴の区別がわかりにくいです。

一方、演習では、意外と擬似コード(がキレイだったのか、それ)を追うだけで、numpyですぐに実装できることもました。

 

授業の内容は大きく分けて4つ。教師あり学習の発展、アンサンブル学習、スパースモデル、そして最後にちょっとだけLDAなど。

 

教師あり学習については、

1、一般線形モデル

 指数分布族、一般線形モデルでGauss,Binomial,Poissonなどの分布で回帰、またGD-SGD-Newtonの場合の記述

 2、ガウス過程

 回帰、分類(識別)

 3、サポートベクターマシンの計算とマルチクラス

 SVMprimal、SVMpegasos、SVMdualとマルチクラスの分類

 

アンサンブル学習は

1、スタッキング

 アンサンブルの基本(平均と投票)、スタッキング基本、バギングやRandomForest 

2、ブースティング

 基本コンセプト、L2 boosting、Adaboost、勾配ブースティング

3、混合モデル

 基本コンセプト、EMアルゴリズムの復習。

 

スパースモデルについては、各アルゴリズム

1、LARS

2、近接勾配法(proximal gradient)。 ISTAとFISTA

3、ラプラスprior(事前確率)

 

最後にちょっとだけ、Latent Dirichlet Allocation、LDAをやりました。

また、バイアスと分散の関係やちょっとしたMAP推定や階層ベイズなど推定の種類の違いなどもさらっと説明だけやりました。

日本では、以下のビショップの本が有名のようですが、

 

授業では基本的に下の教科書を元にしています。こちらの方が説明は長いので、こちらを訳したほうがいいのではと個人的に思います。たぶんビショップより分厚いです。