機械学習の最適化とCPU＆GPU環境比較！東大松尾研究室主催機械学習講座 DL4US はじまる！
Ai研究で有名な東大の松尾研究室が主催する一般むけの機械学習講座DL4USが始まった。
「高度なディープラーニング技術者を育成することを目的とした，アプリケーション指向の無償オンライン教育プログラム」
であり、
「3年間で1,000人のディープラーニング技術者を育成し、人工知能分野における日本の競争力を向上することを目的」
である。
実際にオンラインでGPUの仮想環境が与えられ、ハンズオンの実習で機械学習の知識が得られるのが売りで
毎回希望者が１９００人を超え、抽選及びオンラインテストでセレクションされ、今回は４００人弱の受講者が選ばれたようです（＊）
ちなみに受講生のうち何人かはtwitterで受講されることを表明されていて、フォローすると、非常に興味深くまた有益な情報を流されていて楽しいです！
さて今週その講座が始まったのですが、
一回目の講義内容は
Lesson1: 手書き文字認識 （ニューラルネットワーク, Keras, 最適化手法, 過学習対策）
少し記述がとっつきにくいところもあるのですが、Kerasを利用した手書き文字認識＆服装認識をmultilayer perceptron（MLP）で深層学習させるプロセスを余すところなく学習できるのがいいですね。
基本はiLectというシステムを用いて、仮想GPU環境を利用して学習をすすめるわけですが、問題は制限時間があることです。
前回の受講生の方が
jupyter notebookのテキストを（コードを実行せずに）読むだけでも課金（基本的には無料であるが、制限時間のカウントが）が始まってしまう仕組みなのは少し残念に思いました。申請すれば無料クレジットのおかわりは可能だけれど手間と待ち時間がかかるので、notebookを全てダウンロードして手元の環境やGoogleのColaboratory上で学習していました
と書かれていて、自分も資料はダウンロードして(＊＊)、手持ちの環境で読んで、宿題用の解析だけiLectで行っていました！次回はGoogleのColaboratoryも試したいところです。
この講座で一番面白いのは宿題！
コンペ形式なので燃えますよね笑
宿題のお題はハイパーパラメーターのチューニング
お題は学習の精度を上げる方法を考えるというもの。GPU環境下なんで、少々不可のかかる計算も可能だから精度を上げるためにいろいろ試行錯誤できます。あとこれがきっかけで、いろいろ考えたり、調べたりするんで、理解も深まる感じでした（＊＊＊）。
いろいろ試行錯誤した結果
初回
改良後
でした。Accuracy 90%以上が目標なのでもうちょい頑張らないといけないんだろうと思いますが、GPUなんで、ローカルPCだと時間がかかってとてもできないようなとんでもない発想の学習モデルをいくつも試せるのが楽しいですね。おかげでハイパーパラメーターのチューニングがなんとなくわかってきたような気がしました笑
なお改良後の学習モデルですが、GPUがどんなにパワフルかみてみるために、ローカルPCでやらせてみました！
なんどGPUでは74秒程度でできた計算が、自分のMacBookPro(2.9 GHz Intel Core i5 and 8GB memory)だと7-8分！！！
その力の差を改めて実感しました！！
その後Google Colaboratoryでも同様の計算をしてみました。
MacBook: 462s, iLect:74s, Google: 48s
と驚くべき速さでこれが無料ってちょっと信じられません！！
（＊）抽選はランダムな抽選というよりは、実際に最後まで続けられる意欲を持った人が選ばれやすいらしく、募集の時の情報をもとに、専門性のある人とかpythonなどのプログラミングの経験がある人の方が選ばれやすいらしい。
またテストは基本的なnumpyの知識を問う問題１５題で、１−２問少し難しい問題が混ざっており、１−２問間違いまでは合格したのではないかという噂である。。
テスト対策には、Aidemyのpython入門＆numpy入門コースがよかった。普段python使ってない人は直前に復習するのがよい。
あと以下のチュートリアルもためになる
（＊＊）資料のダウンロードは右クリックで１ファイルごとにしかできないので、teminalでフォルダごと圧縮してダウンロードするのがオススメです。
（＊＊＊）最初からこの講座とると、非エンジニアだと苦しいかもしれません。Aidemyで、機械学習関連やっていたので、だいぶ違いました。