Akira's ML news #Week 39, 2020

※有料設定してますが、投げ銭用なので全部無料でみれます
2020年第39週(9/20~)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。

内容 1. 論文, 2.技術的な記事等, 3. 機械学習の活用/社会実装, 4. その他話題

論文

Wavelet変換を用いてBigGANを小さくする。

not-so-BigGAN: Generating High-Fidelity Images on a Small Compute Budget

https://arxiv.org/abs/2009.04433
Wavelet変換(WT)を用いて低周波情報のみから画像を再現することで、少ない計算資源で高精細画像をGANで生成する研究。具体的には失われた高周波情報をNNで再現し、逆Wavelet変換(iWT)をかける。BigGANに適用し、生成画像の質は少し下がるがTPUx256からGPUx４にまで計算資源を落とすことに成功。

活性するかを適用的に判断する活性化関数

Activate or Not: Learning Customized Activation

https://arxiv.org/abs/2009.04759
ReLUとSwishを統一的に扱い、その一般的な形としての活性化関数ACtivationOrNot(ACON)を提案。活性化関数の中に複数の学習可パラメータが入ることで、活性するか否かを自由に変えられる。物体検知、画像検索で精度が向上することを確認した。

稀少な気象データを自由に生成できるGAN

ExGAN: Adversarial Generation of Extreme Samples

https://arxiv.org/abs/2009.08454
通常GANは典型的なデータのみを学習して生成するが、ExGANは低確率で出現するデータをコントロールしながら生成することができる。GANで生成したサンプルの中で極端なものだけをデータセットに加えてデータを偏らせた上で、それを使って極端度を条件付きにしたGANでデータを生成する。気象データにおいて、上手く生成できることを確認した。

フィルターをブロックに分けて枝刈することで精度と速度を両立させる

YOLObile: Real-Time Object Detection on Mobile Devices via Compression-Compilation Co-Design

https://arxiv.org/abs/2009.05697
モバイル用機器用の物体検知モデルにおいて、高精度と低レイテンシを両立するために、各層をブロックに分け、各ブロックでそれぞれ異なる枝刈パターンを学習させるBlock-puhched pruningを提案。精度を保ったまま高速化させることに成功した。さらに畳み込み層をGPUで計算、それ以外をCPUで計算させることにより更なる高速化を実現した。

学習済みモデルの隠れ層を使って異常検知をする

Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection

https://arxiv.org/abs/2005.14140
学習済みモデルを用いて異常検知をする研究。複数の隠れ層の特徴量に多変量ガウス分布をフィットさせ、マハラビラス距離を使って異常を検出する。わりと実応用環境に近いMVTeデータセットでSOTA。(下図はMVTeデータセットのサンプル)

ユニット各々の役割を特定することで生成画像をコントロールする

Understanding the Role of Individual Units in a Deep Neural Network

https://arxiv.org/abs/2009.05041
DNNの各々のユニットの役割を解釈する研究。明示的に”木”などの概念を与えなくても、それらを学習しているユニットが存在していることを発見。GANにおいて、各々の概念を司るユニットを操作することで画像から木を減らしたり、建物にドアをつけることに成功した。

Transformerモデルのサーベイ

Efficient Transformers: A Survey

https://arxiv.org/abs/2009.06732
自然言語処理を中心に近年広がってきたTransformerモデルの改善系のサーベイ論文。メモリ改善やattentionの使い方などの項目ごとにまとめられている。図表とDiscussionだけ見ても、なんとなく流れがつかめる。

---------------------------------------------------------------------

2.技術的な記事等

V100 / T4 / M60 GPUの速度比較

V100 / T4 / M60 GPUの速度を、カタログスペックではなく実際にMLを扱う人たちが使うとどのようになるかを検証した記事。様々なネットワークで速度を比較している。
結果、データサイズが小さい時は、T4,M60でもV100に匹敵する結果を出すことができ、コスパが良い。（V100と比較して、T4は1/5, M60は1/4程度のコスト）。しかし、バッチサイズを大きくするときは、V100を使う方が良さそう。

A comparison of enterprise GPU training times in common ML vision models (V100/T4/M60)

自己教師あり学習のサーベイ

cvpaper.challenge の自己教師あり学習のサーベイ資料。タスク別にまとめてある。後続タスクが分類や回帰などに限定されているため、分野自体が過学習気味ではないのかという指摘も。

自然言語処理の未来と課題

HuggingFaceのThomas Wolf氏による、NLPの未来と題した発表。巨大すぎるモデル/巨大すぎるデータセットの問題や、データセットを巨大化すれば精度は上がるのか、モデルは常識を理解しているのか、ドメイン外への汎化など様々な話題がある。

日本語の解説記事↓

「自然言語処理の未来」HuggingFace 主席サイエンティストが語る NLP の最新トレンド

自己教師あり学習BYOLはバッチ正規化で暗黙的に対比学習を行っている

近年のSOTAとなった自己教師あり学習手法であるMoCo系やSimCLR系は、異なるデータ拡張をかけた同じデータ同士を正のサンプル、それ以外を負のサンプルとして、対比学習を行っていた。しかし、BYOLは対比損失を含んでいない。この記事では、バッチ正規化があることによって、ミニバッチのデータ集中を防いでばらけるため、暗黙的に対比学習を行っていることを説明している。

Understanding self-supervised and contrastive learning with “Bootstrap Your Own Latent” (BYOL)

PANDAコンペの解法

株式会社Rist主宰の「Rist主催 Kaggle Workshop #2 」における発表資料。PANDAコンペ1位、4位、6位で、全員Kaggle Masterの方々によるレベルの高いものになっている。

kaggle-panda-challenge.pdf

20200924_RistKaggleWorkshop_PANDA.pdf

---------------------------------------------------------------------

3. 機械学習の活用/社会実装

裁判結果を待つ際に解放するか否かの判断をAIが補助

ニューヨーク市で、裁判の結果を待つ容疑者を一時開放するか、刑務所にいれるかの裁判官の判断をAIが補助する取り組みが始まっている。アルゴリムズによって高得点をつけられたの被告は、低得点の被告よりも頻繁に法廷に出廷しており、アルゴリズムの予測がうまく機能している。判断結果も概ね好評。2019年11月12日から2020年3月17日までの間、アルゴリズムは、黒人の83.9％、白人の83.5％、ヒスパニック系の85.8％を保釈なしで釈放することを推奨し、人種間における偏見もほとんどない。

In New York, algorithm helps judges decide who will be free while awaiting trial - International - World Today News

マスク検出/検温/追跡を同時に実施

Barcom は、顔認識機能と体温スキャン機能を備えたスタンドアロンターミナルを発売し、企業が人手による温度チェックなしで再開ガイドラインに対応できるようにした。マスクの検出、±0.2℃の精度で同時に40人が測定できる温度のスキャン、追跡が可能となっている。

VisionLabs face biometrics and body temperature scanning deployed by McDonald’s Russia

---------------------------------------------------------------------

4. その他話題

GPT-3の商用化

GPT-3が10月から商用化利用になるが、それへの考察の記事。学習には純粋な計算コスト（つまり給与は入っていない）だけで2760万ドルかかったであろうこと、まともに推論させるとV100が11個いること、covid-19関係の新語には対応出来ないこと、などが書いてある。

The GPT-3 economy

redditでもコストの妥当性やfine tuningの点について盛んな議論がなされてい

[D] Deconstructing the GPT-3 economy

Goodfellow先生、Ng先生のGAN講義

Goodfellow先生、Ng先生のGAN講義のGANの授業がある。内容はGANのトレンドや適応例、DeepFakesなど。日本時間の10/1午前2:00~午前3:30なのでリアルタイム聴講は少し厳しいが、登録すれば録画したものをおくってくれるもよう。

GANs for Good

NeurIPS2020では誰でも聴講できる

NeurIPS2020の参加申込が始まりましたが、今年は誰でも聴講できるもよう。聴講費用は学生25ドル、一般100ドル。会議の質と規模を考えると決して高くはない金額なので、是非参加しましょう。

NeurIPS Registration Opens Soon

---------------------------------------------------------------------

TwitterでMLの論文や記事の紹介しております。

https://twitter.com/AkiraTOSEI

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。