Akira's ML news #December, 2020

2020年12月に発表された論文/記事のうち、私が特に面白いと思ったものをまとめています。

今月の注目記事/論文

- AIを使った新薬開発のレポート
-  LASSOとその系列手法の網羅的な論文
-  画像の表現をパッチ毎に保持することにより30倍以上の高解像度化に成功
- 正解を1つに絞ることでNMSを排除した物体検知モデル
- 現実世界のデータ分布変化への頑健性を測るデータセット

---------------------------------------------------------------------

1.論文

----------

生成データの質と学習データの質

A Note on Data Biases in Generative Models
https://arxiv.org/abs/2012.02516
生成モデルにおけるデータセットの影響を調べた研究。データセット毎に訓練されたAuto EncoderのDecoderで、同じ潜在表現をデコードさせるとデータセット毎に質も違いが見られた。これはモデルだけでなくデータセットの品質向上も生成画像の高品質化に影響を与えていることを示している。

End-to-Endで学習できるPanoptic Segmentation

MaX-DeepLab: End-to-End Panoptic Segmentation with Mask Transformers
https://arxiv.org/abs/2012.00759
Panatonic Segmentationにおいて、完全なEnd2Endで学習できるMax-DeepLabを提案。Global Memoryと画像の2つのパスがあり、相互作用をTransformerでとる構造になっている。COCOで大きくスコアを向上させSotA。　

※ Panoptic Segmentation：Instance SegmentationとSemantic Segmentationを組み合わせたタスク

スマホの画像で10μmレベルの精度の高さマップを作成

Mesoscopic photogrammetry with an unstabilized phone camera
https://arxiv.org/abs/2012.06044
スマートフォンで撮影した複数の画像から10μmレベルの高さマップを作成する研究。CNNで算出した高さマップと、それとカメラ情報から再構成したマップに整合性がとれるような学習をする。

現実世界のデータ分布変化への頑健性を測るデータセット

Wilds: A Benchmark of in-the-Wild Distribution Shifts
https://arxiv.org/abs/2012.07421
現実世界では、多くのデータ分布の変化（異なるカメラによる撮影、時間帯、地域）が起こり、モデルの性能劣化を引き起こす。このプロジェクトでは、それらの分布変化に対する頑健性を評価するための衛生画像、医療画像、文書等のデータセットを提供している。

コピペが強力なデータ拡張になる

Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation
https://arxiv.org/abs/2012.07177
Instance SegmentationやObject Detectionにおいて、画像のスケーリングとコピー＆ペーストを組み合わせたデータ拡張が、非常に強力であることを示した研究。多くのネットワークにおいて効果を確認した。

JFT300Mを使わずにViTの性能を超える

Training data-efficient image transformers & distillation through attention
https://arxiv.org/abs/2012.12877
Transformerのみを使った機構で、tokenをつかった蒸留を用いるDeiT(Data-efficient image Transformers)を提案。ImageNetのみを使った学習において、Transormerを用いてCNNモデルを超えたと話題になったViTや, EfficientNetの精度を超える。（Transformerはinductive baisが小さいのでImageNetのような中規模データセットでは精度が出ず、JFT300Mのような大規模なデータセットが必要とViTの論文に書いてあるのが背景にある。）ただし、正則化やデータ拡張の他にRegNet(CNN)を教師とする蒸留を必要とする。

正解を1つに絞ることでNMSを排除した物体検知モデル

OneNet: Towards End-to-End One-Stage Object Detection
https://arxiv.org/abs/2012.05780
物体検知において、従来のBox assinment系のYOLOやPoint assinment系のCenterNetでは1つ物体に対して複数の正解ラベルが存在していた。OneNetでは、候補物体それぞれで一番コストが小さい箇所を正解とすることで、正解アンカーを1つに絞る。単純な手法だが、NMSを排除することができ、完全なE2Eのネトワークを構築できる。

画像の表現をパッチ毎に保持することにより、30倍以上の高解像度化に成功

Learning Continuous Image Representation with Local Implicit Image Function
https://arxiv.org/abs/2012.09161
画像の表現を単一のベクトルではなくパッチ毎にもっておき、それらの統合で高解像度化をするLIIF(Local Implicit Image Function)を提案。構造上、特定の倍率で学習する多くの研究と異なり任意の倍率で学習できる。30倍の高解像度化推論をしても良い結果が得られる。

LASSOとその系列手法の網羅的な論文

A critical review of LASSO and its derivatives for variable selection under dependence among covariates
https://arxiv.org/abs/2012.11470
変数選択で良く用いられるLASSOとその系列手法の網羅的な論文。ノイズになるダミー特徴量が付与されたり、特徴量に相関がある場合はLASSOは上手く動作しなくなるが、そのような場合にこれらがどうのような挙動を示すのかを多くの実験で示している。（Adaptive LASSOが割と良いっぽい）

---------------------------------------------------------------------

2.技術的な記事

----------

ニューラルネットワークのニューロンの役割の研究

Naturally Occurring Equivariance in Neural Networks

学習済みのネットワーク(ImageNet学習済InceptionV1)で、ニューロンが検出するパラーンが対称性→不変性に変化する例を紹介した記事。あるパターンを検出するニューロンのうち、そのパターンが回転などの変換を加えると等価になるグループが存在する。それら複数のニューロンと重み行列が組みわさって、その回転などの操作に対して不変性をもつニューロンが次の層で出来る例を紹介している。回転不変性だけでなく、色やスケールに対しても同じような現象が観察できたとのこと。

エンジニアのためのNeurIPS2020の重要論文

NeurIPS 2020 Papers: A Deep Learning Engineer’s Takeaway

このブログ著者が考えるNeurIPS2020の重要論文のリスト。Transformer系を中心にまとめられている。

ECCV2020論文読み会の資料

2020/12/12 第5回全日本コンピュータビジョン勉強会「ECCV2020読み会」発表資料まとめ - takminの書きっぱなし備忘録 @はてなブログ

先日行われたECCV2020論文読み会の資料がまとまっている。

---------------------------------------------------------------------

3.実社会における機械学習適用例

----------

深層強化学習で気球を長期間滞空させる

Google's AI can keep Loon balloons flying for over 300 days in a row

Alphabetの子会社であるLoonは深層強化学習で制御するコントローラーを搭載した、基地局の役割を果たす気球を312日対滞空させることに成功した。従前のコントローラーを用いたものは223日の滞空なので、大きく記録を伸ばしている。遠隔地にいる何万人もの人々にインターネットを提供することができる。

環境保護のためのAI

6 ways AI can help save the planet

環境保護にAIを使っている例を扱った記事。リサイクル、種の保存、下水汚染の削減、食料廃棄の最小化、大気汚染緩和、森林の保護に使われた例を紹介している。

AIを使った新薬開発のレポート

https://analytics.dkv.global/deep-pharma/AI-for-Drug-Discovery-2020.pdf

AIを使った新薬開発AIに関して、有力企業や、各社でどのようにAIが活用されているか、市場などを記したレポート。各企業でAIがどのように使われているかの部分は必見。例えばアストラゼネカでは知識グラフを利用して関連する情報を分析するなどの活用方法が書かれている。

---------------------------------------------------------------------

4.その他話題

----------

Uberが自動運転の部門を売却

After Once Touting Self-Driving Cars, Uber Sells Unit To Refocus On Core Businesses

Uberが、自身の自動運転車の研究ユニットであるAdvanced TechnologiesGroupを自動運転のスタートアップAuroraに売却した。中核事業である配車サービスと食品配送に再び注力するようだ。

データサイエンティストに必要なソフトスキルは何か

What are the soft skills required in data science?

データサイエンスにおいて、どのようなソフトスキル（コーディング、特定の言語の学習のようなハードスキル以外のコミュニケーションなどの能力）が必要かを議論しているスレッド。顧客に適切な質問をする能力、などが挙げられている

分野別AI企業

The Essential Landscape of Enterprise AI Companies (2020)

生産性向上、人事、製造業、健康管理などの分野別に有力なAI企業をまとめた記事

---------------------------------------------------------------------

☆☆ 宣伝 ☆☆

2021/1/16(土)にNeurIPS2020の読み会をやります！
招待講演として早稲田外学の森島先生と、同じく早稲田大学の尾形先生にご登壇いただきますので、是非ご参加ください！発表者も大募集中です！

[登壇者用] NeurIPS2020 オンライン読み会 (2021/01/16 13:00〜)

---------------------------------------------------------------------

過去の記事

2020 Week 50, 2020 Week 51, 2020 Week 52
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ
2020年の総まとめ

---------------------------------------------------------------------

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。