Akira's ML news #Week 52, 2020
今週の注目記事/論文
- 現実世界のデータ分布変化への頑健性を測るデータセット
- LASSOとその系列手法の網羅的な論文
- AIを使った新薬開発のレポート
---------------------------------------------------------------------
2020年第52週(12/20~)に私が読んだ論文や記事で特に面白かったものを紹介します。なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます。
内容 :
1. 論文, 2.技術的な記事, 3.実社会における機械学習適用例
---------------------------------------------------------------------
1.論文
----------
スマホの画像で10μmレベルの精度の高さマップを作成
Mesoscopic photogrammetry with an unstabilized phone camera
https://arxiv.org/abs/2012.06044
スマートフォンで撮影した複数の画像から10μmレベルの高さマップを作成する研究。CNNで算出した高さマップと、それとカメラ情報から再構成したマップに整合性がとれるような学習をする。
現実世界のデータ分布変化への頑健性を測るデータセット
Wilds: A Benchmark of in-the-Wild Distribution Shifts
https://arxiv.org/abs/2012.07421
現実世界では、多くのデータ分布の変化（異なるカメラによる撮影、時間帯、地域）が起こり、モデルの性能劣化を引き起こす。このプロジェクトでは、それらの分布変化に対する頑健性を評価するための衛生画像、医療画像、文書等のデータセットを提供している。
コピペが強力なデータ拡張になる
Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation
https://arxiv.org/abs/2012.07177
Instance SegmentationやObject Detectionにおいて、画像のスケーリングとコピー＆ペーストを組み合わせたデータ拡張が、非常に強力であることを示した研究。多くのネットワークにおいて効果を確認した。
JFT300Mを使わずにViTの性能を超える
Training data-efficient image transformers & distillation through attention
https://arxiv.org/abs/2012.12877
Transformerのみを使った機構で、tokenをつかった蒸留を用いるDeiT(Data-efficient image Transformers)を提案。ImageNetのみを使った学習において、Transormerを用いてCNNモデルを超えたと話題になったViTや, EfficientNetの精度を超える。（Transformerはinductive baisが小さいのでImageNetのような中規模データセットでは精度が出ず、JFT300Mのような大規模なデータセットが必要とViTの論文に書いてあるのが背景にある。）ただし、正則化やデータ拡張の他にRegNet(CNN)を教師とする蒸留を必要とする。
正解を1つに絞ることでNMSを排除した物体検知モデル
OneNet: Towards End-to-End One-Stage Object Detection
https://arxiv.org/abs/2012.05780
物体検知において、従来のBox assinment系のYOLOやPoint assinment系のCenterNetでは1つ物体に対して複数の正解ラベルが存在していた。OneNetでは、候補物体それぞれで一番コストが小さい箇所を正解とすることで、正解アンカーを1つに絞る。単純な手法だが、NMSを排除することができ、完全なE2Eのネトワークを構築できる。
画像の表現をパッチ毎に保持することにより、30倍以上の高解像度化に成功
Learning Continuous Image Representation with Local Implicit Image Function
https://arxiv.org/abs/2012.09161
画像の表現を単一のベクトルではなくパッチ毎にもっておき、それらの統合で高解像度化をするLIIF(Local Implicit Image Function)を提案。構造上、特定の倍率で学習する多くの研究と異なり任意の倍率で学習できる。30倍の高解像度化推論をしても良い結果が得られる。
LASSOとその系列手法の網羅的な論文
A critical review of LASSO and its derivatives for variable selection under dependence among covariates
https://arxiv.org/abs/2012.11470
変数選択で良く用いられるLASSOとその系列手法の網羅的な論文。ノイズになるダミー特徴量が付与されたり、特徴量に相関がある場合はLASSOは上手く動作しなくなるが、そのような場合にこれらがどうのような挙動を示すのかを多くの実験で示している。（Adaptive LASSOが割と良いっぽい）
霊長類の視覚野を再現することで敵対的攻撃への耐性が向上
Simulating a Primary Visual Cortex at the Front of CNNs Improves Robustness to Image Perturbations
https://www.biorxiv.org/content/10.1101/2020.06.16.154542v1
霊長類の視覚野(primate primary visual cortex : V1)と敵対的攻撃への耐性に相関があることを発見。V1を再現させるような層を入れることで、敵対的攻撃への耐性を向上させることができる。
OpticalFlowのような動作の特徴量を軽量計算で得る
MotionSqueeze: Neural Motion Feature Learning for Video Understanding
https://arxiv.org/abs/2007.09933
近傍の画素において、隣接するフレームと内積をとって類似度を計算させることにより、OpticalFlowのような動作の特徴量を軽量計算で算出する。それにより行動検知において、軽量で高い精度をもつネットワークを構築した。
特殊カメラのデータの少なさに対処
Learning to Exploit Multiple Vision Modalities by Using Grafted Networks
https://arxiv.org/abs/2003.10959
通常の画像データセットよりサーマルカメラなどの特殊なカメラのデータは少ない。そこで通常の画像で学習した学習済みモデルを用いて、特殊カメラ側の入力層を除いた層の表現が一致するような制約をかける蒸留のような学習機構を提案。スクラッチで特殊カメラの画像で学習するよりも精度が上がる。
余分なクラスに割り当てることでミスラベルデータを特定
Identifying Mislabeled Data using the Area Under the Margin Ranking
https://arxiv.org/abs/2001.10528
ランダムにサンプルを追加の余分なクラスに割り当て、その確信度と最大確信度を比較することによってミスラベルデータを特定する研究。ミスラベルデータは、それよりも最大確信度が大きくなるため、特定することができる。
---------------------------------------------------------------------
2. 技術的な記事
----------
NeRFとその関連研究
NeRF,とその関連研究を簡単に解説した記事。NeRFに至るまでの関連研究をまず紹介してくれているので、NeRFがそれらをどう使っているのかがわかりやすい。
---------------------------------------------------------------------
3.実社会における機械学習適用例
----------
AIを使った新薬開発のレポート
https://analytics.dkv.global/deep-pharma/AI-for-Drug-Discovery-2020.pdf
AIを使った新薬開発AIに関して、有力企業や、各社でどのようにAIが活用されているか、市場などを記したレポート。各企業でAIがどのように使われているかの部分は必見。例えばアストラゼネカでは知識グラフを利用して関連する情報を分析するなどの活用方法が書かれている。
---------------------------------------------------------------------
☆☆ 宣伝 ☆☆
2021/1/16(土)にNeurIPS2020の読み会をやります！
招待講演として早稲田外学の森島先生と、同じく早稲田大学の尾形先生にご登壇いただきますので、是非ご参加ください！発表者も大募集中です！
---------------------------------------------------------------------
過去の記事
2020 Week 51の記事⇦2020 Week 52の記事(コレ)⇨2021 Week 2の記事
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ
2020年の総まとめ
---------------------------------------------------------------------
記事は以上です。ここから下は有料設定になっていますが、特に何もありません。この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。
TwitterでMLの論文や記事の紹介しております。
ここから先は
Akira's ML news & 論文解説
※有料設定してますが投げ銭用です。無料で全て読めます。 機械学習系の情報を週刊で投稿するAkira's ML newsの他に、その中で特に…
記事を書くために、多くの調査や論文の読み込みを行っております。情報発信を継続していくためにも、サポートをいただけると非常に嬉しいです。