Akira's ML news #Week 47, 2020
今週の注目記事/論文
- 違う言語を動画中に人物に話させる
- テキストが説明している箇所を示すことでText-to-Imageを精緻にする
- なぜ決定木系の手法がニューラルネットワークを上回ることが多いのか？
---------------------------------------------------------------------
2020年第47週(11/15~)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます
過去の記事
Week 46の記事 ⇦ Week 47の記事(コレ)⇨ Week 48の記事
2020年9月のまとめ
2020年10月のまとめ
内容 :
1. 論文, 2.技術的な記事等, 3. 実社会における機械学習適用例, 4. その他話題
---------------------------------------------------------------------
1. 論文
----------
個々のニューロンをモジュールと考えたアンサンブル手法
A Combinatorial Perspective on Transfer Learning
https://arxiv.org/abs/2010.12268
個々のニューロンをモジュールとして考え、それらのアンサンブルによる継続学習手法NCTLの提案。h個のタスクで訓練されたm個のノードを持つネットワークが、h^m個の疑似タスクに適用できる。破壊的忘却があまりないことをSplitMNISTで実験的に示した。
違う言語を動画中に人物に話させる
Large-scale multilingual audio visual dubbing
https://arxiv.org/abs/2011.03530
動画を翻訳するだけでなく、その言語を喋っているように映像も変換させる研究。口元の画像と音声を埋め込んだものとのAttentionを取りながら、喋り方を重点的に変換することで実現する。デモ動画↓
U-Net in U-Net
U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection
https://arxiv.org/abs/2005.09007
顕著物体検出において、様々な解像度の情報を有効に使うため、U-netをブロック化してU-netにするような構造を提案。事前学習なしで先行研究より効率的/高精度な結果を出した。
著作権/差別的要素のないデータセットで事前学習を行う
Pre-training without Natural Images
http://hirokatsukataoka.net/pdf/accv20_kataoka_fractaldb.pdf
フラクタル画像を用いて事前学習を行う研究。自然画像と違い関数を用いた合成画像なので著作権や差別の心配がないデータセットになっている。一部でImageNet pre-trainedモデルを超える精度を達成。データセットは公開されている。
メタ学習で学習とテストの分布ずれに適応する
ADAPTIVE RISK MINIMIZATION: A META-LEARNINGAPPROACH FOR TACKLING GROUP SHIFT
https://arxiv.org/abs/2007.02931
テスト時のデータ分布変化にメタ学習で適応させるAdaptive Risk Minimization(ARM)を提案。文字と書き手(データとそれに付随する情報)が提供されたときに、書き手に適応させた上で推論させることが可能。
世界規模の気候変動予測を機械学習で
IMPROVING SEASONAL FORECAST USING PROBABILISTIC DEEP LEARNING
https://arxiv.org/abs/2010.14610
世界規模の気候予測を、気候シミュレーションモデルに基づいた深層学習モデル(VAE)で設計した研究。エルニーニョ現象がどう地球規模に影響していくかなどを予測できる。
テキストが説明している箇所を示すことでText-to-Imageを精緻にする
Text-to-Image Generation Grounded by Fine-Grained User Attention
https://arxiv.org/abs/2011.03775
自然言語による説明に加えて、どこの説明かを示すマウスの軌跡を組み合わせるTReCSを提案。各語毎にマスクラベルのタグ付をし、そこからマスク生成、画像合成を行う。先行研究よりも生成品質が大きく向上する。
物体毎に色付けすることでカラー化を精緻にする
Instance-aware Image Colorization
https://arxiv.org/abs/2005.10825
白黒写真のカラー化において、画像全体を直接カラー化するより個々の物体をカラー化する方が簡単なタスクであるという見地から、物体を学習済みモデルで切り出したあとに処理することでカラー化する。背景に引きずれられずに物体毎に塗り分けができる。
学習時のカテゴリ数が多いとFew-shotの設定に強い物体検知モデルが作れる
Closing the Generalization Gap in One-Shot Object Detection
https://arxiv.org/abs/2011.04267
物体検知において、新たなカテゴリでfew-shot学習をする際は良い多くのカテゴリで学習させたモデルが良かった、という研究。データセットを作る際は、個々のカテゴリの数を集めるより多くのカテゴリを作る方に注力するのが良いという提言をしている。
---------------------------------------------------------------------
2.技術的な記事等
----------
Dataset Shiftの説明
データ分布のシフトに関しての説明記事。共変量シフト、事前確率シフトなどの説明と、それらが起こる原因、シフトが発生しているかを特定するの方法を解説している。
NeurIPS2020の全論文の一言まとめ
NeurIPS2020に掲載される全論文の一言まとめ記事が公開。すぐに内容を確認できるので、興味のある内容を簡単に見つけることができる。
なぜ決定木系の手法がニューラルネットワークを上回ることが多いのか？
ニューラルネットワークは確率的にモデルのフィッティングを行うが、決定木系の手法は決定論的にフィッティングを行う。画像のように0 or 1で表現できないものや、自然言語のように曖昧で例外が多いものはニューラルネットワークが強いが、多くの事象はYes/Noで処理できるため決定木系の手法が強い、と主張がなされている。
---------------------------------------------------------------------
3. 実社会における機械学習適用例
----------
COVID-19の影響下用に機械学習モデルを更新して売り上げ増加
多くの企業がCOVID-19の影響で既存の機械学習モデルが全く機能しなくなる問題に直面している。しかし中国のJD.comとアリババは、より短期の動向に注目する機械学習モデルを再開発することにより、前年より売り上げを26％増加させた。
---------------------------------------------------------------------
4.その他話題
----------
MacでTensorflowがより早く動作するように
M1チップを搭載したMacでは、AppleのMacに最適化されたバージョンのTensorFlow 2.4を活用するパフォーマンスを大幅に向上させることができるようになる。
機械学習への攻撃は一般的
機械学習は金融、医療など様々な分野で活用されているが、中小企業だけでなく大企業や官公庁などの大規模な組織でも機械学習に対する攻撃への準備をしていないことがわかった。この記事ではそれらの攻撃に対するマイクロソフトの取り組みを紹介している。
---------------------------------------------------------
TwitterでMLの論文や記事の紹介しております。
https://twitter.com/AkiraTOSEI
記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。
ここから先は
Akira's ML news & 論文解説
※有料設定してますが投げ銭用です。無料で全て読めます。 機械学習系の情報を週刊で投稿するAkira's ML newsの他に、その中で特に…
記事を書くために、多くの調査や論文の読み込みを行っております。情報発信を継続していくためにも、サポートをいただけると非常に嬉しいです。