画像解析を活用した新システムについての妄想

こんにちは！PARTYでリサーチエンジニアをしている宮本です。分野としては画像処理・機械学習を専門としています。

先日、2016年に発表したシステムDeeplooksがテレビ番組で使われました。入社したタイミング（5年ほど前）が、日本でDeep Learningが注目され始める時期だったのもあり、最初に作ったシステムがDeeplooksです。これは2万枚以上の顔画像に対して人間が美しいと感じるかどうか採点したデータを元に機械学習したシステムで、入力された顔画像に対して美しさを自動で判別します。
　個人的には人間の顔のうつくしさがどうとかということにはあまり興味がないので(笑顔でいてくれたら十分です)これをそのまま使って何かしようとは思わないのですが、エンジニアリング的には精度をもっとあげたり、このシステムを応用して見た目を採点する新しいシステムを作れたらなと考えていました。（他の業務に追われて、手付かずのまま4年が経っています。

そこで！本記事では「見た目」で何かを判別するシステムが作れないかということを真剣に『妄想』してみることにします。

　ぱっと見の「なんかいい感じ」を判定するシステムというのは正解データを数値化しづらいところが難点ですが、今までだとセンスのある人間にしかできなかったタスクを自動化できるという点で大きな可能性を秘めています。
（今回の記事には直接関係ないですが、写真を撮るのが趣味なので風景写真の点数化にも興味があったりします。最近更新してないですがこちらに論文等まとめています。もし興味がありましたらどうぞ。)

miyamotty/awesome_ImageAesthetics

　ただ、研究分野で様々な論文が発表されつつも、実際のサービスへの適応はまだまだ発展の余地がある印象です。

　そういう状況の中で自分だったらどういうシステムであれば生活の中で使いそうか、人々の役に立ちそうかというところを妄想してみました。実現方法についても考察しましたので、もしツッコミ等ありましたらいただけると幸いです。

1.料理の写真を点数付けする

今や写真といえばSNS、SNSといえば映え、映えといえば料理写真な印象ですが、なんだかんだ自由度が高い分、撮影するときに迷うことが多い！
　お皿の配置、光の当て方、構図、色味、ましてや張り切って自分で作った料理であれば盛り付けもこだわりたくなります。
　このときに一番問題なのは「他人が撮った美味しそうな写真はわかるけど、目の前の料理をどう撮れば美味しそうな写真になるのかがわからない」ということだと思います。
　そこで「大量の料理画像で学習した採点システム」を考えます。撮った写真が美味しそうに見えるかどうかをシステムが点数付けします。と同時に同じ料理で過去の投稿で点数が高かった写真も表示してあげます。
つまり以下のようなイメージです。

ただ採点をするだけではなく同時に料理認識をして何が写っているか判別することで過去点数の高かった写真の盛り付け方や、撮り方を参考にすることができます。
　例えば「寿司」と「天丼定食」では撮り方もかなり変わってきますし同じ料理の方が改善のイメージがつきやすいのではないかと思います。

　…と妄想したところでネット検索してみたところ、すでにいくつかインスタ映えを点数づけするようなアプリはありました。一瞬「うっ…やはりやられていたか」となったんですがまだそこまで精度は高くない印象なのでチャンスはあると思います。
　また、写真の撮り方をアドバイスするようなものは見つけられなかったので、もし実現できたら結構楽しいんじゃないかなと思います。
　長期的には言葉でアドバイスできるようにしたり、SNOWのウサギフィルターみたいにないはずのパセリを添えたりとかやってみたいですね。

実装するときに参考になりそうなデータセット、論文等
Yelp Open Dataset and Dataset Challenge Round 10
Gourmet photography dataset for aesthetic assessment of food images
A Survey on Food Computing
Enhancing Social Media Analysis with Visual Data Analytics: A Deep Learning Approach
Aesthetic Evaluation of Food Plate Images using Deep Learning

2.アートを部屋に飾りたいときにオススメを教えてくれる

これは大量の画像を点数付けして学習するというのとはちょっと違うのですが、「見た目」を分類することでそれと合う組み合わせをおすすめするシステムです。

　家にいる時間が増えると部屋に変化が欲しくなって何か飾りたくなったりしませんか？
また、リモートワークでのビデオ会議のときも同僚の部屋にアートが飾られていると「おーしゃれてるな〜」と感じます。（ちなみに私の部屋に飾られているのは中国の大芬油絵村で買った、めちゃくちゃ下手くそなゴッホの複製画です。お気に入りです。）
　そして「ぐっとくるいい感じのポスターないかな〜」とか「超有名じゃなくてもいいからこの部屋に合う現代アーティストの絵ないかな〜」と思って探し始めるのですが…選択肢が多すぎる！自分の感性に合うやつを選ぼうにも候補が多すぎて、ブラウザをそっ閉じしたくなります。

　そこで数多あるアート作品の中から、自分の部屋に合った作品を検索できるようにするにはどうすればよいか考えてみました。（今回は課題の単純化のために立体物ではなく絵画などを想定します）

　例えば、飾りたい部屋の写真を撮ったら家具の種類・色などから全体の雰囲気の分類（ミッドセンチュリー系か北欧系かなど）を行い、あらかじめ機械学習して分類しておいたアート作品と結び付けることはできそうです。単なる分類ではなく、お互いの特徴空間のマッピングを対応づけてもいいかもしれません。
　作品の大きさについても物体検出を用いて壁領域の認識を行い、空いているスペースに合う作品を見つけてきます。
　これだけだとまだ候補が多すぎると思うのでその人の好きな映画や音楽などと組み合わせてより感性にカスタマイズした候補を提示できると良いかもしれません。私の場合だとSF映画大好きなのでそこから宇宙とか科学技術をモチーフにした作品を提案してくれたら即購入してしまうと思います。

　まとめると以下の図のようになるかと思います。

最初に一瞬思ったのは家具のレコメンドですが、それよりもアートの方が選択肢多すぎて迷うなーというところから考えてみました。いかがでしょうか。

実装するときに参考になりそうなサイト、論文等
IDEE shop online（アートの選び方）
ポスターやアートを探すなら！インテリアコーディネーターがすすめるネットアドレス厳選８
The Shape of Art History in the Eyes of the Machine
A comparison of audio signal preprocessing methods for deep neural networks on music tagging
Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis
USAR: an Interactive User-specific Aesthetic Ranking Framework for Images

他にもいろいろ考えられると思いますが長くなってきたのでこのへんで。
ここまで私の妄想にお付き合いいただきましてありがとうございました。
もし興味があるエンジニア・企業様がいらっしゃいましたらご連絡ください！一緒に作りましょう！！
（究極的にはアイデアをパクっていただいても構いません。今よりもっと世の中を楽しくしてもらえたら本望です。完成の折には一報いただけるととてもうれしいです。）

PARTY

＊ ＊ ＊ ＊

PARTYでは一緒に働く仲間を募集しています。