SMILY; Similar Medical Images Like Yours
著者 Narayan Hegde, et al.
abstract
大規模な機関や公的な組織病理学の画像データセットの利用可能性が高まっている。これらのデータセットには通常、診断や臨床メモなどのメタデータが添付されていますが、慎重にキュレーションされたデータセットであっても、各画像上の関心領域の位置のアノテーションが含まれていることはほとんどない。病理画像は非常に大きい（各次元で最大10万画素）ため、関心のある特徴を見つけるためには、各画像の視覚的な検索が必要である。
⇒本論文では，病理組織画像を対象とした深層学習型の逆画像検索ツール、SMILY (Similar Medical Images Like Yours)を紹介する。
SMILY は病理医の武器として有用な汎用ツールであり、組織病理学画像の大規模なアーカイブの検索効率を向上させることができる。
Introduction
既存の機械学習ベースのCBIRシステムは、アプリケーション毎にラベル付きのデータの収集を必要とするアプリケーション固有のモデルを採用しており、実装に大きな負担がかかっていた。さらに、「類似性」が特定の軸に沿って定義されていたが、その意味はユースケースによって異なる可能性があった。
病理医が事前にアノテーションしてくれたデータセットから、クエリ画像が適切な結果と一致する頻度を定量的に評価した。
病理医には、クエリ画像が SMILY または無作為に選択された検索結果と比較してどの程度の頻度で一致するかを評価してもらった。
METHOD
Neural network architecture
SMILY は、deep ranking networkと呼ばれる畳み込み型のニューラルネットワークアーキテクチャに基づいている。
簡単に言えば、deep ranking networkは、入力画像パッチ[幅(300pixel)×高さ(300pixel)×RGB寸法]を固定長(128 size)のベクトル(128 size)に圧縮する埋め込み計算モジュールに基づいている。
このモジュールには、畳み込み演算、プーリング演算、連結演算の層が含まれている。
学習中、ネットワークには3つの画像のラベル付きセットが与えられた:
あるクラスの参照画像I, 同じクラスの2番目の画像I+,異なるクラスの3番目の画像I-
3つの画像のそれぞれの埋め込みを計算し(I, I-)の埋め込み距離よりも、(I, I+)の埋め込み距離の方が低い距離を割り当てるように訓練する。
我々のネットワークは、18,000の異なるクラスの「自然画像」（例えば、犬、猫、木、人工物など）約500,000,000枚に対して学習した。
このようにして、ネットワークは入力画像の埋め込みを計算して比較することで、類似した画像と類似しない画像を区別することを学習した。このネットワークを活用して、識別可能な埋め込みの生成に成功した。
Building the SMILY embedding database
組織病理学の画像は向きに依存しないので、さらに、各入力画像の4つの90度回転、ミラーリングされたバージョンと回転されたバージョンの合計8つの向き、およびそれに対応して画像パッチごとに8つの128サイズの埋め込みを生成し、260倍の次元削減を実現した。
これらの埋め込みを保存するためには、元の画像を単独で保存する場合と比較して，0.4%の追加のstorage overheadが必要であった．
Querying the database
データベースから一致する画像を検索するために，SMILY はまず，選択されたクエリ画像パッチの埋め込みを計算し，その埋め込みをデータベースに格納されている埋め込みと比較する。この作業では，128サイズの埋め込みベクトルのペア間のL2距離を比較関数とした。
8つの方向（上記参照）を扱うために、最も類似した方向が返されるように検索結果をフィルタリングし、各画像パッチに対して1つの方向のみを検索結果に表示した。さらに、検索結果の多様性を高めるために、互いに1,000ピクセル以内に収まる結果がないようにフィルタリングした。
- - - - - - - - - -
プロスペクティブ研究はどうやら情報系では活用することはなさそう
- - - - - - - - - -
SMILY's user interface
SMILY は、Web ベースのスライドガラス全体のビューアとして実装された。
検索を行うには、ユーザは高さ及び幅が 200~400 pixel の長方形の画像パッチを選択する。
300 × 300 ピクセル以外の画像パッチについては，SMILY はバイリニア補間を用いて 224 × 224 ピクセルにリサイズした後，埋め込みを計算する。
埋め込みは、選択された領域における現在の倍率に基づいてデータベースを検索するために使用され、その結果は、カスタマイズ可能な数の画像パッチとして表示される。
Large-scale quantitative studies
浜松の人にアノテーション付けてもらってんってさ。
RESULTS
Visualization of learned embeddings
SMILYをよりよく理解するために、データが高次元の埋め込み空間のどこにあるかを理解するための一般的なツールであるt-SNEを用いて埋め込みを可視化した。図a は、同じ臓器部位の画像パッチが、埋め込み空間内の全く異なる領域に存在する可能性があることを示している。
図bのように、組織学的特徴に基づいて色付けされた場合、クラスタはより明確な色を持つ傾向がある。
例えば、図aの左下の前立腺クラスターは、図bの動脈、リンパ管、毛細血管などの組織学的特徴の混合物で構成されている。
