CT:解剖学的ランドマーキングのためのRelational Reasoning Network (RRN)利用
Relational reasoning network for anatomical landmarking
Neslisah Torosdagli, Syed Anwar, Payal Verma, Denise K. Liberton, Janice S. Lee, Wade W. Han, Ulas Bagci
Author Affiliations +
Journal of Medical Imaging, Vol. 10, Issue 2, 024002 (March 2023). https://doi.org/10.1117/1.JMI.10.2.024002
【目的】
頭蓋顎顔面骨（CMF）の解剖学的ランドマークを、明示的にセグメント化することなく実行する。そのために、CMF骨（特に下顎骨、上顎骨、鼻骨）のランドマーク間のローカルおよびグローバルな関係を正確に学習する、関係推論ネットワーク（RRN）と呼ばれるシンプルかつ効率的な深層ネットワークアーキテクチャを提案します。
【アプローチ】
提案するRRNは、密なブロック単位に基づくランドマークの学習された関係を利用して、エンドツーエンドで動作する。RRNは、入力として与えられた数個のランドマークに対して、予測されたランドマークが欠損していると見なすデータインピュテーション問題と同様にランドマーク作成プロセスを扱うことができる。
【結果】
250人の患者から得られたコーンビームCTスキャンにRRNを適用した。4重クロスバリデーション法により、ランドマークごとの平均平均二乗誤差は2mm未満であった。提案したRRNは、ランドマーク間のユニークな関係を明らかにし、ランドマーク点の情報性を推論するのに役立った。また、骨に深刻な病変や変形がある場合でも、提案システムは欠損したランドマークの位置を正確に特定することができた。
【結論】
解剖学的ランドマークを正確に特定することは、変形解析やCMF手術の手術計画において重要なステップである。骨のセグメンテーションを必要とせず、この目標を達成することは、セグメンテーションベースのアプローチの大きな限界に対処するものであり、セグメンテーションの失敗（重度の病理または変形がある骨ではしばしば見られる）は、誤ったランドマークを容易に引き起こす可能性がある。これはディープラーニングを使用してオブジェクトの解剖学的関係を見つける初めてのアルゴリズムである。
www.DeepL.com/Translator（無料版）で翻訳しました。
序文から客観的ランドマークの意義について
外傷、腫瘍切除による変形、先天性欠損などによる顎、顔面、頭蓋領域の発達的変形に悩む患者の治療に、頭蓋顎顔面（CMF）骨の変形解析や手術計画を行う上で、放射線スキャン（多くは体積コンピュータ断層撮影-CTスキャン）による正確な解剖学的ランドマークは重要なステップである。ランドマークは、歯科インプラント計画、歯列矯正治療計画、顎関節障害の評価など、様々な臨床用途に使用することができる。例えば、歯科インプラント計画では、セグメンテーションよりも正確なランドマークが重要であり、上顎洞や下顎洞、メンタルフォーメンなどの解剖学的構造物の位置に基づいて、インプラントの適切な位置を決定することができるため、臨床医はランドマークを作成することができる。ランドマークの位置が正確でないと、インプラントの埋入が正しく行われない可能性がある。
矯正治療計画において、正確なランドマークは、歯と顎の全体的な形や大きさ、特定の歯の位置や向きを評価するのに役立ちます。これは、患者さん固有の解剖学的構造を考慮した治療計画を立てるのに役立つ。体積CTスキャンにおける手動ランドマークは、面倒なプロセスであり、操作者間のばらつきが生じやすいため、自動ランドマーク手順の開発には大きなニーズがありCTスキャンからの骨のセグメンテーションに基づく解剖学的ランドマークのための完全自動化された正確なソフトウェアの開発に向けてかなりの努力がなされている
Translated with DeepL
relational reasoning networkってなんですか？
Relational Reasoning Network (RRN) は、複数の要素間の関係性をモデル化することに特化した深層学習アーキテクチャの1つです。RRNは、畳み込みニューラルネットワーク (CNN) やリカレントニューラルネットワーク (RNN) などの従来のニューラルネットワークアーキテクチャとは異なり、要素間の関係性を捉えるために特別に設計されています。
RRNは、2つ以上の要素（たとえば、物体、言葉、画像、人など）を入力として受け取り、要素間の関係性を分析し、推論することができます。RRNは、要素間の関係性をモデル化するために、グラフ構造を使用します。グラフ構造には、要素がノードとして表され、要素間の関係性がエッジで表されます。
RRNは、多くのタスクで使用されています。たとえば、物体認識、自然言語処理、画像処理、関係推論などです。RRNは、特に複雑な関係性を持つデータに対して有効であり、そのパフォーマンスは、従来のCNNやRNNよりも高い精度を示すことがあります。
具体的、プログラムツールを教えて下さい
Relational Reasoning Network (RRN) の実装には、いくつかのプログラムツールがあります。以下に、代表的なものをいくつか紹介します。
１）PyTorch Geometric: PyTorch Geometricは、グラフニューラルネットワークを構築するためのPythonライブラリで、RRNの実装に適しています。２）PyTorch Geometricは、PyTorch上で動作するため、ディープラーニングフレームワークのPyTorchを使用する場合に便利です。
T３）ensorflow: Tensorflowは、グラフニューラルネットワークの構築に使用できるオープンソースの機械学習フレームワークです。Tensorflowは、PythonとC++で実装されており、RRNの実装にも適しています。
４）Keras: Kerasは、Pythonで書かれたオープンソースのニューラルネットワークライブラリで、TensorflowやTheanoなどのバックエンドエンジンをサポートしています。Kerasは、シンプルで使いやすいインターフェイスを提供し、RRNの実装にも適しています。
５）PyTorch Lightning: PyTorch Lightningは、PyTorchを使用したディープラーニングモデルの高速な開発とトレーニングを容易にするPythonライブラリです。PyTorch Lightningは、RRNの実装にも適しています。
これらのプログラムツールは、いずれもRRNの実装に適しています。ただし、RRNは比較的新しい技術であり、特別な知識が必要な場合があるため、実装する前に十分に理解することが重要です。
基礎的な数式を教えて下さい
Relational Reasoning Network (RRN) の数式は、以下のように表現されます。
RRNは、複数の要素 $x_i$ ($i=1,...,N$) を入力として受け取り、要素間の関係性を分析するために、グラフ構造を使用します。グラフ構造は、要素がノード $v_i$ として表され、要素間の関係性がエッジ $(v_i, v_j)$ で表されます。ここで、エッジには、要素間の関係性を表す重み $w_{i,j}$ があります。
RRNは、ノード $${v_i}$$ とノード $${v_j}$$ が与えられた場合の、要素間の関係性を表す特徴量 $${r_{i,j}}$$ を計算するために、以下の数式を使用します。
$${r_{i,j} = f(x_i, x_j, w_{i,j})}$$
ここで、$${f}$$ は任意の関数です。一般的には、多層パーセプトロン (MLP) が使用されます。また、$${x_i}$$ と $${x_j}$$ は、要素 $${i}$$ と要素 $${j}$$ の特徴量ベクトルを表し、$${w_{i,j}}$$ はエッジの重みを表します。
この数式により、RRNは、要素間の関係性を計算することができます。この計算結果は、さまざまなタスクに使用されるため、タスクに応じて、その計算結果を入力として、さらに別のニューラルネットワークを構築することがあります。