StarDistで細胞画像をセグメンテーション
はじめに
AIでの画像処理が最近話題を呼んでいます。その一つにセグメンテーションという画像認識技術があります。
セグメンテーションは何をするのか、というと、画像に映りこんでいる被写体がそれぞれ何か、を識別して可視化してくれる技術です。その応用として期待されているのが、医療画像認識になります。
その一つとして、顕微鏡画像から、各細胞や菌を識別するために開発されたのが、StarDistというライブラリになります。
StarDist、言葉のように、StarDist convex 星突モデル、を使っています。
それは、各細胞の形を認識するのに、星と凸、という２つの形状モデルで判別するという手法です。
では、なぜ医療関係者でもない私がそのモデルに興味を持ったのか？というと、透過電子顕微鏡（TEM）の粒子解析をしたく、粒子のセグメンテーション (segmentation) を探していて出会いました。
さらにこのモデル、Pythonなどで簡単に実装が可能で、ソースコードもGithubで公開されています。
StarDist Github でGoogle検索すると、以下のようなリンクが出てきます。
こんな感じで、菌や細胞ごとに色分けしてくれ、白黒、カラー、２D、３Dと幅広く対応が可能です。
紹介動画
使い方は、こちらの動画がわかりやすいです。
コードもこちらをほぼ使っています。
環境
Tensorflowが入っている環境で動作させるとのことです。
Google colabでしたら、すでにインストールされているので、こちらで試してみます。
確認したい場合は
pip show tensorflow
でインストールされているか確認してください。
StarDist自体は
pip install stardist
でインストールが可能です。
学習済みモデル
今用意されている学習済みモデルは4種類
大きくGray scale用とRGB用に分かれています。
上をGoogle colab上で確認するなら
StarDist2D.from_pretrained()
で確認が可能です。
There are 4 registered models for 'StarDist2D':
Name Alias(es)
──── ─────────
'2D_versatile_fluo' 'Versatile (fluorescent nuclei)'
'2D_versatile_he' 'Versatile (H&E nuclei)'
'2D_paper_dsb2018' 'DSB 2018 (from StarDist 2D paper)'
'2D_demo' None
と表示されるかと思います。
テスト
テストするだけなら
# improt library
from stardist.models import StarDist2D
from stardist.data import test_image_nuclei_2d
from stardist.plot import render_label
from csbdeep.utils import normalize
import matplotlib.pyplot as plt
# Loading Pre-trained model
model = StarDist2D.from_pretrained('2D_versatile_fluo')
# test image loading
img = test_image_nuclei_2d()
# show test image and prediction
labels, _ = model.predict_instances(normalize(img))
plt.figure(figsize=(8, 16))
plt.subplot(1,2,1)
plt.imshow(img, cmap='gray')
plt.axis('off')
plt.title('input image')
plt.subplot(1,2,2)
plt.imshow(render_label(labels, img=img))
plt.axis('off')
plt.title('prediction + input image overlay')テストで用意されている画像がこちら。
で以下のような解析結果が表示されます。結構よい精度で認識できています。
自分の画像でテスト グレースケール
では自分の画像でテストしてみます。
といっても細胞像はもっていないので、ネットからFreeを探してみます。
すると、
使った写真
UnsplashのNational Cancer Instituteが撮影した写真
が見つかりました。
細胞の蛍光像です。
グレースケールでの解析
画像はRGBなので、Skimageのrgb2grayでグレースケール変換してください。
その後、上のプログラムで実行してみます。
その結果がこちら
パット見は見えているのか、居ないのか判別がつきません。
分散していないのがいけないのでしょうか。
元は変更できないので、細かい粒子（細胞）が見えるように、
任意のエリアを拡大抽出してみます。
# smaller crop
my_img_small = my_img_gray[500:800, 500:800]
plt.figure(figsize=(8, 8))
plt.imshow(my_img_small)
plt.axis('off')画像の表示もさせています。
こちらの画像を同様に解析してみました。
結果がこちら
やはり小さい粒子を認識している様子です。
Polygon
この画像を今のモデルで認識するには難しいかと思われるので、こちらをPolygon表示してみます。
from scipy.sparse import coo
from stardist import random_label_cmap, _draw_polygons, export_imagej_rois
import numpy as np
np.random.seed(1234)
lbl_cmap = random_label_cmap()
plt.figure(figsize=(13,10))
img_show = my_img_small if my_img_small.ndim==2 else my_img_small[...,0]
coord, points, prob = my_img_small_details['coord'], my_img_small_details['points'], my_img_small_details['prob']
plt.subplot(121)
plt.imshow(img_show, cmap='gray')
plt.axis('off')
a = plt.axis()
_draw_polygons(coord, points, prob, show_dist=True)
plt.axis(a)
plt.subplot(122)
plt.imshow(img_show, cmap='gray')
plt.axis('off')
plt.imshow(my_img_small_labels, cmap=lbl_cmap, alpha=0.5)
plt.tight_layout()
plt.show()こちらのコードを実行してみてください。
結果は以下のようになります。
RGB画像
RGBは 2D_versatile_he ですので、こちらで
HE_model = StarDist2D.from_pretrained('2D_versatile_he')
he_labels, _ = HE_model.predict_instances(normalize(my_img))
plt.rcParams['figure.figsize'] = (20, 10)
plt.subplot(1,2,1)
plt.imshow(my_img)
plt.axis('off')
plt.title('input image')
plt.subplot(1,2,2)
plt.imshow(he_labels)
plt.axis('off')
plt.title('prediction')得られた画像がこちら
やはり小さい粒子を認識しています。
2D_paper_dsb2018
こちらでもやってみましょう。
Grayscale用ですので、以前の画像が使えます。
dsb2018 = StarDist2D.from_pretrained('2D_paper_dsb2018')
dsb2018_labels, dsb2018_details = dsb2018.predict_instances(normalize(my_img_gray))
plt.rcParams['figure.figsize'] = (20, 10)
plt.subplot(1,2,1)
plt.imshow(my_img_gray)
plt.axis('off')
plt.title('input image')
plt.subplot(1,2,2)
plt.imshow(dsb2018_labels)
plt.axis('off')
plt.title('prediction')結果はこちら
先ほどより粒子数は増えましたが、基本的には大きい細胞を認識できていません。
2D_paper_dsb2018 + test image
気になるので最後テスト画像でチャレンジしてみました。
すでにイメージ取得しているので、以下のコードを実行します。
dsb2018_labels_test, dsb2018_details_test = dsb2018.predict_instances(normalize(img))
plt.rcParams['figure.figsize'] = (20, 10)
plt.subplot(1,2,1)
plt.imshow(img)
plt.axis('off')
plt.title('input image')
plt.subplot(1,2,2)
plt.imshow(dsb2018_labels_test)
plt.axis('off')
plt.title('prediction')得られた結果がこちら
しっかり認識できています。
画像の選択や、処理も重要かもしれません。
最後に
StarDistを試してみました。
学習済みモデルでは、やはりできることに制限があります。
必要なデータでは、特化した学習をする、画像のアノテーションをする必要がありそうです。
次は、そちらについて学んで報告したいと思います。
ただほんの数行で、写真のような細胞（菌）の画像はセグメンテーションできます。
有用なライブラリのようです。
U-NetのようなDNNでもなく、すぐに実装可能であることがわかりました。
同じような画像、細胞、菌の顕微鏡画像、蛍光像をお持ちの方、
上のコードを活用して、画像認識させてみてください。