見出し画像

Google Colab で BAAI/bge-reranker-v2-m3 を試す

npaka

「Google Colab」で「BAAI/bge-rerankeer-v2-m3」を試したので、まとめました。

1. BAAI/bge-reranker-v2-m3

「BAAI/bge-reranker-v2-m3」は、「bge-m3」ベースの「Reranker」モデルです。「Reranker」モデルは、従来の「埋め込み」モデルとは異なり、質問とドキュメントを入力として受け取り、類似度を出力します。

2. Colabでの実行

Colabでの実行手順は、次のとおりです。

(1) パッケージのインストール。

# パッケージのインストール
!pip install -U FlagEmbedding

(2) モデルの準備。

from FlagEmbedding import FlagReranker

# モデルの準備
reranker = FlagReranker("BAAI/bge-reranker-v2-m3", use_fp16=True)

(3) 類似度の計算。

# 類似度の計算
scores = reranker.compute_score([
    ["パンダとは？'", "こんにちは。"], 
    ["パンダとは？'", "パンダは中国南西部の山岳地帯に生息する哺乳類の一種です。"]
])
print(scores) 
[-10.502717018127441, 3.9539854526519775]

「パンダとは？」の質問には「パンダは中国南西部の山岳地帯に生息する哺乳類の一種です。」のドキュメントが関連していることがわかります。

(4) [0,1]で類似度を計算。
シグモイド関数によって、類似度を [0,1] の浮動小数点値にマッピングします。

# 類似度の計算
scores = reranker.compute_score([
    ["パンダとは？'", "こんにちは。"], 
    ["パンダとは？'", "パンダは中国南西部の山岳地帯に生息する哺乳類の一種です。"]
], normalize=True)
print(scores)
[2.746097973920767e-05, 0.9811827633538204]

関連



いいなと思ったら応援しよう！