Faissインデックスの使い方
背景CLIPモデルを使った画像検索を実装したところ、検索対象の画像の枚数が10万枚になったくらいから検索速度が遅くなってきました。
「検索=クエリと検索対象の特徴ベクトルを総当たりで類似度計算してランキングを返す」という処理なので検索時間は検索対象の増加に応じて線形に増加します。
私の場合、検索対象の数は億くらいまであり得るのでこのまま対策を考えないと詰むと思いつつも解が思い当たらず諦めていました。
そんな中、同じようにCLIPモデルを使った画像検索をしているブログを見つけて