シュッと QA をベクトル検索したい

ちわ(/・ω・)/






以前もちょろりと触った sqlite-vss。




非常に便利でございます。




はい。



軽量だしアプリとまとめてデプロイしとけばえぇやん。



みたいなコンテキストがあり。



結構ウェブサイト QA で答えを探しやすくなるようにベクトル検索できるといいなぁみたいな話を聞き。



それ、シュッとできるやん( ・ω・)




ということでふわっとしたものを作ってみた(/・ω・)/







ゴミのような README ですまんでござる( ・ω・)




ノリでつくったのでコードも雑ですまんでござる( ・ω・)




やってることは

  1. question, answer, reference の JSON 配列を用意する

  2. SQLite DB つくる

  3. テーブル作る

  4. 仮想テーブル作る

  5. データを text-embedding-ada-002 で embedding してぶち込む

  6. 出来上がった DB ファイルを Docker Image に含めて AWS Lambda に SAM でシュッと作る

  7. 検索クエリで類似の question をベクトル検索してヒットしたレコードを複数返す





以上(/・ω・)/




Lambda だから常時稼働じゃないのでお安い。




基本 Read のみでデータ変えたくなったら DB 作り直してデプロイするだけ。



楽ちん。



速度はまぁって感じだけどそんなシビアな用途じゃなければ余裕。




やる気をだして Docker 最適化すればよいであろうが、そこまでする気はないでござる( ・ω・)



特にメンテするつもりもないでござるが、ご参考まで。



おしまい。

いいなと思ったら応援しよう!