シュッと QA をベクトル検索したい
ちわ(/・ω・)/
以前もちょろりと触った sqlite-vss。
非常に便利でございます。
はい。
軽量だしアプリとまとめてデプロイしとけばえぇやん。
みたいなコンテキストがあり。
結構ウェブサイト QA で答えを探しやすくなるようにベクトル検索できるといいなぁみたいな話を聞き。
それ、シュッとできるやん( ・ω・)
ということでふわっとしたものを作ってみた(/・ω・)/
ゴミのような README ですまんでござる( ・ω・)
ノリでつくったのでコードも雑ですまんでござる( ・ω・)
やってることは
question, answer, reference の JSON 配列を用意する
SQLite DB つくる
テーブル作る
仮想テーブル作る
データを text-embedding-ada-002 で embedding してぶち込む
出来上がった DB ファイルを Docker Image に含めて AWS Lambda に SAM でシュッと作る
検索クエリで類似の question をベクトル検索してヒットしたレコードを複数返す
以上(/・ω・)/
Lambda だから常時稼働じゃないのでお安い。
基本 Read のみでデータ変えたくなったら DB 作り直してデプロイするだけ。
楽ちん。
速度はまぁって感じだけどそんなシビアな用途じゃなければ余裕。
やる気をだして Docker 最適化すればよいであろうが、そこまでする気はないでござる( ・ω・)
特にメンテするつもりもないでござるが、ご参考まで。
おしまい。