【生成AI】Phi-3の実行に失敗しました。

昨日の記事にて、Phi-3を使うための環境構築が完了しました。

しかし、Phi-3を起動してみたところ、トラブルが発生しましたので、今回はそのトラブルについて記事を書きます。

まずは以下のコマンドでphi-3を起動

環境構築が完了したのでPhi-3の動作確認を行います。
コマンドプロンプトを立ち上げて以下のコマンドを入力します。
ollama run phi3
すると以下のエラーが発生しました。

このエラーはPhi-3を起動するためのメモリが不足していたために、起動に失敗したことを示すエラーメッセージです。
5.6GiBのメモリが必要なのですが、0.2GiB不足していたので、いくつかのタスクを修了させて再度コマンドを入力してみたところ、無事に起動することができました。
起動が完了すると、以下の表示に変わります。

この表示が出ればPhi-3を利用することができます。
適当なプロンプトを入力してみたところ、以下の回答が生成されました。

この回答を見てわかるとおり、正しい日本語による回答を得ることができていません。Phi-3はもともと、日本語には対応していないといわれていたため、これだけの日本語が書けるだけでも十分にすごいのですが、全く実用的ではないため、何かしらの対策をとる必要があります。

モデルを追加する

Phi-3にはいくつかのモデルが提供されています。このモデルの中から軽量且つ高性能のモデルを選択すれば利用できることがわかりました。
以下のコマンドを入力してモデルをインストールし、起動してみました。
ollama run phi3:3.8b-mini-128k-instruct-fp16

successと表示されるとインストール成功です。続いてsend a messageと表示されるのでプロンプトを入力してみました。

最初に比べると回答の精度は上がりましたが、やや日本語が不自然です。
私が利用しているPCの空きメモリの状況に適していて、最も性能の高いモデルを調査する必要があります。

まとめ

Phi-3の環境構築が完了し、無事に利用できるかと思いきや、予想していなかった展開となりました。最適なモデルについては、調査を続けます。
日本語での回答は精度が低いですが、英語では十分に利用できるレベルですので、Pythonを使って翻訳するプログラムを作るなどして対策案を考えます。