Ollama Pythonライブラリを紹介します。
この記事で提示するコードを打鍵していくと、実行できるようにしています。
Ollama Pythonライブラリにより、手軽にPythonでローカルLLMを取り扱うことができます。
最初に、ollamaライブラリをインストールします。
pip install ollama
次に、サンプルコードとして、test.pyとして作成します。
import ollama
response = ollama.chat(model='llama3', messages=[
{
'role': 'user',
'content': 'Why is the sky blue?',
},
])
print(response['message']['content'])
次に、コードを実行します。
python test.py
少し時間がかかりますが、実行結果は、次のようになりました。
次は、実行結果を完了するまで待たずに、streamingで表示してもらうコードとなります。また、日本語で入力して、日本語で回答してもらいます。
test2.pyに次のコードを記載してください。
import ollama
stream = ollama.chat(
model='llama3',
messages=[{'role': 'user', 'content': 'なぜ空は青いのですか?日本語で回答してください。'}],
stream=True,
)
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)
test2.pyを実行します。
python test2.py
日本語でも理解されて、日本語で回答も得ています。
所感は、Ollama PythonライブラリでOllamaを取り扱えることにより手軽にローカルLLMを取り扱えるのはメリットがあります。
また、Ollama Pyhotnライブラリのコードの記載方法はOpenAIのAPIと類似しているところもあり、取り扱いやすいです。