あなたにターミナルを使える技術があるなら、Ollamaでllama2・Gemmaを使え！
以前、LM studioの記事を書いたが、ターミナルが使えるのなら「Ollama」の方がずっと楽だった！
Ollamaを使って、llama2の70bモデルと普通の7bモデルを使ってみました。ターミナル上で動かすこともできるし、VS codeでimport ollamaというようにpython上で使うこともできます。Mac使いなら.dmgファイルがあるのでインストールも簡単です。
ダウンロード・インストール
Macの方はこちらからダウンロードして、.dmgファイルをダブルクリックしてインストールしてください。
1．ターミナルの使い方
>>> ollama run ○○○（＜−モデル名）
ターミナルを開いたら上記のコマンドを使います。「モデル名」はこちらにあるものから選んで「run」させると、ダウンロードできていないモデルはダウンロードが始まり、ダウンロード済みのものはそのモデルが起動します。
「>>> /?」
「>>>」というプロンプトが出るので、この後に「/（スラッシュ）」を入れるとコマンドが機能します。「/?」でどんなコマンドがあるか表示されます。
例えば、「/show」とすると「/show」で使えるコマンドが複数表示されます。ここでは「/show template」としてみました。
2．llama2:70bを使う
まずはターミナル上で「ollama run llama2:70b」というコマンドを打ちます。
ダウンロードが終わっていればすぐに起動します。終わってないとWiFi環境によっては30分くらいかかります。（普通の人は70bのモデルはダウンロードしないことをお薦めします）
インストールされたモデルの確認
ダウンロードされたのでプロンプトに質問を描いてみた。
3．ターミナル上でチャットしてみた
>>> Please describe the Newton produced by Apple.
I believe you meant to ask about the Newton, a product developed by Apple. The Newton was a personal digital assistant
(PDA) that was first released in 1993 and discontinued in 1998. It was designed to be a handheld device that could
store and manage personal information such as appointments, contacts, and notes, as well as perform basic calculations
and provide a calendar.
The Newton was known for its innovative features, including its touchscreen interface, handwriting recognition
technology, and ability to synchronize data with other Apple devices. It was also known for its sleek and compact
design, making it easy to carry around.
Despite its innovative features and sleek design, the Newton never gained widespread popularity and was ultimately
discontinued by Apple. However, it remains an interesting footnote in the history of personal computing and digital
assistants.
>>> 日本語で質問します。アップル社が開発したニュートンについて教えてください。
私は、アップル社が開発したニュートンに関する情報を提供することができます。ニュートンは、1993年にリリースされ、1998年に終了したパーソナルデジタルアシスタント（PDA）であり、手持ち式デバイスとして設計されていました。このデバイスは、私は、アップル社が開発したニュートンに関する情報を提供することができます。ニュートンは、1993年にリリースされ、1998年に終了したパーソナルデジタルアシスタント（PDA）であり、手持ち式デバイスとして設計されていました。このデバイスは、人々が日常的に使用する情報を保存および管理することができるように設計されており、その中には、予定、連絡先、メモ、基本的な計算、カレンダーなどが含まれました。
ニュートンは、いくつかのイノベーтивな機能を特徴としていました。その中には、タッチスクリーンインターフェース、手writing認識技術、他のアップルデバイスとのデータ同期などが含まれます。また、ニュートンは、そのコンパクトでスリムなデザイ々が日常的に使用する情報を保存および管理することができるように設計されており、その中には、予定、連絡先、メモ、基本的な計算、カレンダーなどが含まれました。ニュートンは、いくつかのイノベーтивな機能を特徴としていました。その中には、タッチスクリーンインターフェース、手writing認識技術、他のアップルデバイスとのデータ同期などが含まれます。また、ニュートンは、そのコンパクトでスリムなデザインにより、持ち運びやすいものとなっていました。
ニュートンは、アップル社がリリースした製品の中でも、特に人々の注目を集めることがありました。ただし、ニュートンは、最終的には広汎な人気を得られず、アップル社によって中止されました。それでも、ニュートンは、今日でも、パーソナルコンピューティンにより、持ち運びやすいものとなっていました。ニュートンは、アップル社がリリースした製品の中でも、特に人々の注目を集めることがありました。ただし、ニュートンは、最終的には広汎な人気を得られず、アップル社によって中止されました。それでも、ニュートンは、今日でも、パーソナルコンピューティングの歴史的足跡として、興味深い Footnote となっています。
4．実際の稼働速度は？
画面キャプリャの動画を貼り付けようとしたのですが、Youtubeなどの動画サイトのリンクが必要なようなので辞めときました笑。
70bはちょっと遅い
7b（日本語入出力）はそこそこ早い（ChatGPT程度）
7b（英語入出力）は爆速
内容的には（GPT-4が90点とすると…）llama:7bで70~80点くらいの出来だと思います。
実際にダウンロードしたモデルは？
実際には以下のようなものをダウンロードしてみました。Geminiの商用利用可能版であるGemmaはイマイチだったかもしれません。
5．まとめ
研究室のお化けサーバで苦労してたのですが、あっさり自前のお化けMacbook（メモリ: 96GB/SSD: 4TB）で動きましたｗ。llamaの70bモデルはメモリを50GBくらい（Ollama自体は1GB程度）占拠するので、普通のmacではお薦めしません。Ollamaはいろいろなモデルが使えてお薦めです。
