Hugging Chatの解説です。
LLaMA 30Bをベースとした全く新しいオープンソースの大規模言語モデルであるHuggingChatをレビューしています。HuggingChatは、GPT3.5と同等の完全なオープンソースのモデルです。GPT4にはまだ及びませんが、オープンソースのモデルとしては非常に素晴らしいです。
0:00 - イントロ
0:20 - Hugging Face
0:40 - HuggingChatのテスト
1:00 - 詩を書く
1:32 - スネークゲーム
3:51 - メールライティング
4:20 - レシピの例
4:45 - 論理的推論
5:16 - 数学の問題
6:38 - GPT3.5比較編
9:31 - アウトロ
公開日:2023年4月27日
※動画を再生してから、インタビューを読むのがオススメです。
こんにちは、今日も一日お疲れ様でした。今日は別のモデルです。
今回はHugging FaceのHuggingChatをレビューします。これはOpen AssistantのLLaMA 300B 300億パラメータモデルに基づいており、ChatGPT 3.5とかなり比較できます。
では、実際に試してみて、ChatGPT 3.5と比較してみたいと思います。
さっそくやってみましょう。
これはリマインダーとしてHugging FaceのWebサイトです。 ここでは、大量のオープン ソース LLM と、多数の機械学習ツール、ライブラリ、データセット、および人工知能や機械学習に興味がある場合は素晴らしいものを見つけることができます。
HuggingFace株式会社をチェックすることを強くお勧めしますが、今日はHuggingChatをテストするつもりです。
さて、これがそれです。
インターフェイスに関しては ChatGPT とほぼ同じに見えますが、ここの一番下に実際のモデルがあります。 それは Open Assistant LLaMA 30B モデルで、非常に優れています。
では、いくつかテストしてみましょう。
まず、「AI-50語の詩を書いてください」という簡単なものから始めてみましょう。
これで、GPT3.5より速いというのは信じられないくらい速い。
GPT3.5よりも速いし、GPT-4よりも速いし、クオリティも高い。
ぜひご覧ください!
人工知能は、私たち人間とは異なり、デジタル エンティティを成長させました。それは、今日まで見られなかったテクノロジーをリードする可能性と力で輝いています。 大文字と小文字の問題があるかもしれませんが、これは良い詩です。
もうちょっと難しいのに挑戦してみよう。
では、NewChatに向かいましょう。例のひとつは、スネークゲームのコーディングです。
本当に良い、長いコードを書くことは、Open Assistantを含む多くのオープンソースモデルにとって問題になっています。
このモデルを使ってスネークゲームをコーディングできるかどうか見てみましょう - うまくいけば、他のモデルよりも良いパフォーマンスが得られるかもしれません。
もちろん、これはPythonで基本的なSnake Gameをコーディングする方法の例です:ChatGPTのようにきれいにフォーマットされています。
なるほど、面白いことに、全体を把握することができました。
たぶん、最後のほうでこのスペルを間違えてしまったんだと思う。
実行中のはずなんだけど、まだ動くならそれでいいや。
そして、それはプロンプトを終了しませんでした。
だから、かなり良い、完璧ではない。
でも、コードをテストしてみよう。
VSCodeを開き、新しいテキストファイルを開き、これをスネークパイと呼ぶことにします。
HuggingChatに戻ります。
すべてのコードをコピーし、スイッチバックしてペーストし、それがすべて動作することを確認します。
ランダム性はありません。
ひとつだけ、ランダムをインポートしていないことがわかりました。
では、それを試してみましょう。
さて、これで完成です。
保存をクリックします。
興味深いのは、何も使っていないことです。
コードに到達できません。
なるほど、この問題は、インデントがきちんとされていないことにあるようです。
だから、単純なコピーペーストではなかったのですが、これでよしとしましょう。
また、メソッド名のスペルが間違っているものもありますね。
では、ここに『蛇を描く』があります。これを直せば...。
それでもうまくいきません。'定義されていません' その通りです。
さて、今すぐデバッグに時間をかけたくはないのですが、80%くらいはできたと思います。
確かにバグもあるし、誤字脱字もあるけど、かなりいい感じだよ。
毎回完璧ではないことを考えると、それが指示された例の1つであることが少し残念です。
しかし、これは多くのオープンソースのモデルより大きなステップアップです。
話を戻しましょう。
箇条書きリストからメールを書くというテストをもう少しやってみましょう。
その結果、どうなるか見てみよう。
レストランのオーナーとして、毎週この商品を手に入れるために、サプライヤーにプロフェッショナルなメールを書くんだ、とスピーカーは言った。
さて、このメッセージがあなたの元に届くことを祈っています。
私は、私の施設、レストラン名を代表して書いています。
私たちは定期的な供給が必要なのです。
ええ、つまり、これは本当に良いメールのように見えます。
ざっと見た感じでは誤字脱字はないですね。
そうそう、これでいい。
最後の例でタスクをアシストしてみよう。
おいしいレモンチーズケーキを作るにはどうしたらいいですか?
絶品で濃厚なレモンチーズケーキの作り方を紹介します。
10個分必要な材料:ビスケット、牛乳、卵、黄身、クリームチーズ、説明書。
うん、つまり、これもなかなか美味しそうだ。
もうちょっと難しいものを出してみよう。
私が好きな課題のひとつに推理問題があります。そこで、簡単な推理問題を出してみましょう。
ニックはジョーより速い。
ニックはジョーより速い。
サリーはジョーより速いか?
はい、もしサリーがジョーより速いニックより速いなら、サリーもジョーより速いということになりますね。
実に、実にいい。
じゃあ、今度はちょっとだけ算数をしてみよう。
34倍56倍プラスは何でしょう、カッコも使わないでおこう。
それが解けるかどうか見てみましょう。
課題のコピーに間違いがあったようです。
誤解のないように、やるべきことがはっきりわかるように、正しく繰り返し教えていただけませんか?
ありがとうございます。
わかりました。
計算をお願いします。
そして、もう一度コピーして、それができるかどうか見てみましょう。
トレーニングデータは2021年まで。
面白いですね。
計算ができません。
なるほど、これはイマイチですね。
今度は括弧付きで試してみましょう。
それで解決するかどうか見てみましょう。
34回56回プラス109回プラス5回。
計算の結果は2158です。
では、それを試してみましょう。
34回56+109+5が正しくない。
なるほど、答えは正しくないんですね。大型言語モデルの多くは数学に苦労していることがわかりました。
必ずしも単語問題とは限りません。
純粋な数学なのです。
GPT 3.5とテストして、その違いを見てみましょう。
では、それをやってみましょう。
別のウィンドウを開いて、ChatGPTを開きます。
GPT3.5を使用します。
そして、まずこの計算問題を出してみましょう。
したがって、最終的な答えは1928となり、これも正解ではありません。
今度は括弧付きでやってみましょう。
2013年、これも正しくありません。
つまり、最後の5を足していないようです。
というわけで、HuggingChatもGPT3.5も失敗しました。
では、GPT-4でテストしてみましょう。
だいぶ遅いのがわかると思います。
各ステップを説明しています。
そして、これが正解でした。
GPT-4は1回目で成功したのです。
GPT 3.5に対するテストに戻りましょう。
今度はPythonでスネークゲームを書いてみよう。
Pythonで蛇のゲームを書いて、一回目でうまくいくかどうか見てみましょう。
では、コピーして、Visual Studioのコードに戻します。
HuggingChatからすでにここにあったコードをすべて置き換えることにします。
そしてすぐに、何の問題も見当たりません。
もしかしたら、最後の方に何かあるかもしれませんが、それはまた今度。
ロードされていますが、実際に動いているようには見えませんね。
いいえ。
では、インデント・エラーを見てみましょう。
ifの後に期待されるインデント・ブロックがあります。
これを簡単に修正できるかどうか見てみましょう。
このエラーをChatGPT 3.5に戻して、修正されるかどうか見てみます。
申し訳ありません。
ifの後のコードブロックが抜けていたようです。
そうですか、では実際に全体を出力していなかったんですね。
だから、それを置き換えることにします。
インデントが正しいかどうか確認します。
保存して、もう一度再生してみましょう。
おお、何か出てきそうな感じですね。
いや、読み込もうとして、そのまま終了してしまったようです。
というわけで、あと一歩のところまで行ったようですが、実際にゲームをプレイするには不十分だったようです。
というわけで、またしても失敗ということにしておきます。
では、GPT3.5に同じ単語問題を出題して、うまくいくかどうかを見てみましょう。
サリーがニックより速く、ニックがジョーより速いのは事実だが、ジョーの方がサリーより速いという可能性も残っているかもしれない。
それは間違いです。
ここでは例を挙げています: サリーは100メートルを12秒で走り、ニックは100メートルを13秒で走り、ジョーは100メートルを11秒で走ります。
この場合、ジョーはニックより速く、ニックはジョーより速いということになりますから、正しいわけがありません。
つまり、GPT 3.5は、HuggingChatが成功したこの推論問題に、実は失敗していたのです。
あなたがどう思うか教えてください。
もしこのビデオが気に入ったら、「いいね!」と「購読」をお願いします。