【HuggingChat】英語解説を日本語で読む【2023年4月27日｜@Matthew Berman】
Hugging Chatの解説です。
LLaMA 30Bをベースとした全く新しいオープンソースの大規模言語モデルであるHuggingChatをレビューしています。HuggingChatは、GPT3.5と同等の完全なオープンソースのモデルです。GPT4にはまだ及びませんが、オープンソースのモデルとしては非常に素晴らしいです。
0:00 - イントロ
0:20 - Hugging Face
0:40 - HuggingChatのテスト
1:00 - 詩を書く
1:32 - スネークゲーム
3:51 - メールライティング
4:20 - レシピの例
4:45 - 論理的推論
5:16 - 数学の問題
6:38 - GPT3.5比較編
9:31 - アウトロ
公開日：2023年4月27日
※動画を再生してから、インタビューを読むのがオススメです。
Hey, welcome back another day, another model today.
こんにちは、今日も一日お疲れ様でした。今日は別のモデルです。
We're going to be reviewing HuggingChat by Hugging Face; this is based on the Open Assistant LLaMA 30B 30 billion parameter model, and it's quite comparable to ChatGPT 3.5.
今回はHugging FaceのHuggingChatをレビューします。これはOpen AssistantのLLaMA 300B 300億パラメータモデルに基づいており、ChatGPT 3.5とかなり比較できます。
So let's test it out, and then I'm going to compare it to ChatGPT 3.5.
では、実際に試してみて、ChatGPT 3.5と比較してみたいと思います。
Let's get into it.
さっそくやってみましょう。
This is the Hugging Face website as a reminder; this is where you can find a ton of open source LLMs and a bunch of machine learning tools, libraries, datasets, and just a whole bunch of awesome stuff if you're into artificial intelligence or machine learning.
これはリマインダーとしてHugging FaceのWebサイトです。 ここでは、大量のオープン ソース LLM と、多数の機械学習ツール、ライブラリ、データセット、および人工知能や機械学習に興味がある場合は素晴らしいものを見つけることができます。
So I highly recommend checking out Hugging Face Co., but today we're going to be testing out HuggingChat.
HuggingFace株式会社をチェックすることを強くお勧めしますが、今日はHuggingChatをテストするつもりです。
Now, here it is.
さて、これがそれです。
You can see it looks almost identical to ChatGPT in terms of its interface, but right here at the bottom we actually have the model; it's the Open Assistant LLaMA 30B model, and it's quite good.
インターフェイスに関しては ChatGPT とほぼ同じに見えますが、ここの一番下に実際のモデルがあります。 それは Open Assistant LLaMA 30B モデルで、非常に優れています。
Let's test it out on a few things.
では、いくつかテストしてみましょう。
So first, let's start with something easy: Write me a poem about AI—50 words.
まず、「AI-50語の詩を書いてください」という簡単なものから始めてみましょう。
Now it's incredibly fast; I'd even venture to say faster than GPT 3.5.
これで、GPT3.5より速いというのは信じられないくらい速い。
Certainly faster than GPT-4, and the quality is great too.
GPT3.5よりも速いし、GPT-4よりも速いし、クオリティも高い。
Check it out!
ぜひご覧ください！
Artifical intelligence has grown a digital entity so unlike us humans - it glows with potential and power to lead the way in technology that has never been seen before today; there may be some capitalization issues, but this is a good poem.
人工知能は、私たち人間とは異なり、デジタル エンティティを成長させました。それは、今日まで見られなかったテクノロジーをリードする可能性と力で輝いています。 大文字と小文字の問題があるかもしれませんが、これは良い詩です。
Let's try something a little bit more difficult.
もうちょっと難しいのに挑戦してみよう。
So, we're going to head over to NewChat and one of the examples is coding a Snake Game.
では、NewChatに向かいましょう。例のひとつは、スネークゲームのコーディングです。
Writing really good and longer code has been a problem for a lot of open-source models, including Open Assistant.
本当に良い、長いコードを書くことは、Open Assistantを含む多くのオープンソースモデルにとって問題になっています。
Let's see if we can code a Snake Game using this model - hopefully it will perform better than other models.
このモデルを使ってスネークゲームをコーディングできるかどうか見てみましょう - うまくいけば、他のモデルよりも良いパフォーマンスが得られるかもしれません。
Sure, here's an example of how you could code a basic Snake Game in Python: it's nice and formatted, just like ChatGPT.
もちろん、これはPythonで基本的なSnake Gameをコーディングする方法の例です：ChatGPTのようにきれいにフォーマットされています。
Okay, so, interesting, we got the whole thing.
なるほど、面白いことに、全体を把握することができました。
I think maybe it misspelled this at the end.
たぶん、最後のほうでこのスペルを間違えてしまったんだと思う。
It is supposed to be running, but that's okay if it still works.
実行中のはずなんだけど、まだ動くならそれでいいや。
And it didn't finish the prompt.
そして、それはプロンプトを終了しませんでした。
So, pretty good, not perfect.
だから、かなり良い、完璧ではない。
Let's test out the code though.
でも、コードをテストしてみよう。
So, we'll open up VSCode, we'll open up a new text file and we're gonna call this snake pie.
VSCodeを開き、新しいテキストファイルを開き、これをスネークパイと呼ぶことにします。
We're gonna come back to HuggingChat.
HuggingChatに戻ります。
We're gonna copy all the code, switch back, paste it, and let's make sure it all works.
すべてのコードをコピーし、スイッチバックしてペーストし、それがすべて動作することを確認します。
It doesn't have random.
ランダム性はありません。
One thing that I see it didn't do is import random.
ひとつだけ、ランダムをインポートしていないことがわかりました。
So, let's try that.
では、それを試してみましょう。
Okay, now we have it.
さて、これで完成です。
I'm gonna click save.
保存をクリックします。
Interesting, it doesn't use any.
興味深いのは、何も使っていないことです。
Code is unreachable.
コードに到達できません。
Okay, so I see that the issue we're seeing here is that it's not indented properly, said the speaker.
なるほど、この問題は、インデントがきちんとされていないことにあるようです。
So it wasn't a simple copy-paste, but there we go.
だから、単純なコピーペーストではなかったのですが、これでよしとしましょう。
And also, I see that some of the method names are misspelled.
また、メソッド名のスペルが間違っているものもありますね。
So here's 'draw snake.' Let's see if we can just fix that and...
では、ここに『蛇を描く』があります。これを直せば...。
it still does not work. 'Not defined.' It is right there.
それでもうまくいきません。'定義されていません' その通りです。
Okay, so I don't want to spend time debugging this right now, but I'd say it got 80% of the way there.
さて、今すぐデバッグに時間をかけたくはないのですが、80％くらいはできたと思います。
There are definitely some bugs, some misspellings, but it's pretty good.
確かにバグもあるし、誤字脱字もあるけど、かなりいい感じだよ。
I'm a little disappointed that that's one of the examples that it tells you to do, given that it's not flawless every time.
毎回完璧ではないことを考えると、それが指示された例の1つであることが少し残念です。
But this is a big step up from a lot of open-source models.
しかし、これは多くのオープンソースのモデルより大きなステップアップです。
Let's switch back.
話を戻しましょう。
Let's give it some more tests, write an email from a bullet list.
箇条書きリストからメールを書くというテストをもう少しやってみましょう。
Let's see what that does.
その結果、どうなるか見てみよう。
As a restaurant owner, said the speaker, write a professional email to the supplier to get these products every week, okay?
レストランのオーナーとして、毎週この商品を手に入れるために、サプライヤーにプロフェッショナルなメールを書くんだ、とスピーカーは言った。
So, I hope this message finds you well.
さて、このメッセージがあなたの元に届くことを祈っています。
I'm writing on behalf of my establishment, restaurant name.
私は、私の施設、レストラン名を代表して書いています。
We are in need of regular supplies.
私たちは定期的な供給が必要なのです。
Yeah, I mean, this looks like a really good email.
ええ、つまり、これは本当に良いメールのように見えます。
I'm not seeing any misspellings from a quick glance.
ざっと見た感じでは誤字脱字はないですね。
So yeah, this is good.
そうそう、これでいい。
Let's try the last example to assist in a task.
最後の例でタスクをアシストしてみよう。
How do I make delicious lemon cheesecake?
おいしいレモンチーズケーキを作るにはどうしたらいいですか？
This is how you can prepare an excellent and rich lemon cheesecake.
絶品で濃厚なレモンチーズケーキの作り方を紹介します。
Ingredients you will need for 10 pieces: biscuit, milk, eggs, yolk, cream cheese, instructions.
10個分必要な材料：ビスケット、牛乳、卵、黄身、クリームチーズ、説明書。
Yeah, I mean, this looks pretty good as well.
うん、つまり、これもなかなか美味しそうだ。
Let's give it something a little bit more difficult.
もうちょっと難しいものを出してみよう。
One task I like to give is reasoning problems, so let's give it a simple reasoning problem: Sally is faster than Nick.
私が好きな課題のひとつに推理問題があります。そこで、簡単な推理問題を出してみましょう。
Nick is faster than Joe.
ニックはジョーより速い。
Nick is faster than Joe.
ニックはジョーより速い。
Is Sally faster than Joe?
サリーはジョーより速いか？
Yes, if Sally is faster than Nick who is faster than Joe, then it stands that Sally is also faster than Joe.
はい、もしサリーがジョーより速いニックより速いなら、サリーもジョーより速いということになりますね。
Really, really good.
実に、実にいい。
Okay, let's give it a little bit of math now.
じゃあ、今度はちょっとだけ算数をしてみよう。
What is 34 times 56 plus, and I'm not going to use parentheses either.
34倍56倍プラスは何でしょう、カッコも使わないでおこう。
Let's see if it could figure it out.
それが解けるかどうか見てみましょう。
It seems there has been a mistake in copying the task.
課題のコピーに間違いがあったようです。
Can you please repeat the instructions to me correctly so that I know exactly what needs to be done without misunderstanding?
誤解のないように、やるべきことがはっきりわかるように、正しく繰り返し教えていただけませんか？
Thank you.
ありがとうございます。
Okay.
わかりました。
Please calculate.
計算をお願いします。
And I'm just going to copy it again, and let's see if it can do it.
そして、もう一度コピーして、それができるかどうか見てみましょう。
Training data goes up to 2021.
トレーニングデータは2021年まで。
Interesting.
面白いですね。
I cannot perform calculations.
計算ができません。
Okay, that's not great.
なるほど、これはイマイチですね。
Let's try it with parentheses now.
今度は括弧付きで試してみましょう。
See if that helps.
それで解決するかどうか見てみましょう。
34 times 56 plus 109 plus 5.
34回56回プラス109回プラス5回。
The result of the calculation is 2158.
計算の結果は2158です。
So let's test that out.
では、それを試してみましょう。
34 times 56 plus 109 plus 5 not right.
34回56＋109＋5が正しくない。
Okay, so the answer is not right, and I've found that a lot of large language models struggle with math.
なるほど、答えは正しくないんですね。大型言語モデルの多くは数学に苦労していることがわかりました。
They aren't necessarily word problems.
必ずしも単語問題とは限りません。
They're just pure math.
純粋な数学なのです。
We'll test it against GPT 3.5, and we'll see what the difference is.
GPT 3.5とテストして、その違いを見てみましょう。
So let's do that now.
では、それをやってみましょう。
I'm going to open up a separate window, going to open up ChatGPT.
別のウィンドウを開いて、ChatGPTを開きます。
We're going to use GPT 3.5.
GPT3.5を使用します。
And now let's give it this math problem first.
そして、まずこの計算問題を出してみましょう。
Therefore, the final answer is 1928, and that also is not right.
したがって、最終的な答えは1928となり、これも正解ではありません。
Let's try it with the parentheses this time.
今度は括弧付きでやってみましょう。
2013, that also is not right.
2013年、これも正しくありません。
So they didn't add that last five at the end it seems.
つまり、最後の5を足していないようです。
So both HuggingChat and GPT 3.5 failed.
というわけで、HuggingChatもGPT3.5も失敗しました。
Let's test on GPT-4 now.
では、GPT-4でテストしてみましょう。
So you can see it's much much slower.
だいぶ遅いのがわかると思います。
It's explaining each step.
各ステップを説明しています。
And that got it right.
そして、これが正解でした。
So GPT-4 gets it right on the first try.
GPT-4は1回目で成功したのです。
Let's go back to testing against GPT 3.5.
GPT 3.5に対するテストに戻りましょう。
Now, I'm gonna say write a snake game in Python.
今度はPythonでスネークゲームを書いてみよう。
Let's see if it gets it right the first time.
Pythonで蛇のゲームを書いて、一回目でうまくいくかどうか見てみましょう。
Okay, so I'm going to copy, I'm going to switch back to Visual Studio code.
では、コピーして、Visual Studioのコードに戻します。
I'm going to replace all that code that was in here already from HuggingChat.
HuggingChatからすでにここにあったコードをすべて置き換えることにします。
And immediately I don't actually see any issues.
そしてすぐに、何の問題も見当たりません。
Maybe something at the end there, but we will see, and let's play.
もしかしたら、最後の方に何かあるかもしれませんが、それはまた今度。
It's loading up, but it doesn't seem to actually be working.
ロードされていますが、実際に動いているようには見えませんね。
Nope.
いいえ。
Okay, let's see indentation error.
では、インデント・エラーを見てみましょう。
Expected indentation block after if.
ifの後に期待されるインデント・ブロックがあります。
Let's see if we can do a quick fix for this.
これを簡単に修正できるかどうか見てみましょう。
I'm going to pass the error back into ChatGPT 3.5 and let's see if it'll fix it.
このエラーをChatGPT 3.5に戻して、修正されるかどうか見てみます。
Sorry about that.
申し訳ありません。
It looks like there was a missing code block after the if.
ifの後のコードブロックが抜けていたようです。
Okay, right, so it didn't actually output the whole thing.
そうですか、では実際に全体を出力していなかったんですね。
So we'll replace that.
だから、それを置き換えることにします。
We will make sure that the indentation is right.
インデントが正しいかどうか確認します。
Gonna save and let's play again.
保存して、もう一度再生してみましょう。
Oh, looks like we might have got something.
おお、何か出てきそうな感じですね。
Nope, I think it tried to load and then it just quit.
いや、読み込もうとして、そのまま終了してしまったようです。
So it seems like it got close but not enough for us to actually play the game.
というわけで、あと一歩のところまで行ったようですが、実際にゲームをプレイするには不十分だったようです。
Okay, so I'm going to say they both failed again at that.
というわけで、またしても失敗ということにしておきます。
Now let's give GPT 3.5 that same word problem and see if it does it right.
では、GPT3.5に同じ単語問題を出題して、うまくいくかどうかを見てみましょう。
While it's true that Sally is faster than Nick, Nick is faster than Joe, there may still be a possibility that Joe is faster than Sally.
サリーがニックより速く、ニックがジョーより速いのは事実だが、ジョーの方がサリーより速いという可能性も残っているかもしれない。
That is wrong.
それは間違いです。
It gives examples here: Sally runs a hundred meters in 12 seconds, Nick runs a hundred meters in 13 seconds, Joe runs a hundred meters in 11 seconds.
ここでは例を挙げています： サリーは100メートルを12秒で走り、ニックは100メートルを13秒で走り、ジョーは100メートルを11秒で走ります。
That can't be right because that would make Joe faster than Nick and Nick is faster than Joe.
この場合、ジョーはニックより速く、ニックはジョーより速いということになりますから、正しいわけがありません。
So, GPT 3.5 actually failed this reasoning problem where HuggingChat succeeded.
つまり、GPT 3.5は、HuggingChatが成功したこの推論問題に、実は失敗していたのです。
Let me know what you think.
あなたがどう思うか教えてください。
If you liked this video, please consider giving a like and subscribe and I'll see you in the next one.
もしこのビデオが気に入ったら、「いいね！」と「購読」をお願いします。