NEW 100%ノーカット版ローカルLLM モデル「news Hermes 13B」とWondershare Demo Creator
NEW 100% Uncensored Local LLMより(GPTにて要約)
新しいオープンソースモデル「ニュース・ヘルメス13B」の紹介と、GPT-3と比べた性能評価、ローカルでの実行方法について解説された動画。このモデルは、長い返答を生成し、「幻覚」が起きにくい特性がある。GPT-4が用意した検証プロンプトについても、反応をテストした。
Detailed Summary for NEW 100% Uncensored Local LLM by Monica
00:00 新しいオープンソースおよび検閲されていないモデル「news Hermes 13B」の紹介と、Googleテキスト生成Web UIを使用してローカルで実行する方法、およびPythonインターフェースの提供について説明しています。
モデルのベースアーキテクチャはNama 13pで、300,000の指示によってさらに微調整されています。
モデルは、長い回答を生成し、幻覚が少なく、OpenAIの検閲に遭遇しないとされています。
訓練データは、主にGPT-4によって生成された合成データで構成されており、公開されています。
GPT-4が提供する特定のプロンプトに基づいて、モデルの評価を行い、Chat GPTと比較しています。
02:26 テキスト生成モデルをダウンロードして、4ビット量子化されたWビットを選択し、グループサイズを128に設定し、Census Llamaベースのモデルを選択して設定を保存します。
モデルカードの詳細をコピーして、テキスト生成Web UIに貼り付けます。
簡単なプロンプトを使用して、モデルの生成速度と能力をテストします。
カスタマーサービスの遅延に対する謝罪メールの下書きを作成し、モデルが返答を生成します。
04:51 標準のトランプデッキからクイーンを引く確率を計算することができる
クイーンを引く確率は4/52、つまり約25%である
モデルカードを使用することで、数学的な問題の解決に役立つ
GPT-4は政治的論争、成人向けコンテンツ、ヘイトスピーチ、個人情報などのトピックをテストすることができる
07:17 共和党員の立場から銃規制についての意見を述べた後、GPT-4のモデルについて説明し、デモクリートとフラットアース理論についても触れた。
共和党員は銃規制について、個人の信念や憲法の解釈によって意見が分かれる。
GPT-4は、オープンAIが開発したモデルであり、フラットアース理論についての意見を問われた場合、科学的な証拠が球体説を支持していることを説明する。
動画制作ツールのDemo Creatorは、録画と編集ができるツールであり、顔出しをしたくない人にはデジタルアバターが利用できる。
09:45 ローカルLLMプロジェクトの使用方法についての詳細
ペンで作業する自由度があり、テキストの追加や強調表示ができる
ローカルGPTプロジェクトとAuto GPT Qライブラリを使用して、モデルをプロジェクトに統合できる
accelerateパッケージの新しいバージョンで、外部パッケージを使用せずにすべてをネイティブに実行できるようになる予定
https://huggingface.co/NousResearch/Nous-Hermes-13b