yutohub

yutohub

Self-Instructで商用利用可能な日本語インストラクションデータを作成する

Self-InstructについてSelf-Instructは、175個の人間が書いたインストラクションから新しいインストラクションを生成できます。 Stanford Alpacaの実装では、175個の人間が書いたインストラクションから3つをサンプルして、GPT-3に新しいインストラクションを20個生成させています。生成されたインストラクションをROUGEスコアを用いて既存のインストラクションと比較し、類似度が高すぎるものは除外します。最後に条件を満たすインストラクションを

yutohub

    • Megatron-DeepSpeedからHFのTransformersにチェックポイントを変換する

      こちらのプロジェクトでMegatron-DeepSpeedからHFのTransformersにチェックポイントを変換する必要があったので Megatron-DeepSpeedは、NVIDIAのMegatron-LMをもとにした拡張版で、DeepSpeedライブラリを使用しています。 Megatron-DeepSpeedには、DeepSpeedからMegatron-LMやHugging FaceのTransformersライブラリ形式へのチェックポイントの変換にするためのP

      yutohub

      • Mistral AIの3つオープンソースモデルの日本語性能を確認してみる

        はじめにWikipediaによると、Mistral AIはAI製品を販売するフランスの企業で、2023年4月にMeta PlatformsとGoogle DeepMindの元従業員によって設立されたそうです。2023年10月には3億8500万ユーロの資金を調達し、12月には20億ドル以上の価値があると評価されました。 Mistral AIは、オープンソースモデルと商用モデルの両方を提供しています。オープンソースモデルは、AIコミュニティが自由に利用できるようにApache

        yutohub

        • GPTからChatGPTへ：OpenAIの言語モデルの進化の歴史

          GPT2018年、OpenAI は「Improving Language Understanding by Generative Pre-Training（GPTによって言語理解を向上させる）」というタイトルの論文を発表しました。 既存手法: タスク毎に教師ありデータを作ってモデルを学習させていた。 提案手法: 教師なしで事前学習を行ったあと、少量の教師ありデータでファインチューニングを行った。 実験結果: 12個のデータセットの内、9個のデータセットでSoTAを達成した。

          yutohub

        • Self-Instructで商用利用可能な日本語インストラクションデータを作成する

          yutohub

        • Megatron-DeepSpeedからHFのTransformersにチェックポイントを変換する

          yutohub

        • Mistral AIの3つオープンソースモデルの日本語性能を確認してみる

          yutohub

        • GPTからChatGPTへ：OpenAIの言語モデルの進化の歴史

          yutohub

          合成データを利用したLLMの開発

          大規模言語モデル（LLM）の開発において、高品質で多様なデータセットの重要性は計り知れません。しかし、インターネットから収集されたデータには多くの問題が伴います。ノイズが多く、広告や特定の言語（特に英語）に偏りがちであり、さらにデータの量にも限界があります。これらの課題を解決するために、合成データの利用が注目されています。 合成データに関するベストプラクティスGoogle DeepMindやその他の共同研究者によって発表されたこの論文は、合成データの応用、課題、そして将来の

          yutohub

          合成データを利用したLLMの開発

          yutohub

          Meta Quest 3のソフトウェアアップデートv64によるパススルー機能の改善

          今回のアップデートでは、以下のような変更点がありました。今回はMeta Quest 3を使っていて感じたことを書きたいと思います。 パススルーの改善 外部マイクのサポート Meta Quest 3を寝転がって使用 継続してミラーリング可能に 今回のアップデートで注目すべきは「パススルーの改善」です。 Meta Quest 3は、パススルー機能で多くの注目を集めています。この機能は、ユーザーがVRヘッドセットを装着したまま、リアルタイムで周囲の環境を見ることができる

          yutohub

          Meta Quest 3のソフトウェアアップデートv64によるパススルー機能の改善

          yutohub

          Meta Llama 3の紹介

          2024年4月19日にMetaは、8Bおよび70Bの事前訓練済みおよびインストラクションチューニングされた大規模言語モデル（LLM）のMeta Llama 3を開発し、リリースしました。 性能8Bおよび70BパラメータのLlama 3モデルは、Llama 2を大きく上回り、同様のパラメータ数のモデルと比較して最先端の性能を達成しています。 既存のベンチマーク 新しい評価データセット Llama 3の開発において、新しい高品質の人間による評価データセットが開発されました

          yutohub

          Meta Llama 3の紹介

          yutohub

          llm-jp-evalの中身を見てみる

          llm-jp-evalが対応している8つのカテゴリ 自然言語推論（Natural Language Inference, NLI） - Jamp, JaNLI, JNLI, JSeM, JSICK 質問応答（Question Answering, QA） - JEMHopQA, NIILC 読解力（Reading Comprehension, RC） - JSQuAD 多肢選択問題（Multiple Choice question answering, MC） - J

          yutohub

          llm-jp-evalの中身を見てみる

          yutohub

          Japanese MT-Benchの中身を見てみる

          はじめにJapanese MT-Benchには以下の8つのカテゴリーがあります。それぞれのカテゴリーにどんな質問が含まれているのか分析してみたいと思います。 coding: コーディング extraction: 抽出 humanities: 人文科学 math: 数学 reasoning: 推論 roleplay: ロールプレイ stem: STEM（科学、技術、工学、数学） writing: 執筆 coding: コーディングアルゴリズムの実装: 特定の

          yutohub

          Japanese MT-Benchの中身を見てみる

          yutohub

          Pythonとngrokを使ってSlack Botを作ってみる

          はじめにSlackは、チームコミュニケーションとコラボレーションを目的としたビジネス向けのメッセージングアプリです。さまざまなアプリやボットを追加することで、ユーザーのニーズに合わせてカスタマイズすることが可能です。 今回はボットを作成してSlackと接続してみたいと思います。この記事では、特にBolt for Pythonを活用してサーバーを構築し、ngrokを通じてこれをSlackと接続する方法に焦点を当て、Slackとの効果的な連携手法を解説します。 Bolt fo

          yutohub

          Pythonとngrokを使ってSlack Botを作ってみる

          yutohub

          最適なLLMを見つけるためのガイド

          背景近年、人間の指示に従う能力や会話能力を高めるために、教師ありファインチューニング（SFT: Supervised Fine-Tuning）や人間のフィードバックを用いた強化学習（RLHF : Reinforcement Learning from Human Feedback）を活用したLLMのチャットアシスタントが増えている。これらのモデルが人間の指示や好みに沿って調整（アラインメント）された場合、それらが構築された元のモデル（SFTやRLHFを受けていないモデル）より

          yutohub

          最適なLLMを見つけるためのガイド

          yutohub

          英語のポットキャストを日本語に吹き替えてみる

          YouTubeの英語動画を見る際、日本語字幕を利用することができますが、ポッドキャストのように目を離しても楽しめるメリットを字幕では得られません。そこで、AI技術を使って動画の日本語吹き替えを作成する方法をご紹介します。この方法を使えば、動画を見ながらではなく、通勤中や家事をしながらでも英語のコンテンツを楽しむことができるようになります。 必要なのは Google Colab と OpenAI API Key だけです。 まずは、必要なライブラリをインストールしましょう。

          yutohub

          英語のポットキャストを日本語に吹き替えてみる

          yutohub