#モデル
日本語の高性能な文埋め込みモデルを試す
tl;drPKSHA Technologies の矢野さんから GLuCoSE v2 とRoSEtta が公開
名古屋大学の塚越さんから Ruri が公開（合わせて Reranker も）
モデルを動かすサンプルコードの実行手順とそれぞれのモデルを試せるデモアプリケーションを本記事最下部に記載、公開
使用するモデル我流で紹介するより引用の方がわかりやすいので引用させてください。いずれのモデル
手書き化学構造認識モデルDECIMER V2を解説&動かしてみた
PDFの中に埋もれている化学構造をSMILESなどのコンピュータが扱える形にしたいと思ったことはありますか？
最近だと化学構造を手書きで描いた画像をChatGPTでSMILESに変換させてみようとしましたが、うまくいきませんでした。
ベンゼンぐらいだったらうまくいくSMILESに変換してくれますが、カフェインぐらいになると無理です。
そこで見つけたのが、手書き化学構造認識モデルであるDECIM
Llama.cpp + WandBで始める日本語AI評価：Gemmaモデル（gemma-2-9b-it-Q4_K_M.gguf）のELYZA-tasks-100パフォーマンス分析
はじめにこんにちは！この記事では、Google Colab上でGemmaモデル（gemma-2-9b-it-Q4_K_M.gguf）を使用して、ELYZA-tasks-100データセットの評価を行う方法をご紹介します。この記事は、大規模言語モデルの評価に興味がある初心者の方々向けに書かれています。
この記事を読むことで、以下のことが学べます：
llama.cppの環境構築方法
Gemmaモデル
Google ColabとUnslothを使ってLlama 3 (8B)をファインチューニングし、Ollamaにデプロイする方法
このチュートリアルでは、UnslothとGoogle Colabを使って無料でLlama-3をファインチューニングし、独自のチャットボットを作成する方法を段階的に説明します。作成したチャットボットは、Ollamaを使ってローカルコンピュータ上か、Google Colabの無料GPUインスタンス上で実行できます。
完全なガイド（画像付き）はこちら: https://docs.unsloth.ai/
パラメータ効率が圧倒的に高いLLM学習手法ReFT（Representation Finetuning）を試してみた。
こんにちは！株式会社IZAI、エンジニアチームです。
今回は従来のLLMファインチューニング手法よりも10~50倍効率的とされているReFT(Representation Finetuning)を試してみます。
現論文はこちら
1. ReFTとはファインチューニング
ReFTとはRepresentation Finetuningの名前の通りファインチューニングにおける学習法です。今回紹介する手
GPT4 より性能がいいオープンソースのモデルについて
少し前までは Open AI の GPT4 が支配してた感じがする LLM 界隈も、状況が完全に変わって様々な LLM が跳梁跋扈する戦国時代になっています。
ここではその中でもオープンソースの LLM をメインにして解説してみます
GPT4 よりいいと言われているモデル以下は GPT4 より性能がいいと言われているモデルです(指標によっては同等以上ということです、GPT4 のバージョンによっ
700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」を開発し、デモを公開しました
はじめにこの度 ELYZA は、新たに開発した700億パラメータの大規模言語モデル (LLM) である「ELYZA-japanese-Llama-2-70b」のデモを公開しました。「ELYZA-japanese-Llama-2-70b」は、前回までに引き続き、英語の言語能力に優れた Meta 社の「Llama 2」シリーズに日本語能力を拡張するプロジェクトの一環で得られた成果物です。
ELYZ
自宅環境でLLMの環境を作ってみた
背景生成AIはChatGPTを使って、調べごとやお仕事で使っているが、一般公開できない内容をChatGPTでは書くことはできない。生成AIを組み込んで何かできないかのお勉強のため、自宅PCでLLMの環境を作れないかと考えてWeb上で調べていたところ、「LM Studio」というツールの存在を知った。それを使って、自宅PCでLLMの環境を作ってみたのでその手順を個人備忘録として記載。
※今回、初no
AIトレーニングに革命をもたらす：自己報酬型言語モデルの出現
人工知能の世界において、超人的なエージェントを創造するという探求は、自己報酬型言語モデル（SR-LMs）という画期的なアプローチへと導かれています。この革新的なコンセプトは、MetaとNYUの研究者によって先導され、AIが学習と発展において人間の限界を超える未来を垣間見せてくれます。
論文：現在のトレーニング手法の限界:従来のトレーニング方法は人間の好みに基づく報酬モデルのトレーニングに依存して