D.B.Curry

AI勉強中。AIで金儲けするのが目標 https://github.com/DB-Curry

D.B.Curry

AI勉強中。AIで金儲けするのが目標 https://github.com/DB-Curry

論文メモ：Instruction Pre-Training:Language Models are Supervised Multitask Learners

よく来たな。継続事前学習をしたくていろいろ調べていたら、以下の論文を見つけた。よってこれを読む。なんやかんやで全部翻訳してしまった。 今年の６月に出ている最新の論文なので、非常に楽しみだ。 https://arxiv.org/pdf/2406.14491 Abstract『継続的事前学習では、指示事前学習によりLlama3-8BがLlama3-70Bに匹敵するか、それ以上の性能を発揮することができます。』 　これは期待できる。自分はgemma-2bを追加で事前学習したいの

D.B.Curry

    • 論文メモ：金融ドメイン知識の追加事前学習

      　よく来たな。今まではstable diffusion関連の論文を読み進めていたが、一度寄り道をする。というのもいろいろあって小さいモデルをドメイン知識で学習させようとしているのだ。 　ただ、初めてやるのでどうやるのかよくわかっていない。 　今回、まさに自分のやろうとしていることの論文がPreferred Networksさんから出ているようなので、これを読んでいくことにする。 　今回読むのはこちらの論文。 「Construction of Domain-specified

      D.B.Curry

      • Midjourneyのプロンプトをチャットで生成するbotを作った

        この記事はなに？　Discordでチャット形式でMidjourneyのプロンプトを作成・修正してくれるbotを作ったよ。 はじめに　みなさん、Midjourney使ってますか？ https://www.midjourney.com/home 　私は趣味で小説を書いたりするのですが、その時に挿絵などを入れたいなとよく思います。 　そんな時に、Midjourneyはとても便利です。 　普通、自分の書いた小説に絵をつけるには、自分が描くか、友人に描いててもらうか、イラストレ

        D.B.Curry

        • DDPMの論文を読んだ

          よく来たな。今日はdiffusionモデルの基礎であるDPPM(Denoising Diffusion Probabilistic Models)の論文を読む。いつものようにまとめる。 ただ、ここで一つ注意として、俺はこれを読む前に生成モデルのEBMとSBMについてざっくり理解している。以下のサイトとかで勉強した。 この辺から理論が複雑になるので基礎理論を理解しておかないと、論文を読んでも何が分からないかすら分からない。これを前提にまとめていくのでそこだけ注意だ。 ↓が今

          D.B.Curry

          CLIP論文を読む

          よく来たな。今日も論文を読んでまとめた。各章についてのメモのようなものなので、原論文とともに読んでくれ。 今日やるのはあのCLIP論文だ。言葉と画像を同じ空間で扱うというのは、単にコンピュータサイエンスだけでなく、哲学的にも大きな発見だろう。これは読むべき論文のひとつだ。さっそくやっていこう。 Learning Transferable Visual Models From Natural Language Supervision Abstract現状、あらかじめ固定さ

          D.B.Curry

          CLIP論文を読む

          D.B.Curry

          Vision Transformer(VIT)論文を読む

          　よく来たな。今日はVision Transformerの論文を読んでいく。徐々にstable diffusionに近づいて来たぞ。楽しみだ。 　今回もunetの時と同じくまとめながら書く。翻訳はDeepL(ただし一部変だと思う所はgoogle翻訳でも行っている)。解説はClaude3。 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 『AN IMAGE IS WORTH

          D.B.Curry

          Vision Transformer(VIT)論文を読む

          D.B.Curry

          U-NETの論文を読んだ

          　よく来たな。今日はU-Netの論文を読んでいくぞ。最終的に俺はstable diffusionの論文が読みたいので、まずはU-NETを理解する。いつもよりは少し丁寧に書いた。DeepLで翻訳している。今回はgpt4に加えてclaude3 Opusに教えてもらいながら読んだがclaude3かなりいいぞ。俺はgpt4とclaude3どっちも有料で入っているが、最強だ。 U-Net論文 概要 はじめに 　畳み込みニューラルネットワーク（CNN）の一般的な用途と、U-Net

          D.B.Curry

          U-NETの論文を読んだ

          D.B.Curry

          AlexNetの論文を読む

          よく来たな。今日はAlexNetの論文を読む。要点だけまとめたいつもの奴だから読まなくていい。メモみたいなもんだ。一応章ごとにわけて書いているが期待はしないでくれ。ではさっそく始めよう。 ImageNet Classification with Deep Convolutional Neural Networks https://proceedings.neurips.cc/paper/4824-imagenet-classification-with-deep-convo

          D.B.Curry

          AlexNetの論文を読む

          D.B.Curry

          Googleの猫論文を読んだ。

          よう。俺はなんの経歴もないAIをやっている者だ。表題の通り、猫論文として知られているGoogleの論文「Building High-level Features Using Large Scale Unsupervised Learning」を読んだ。 前回は「Attention Is All You Need」だったが、この時のように、読んだ記録をつけようと思う。 また、前と同じく今回もGPT4に聞きながら読んだ。 なんでもわかるまで教えてくれるアシスタントがいてくれるな

          D.B.Curry

          Googleの猫論文を読んだ。

          D.B.Curry

          Xwin-LM 70B V0.1の実力を調べる。

          巷で話題になっているXwin-LM 70B V0.1を試した。 GPT4を超える性能があるという。 コードはhugging faceのサンプルをほぼそのまま使用した。動作環境はgoogle colabのA100で実行した。 TheBloke/Xwin-LM-70B-V0.1-GPTQ · Hugging Face !pip3 install transformers optimum!pip3 install auto-gptq --extra-index-url htt

          D.B.Curry

          Xwin-LM 70B V0.1の実力を調べる。

          D.B.Curry

          Attention Is All You Needを読んだ。

          俺はなんの経歴もないAIをやっている者だ。様々な本や動画でAIを勉強している。自分でもかなりの知識がついていると自負しているが、ただやはり本職の人たちと比べるとまだまだだろう。 ただ、昨日、ヤン・ルカン先生の著書「ディープラーニング　学習する機械」を読み、ますます人工知能の面白さに惹かれた。俺はプログラマーをやっているが、仕事でもAIを使えるか日夜画策している。 しかし、そんなことを言っているお前は、原論文を読んだことがあるのかと聞かれるとそんなものはない。学生の時に読んだ

          D.B.Curry

          Attention Is All You Needを読んだ。

          D.B.Curry

          LINEのLLMがおもしろい

          モデルがいろんなのが出すぎていて困っているのだが、その中でもLINEの公開したモデルがおもしろいらしい。試してみた。実行環境はgoogle colabのT4。 コードはHow To Useをほぼそのまま使っている。 line-corporation/japanese-large-lm-3.6b · Hugging Face # パッケージのインストール!pip install transformers sentencepieceimport torchfrom trans

          D.B.Curry

          LINEのLLMがおもしろい

          D.B.Curry

          rinnaバイリンガルモデルの実力を試す

          llama2でいろいろできないか探っているが、日本語がネックになっている。英語の受け答えは相当実用的だが、日本語となると心許ない。 そんな時、以下の記事を見かけた。 rinna、日英対応可能なバイリンガル大規模言語モデルをオープンソースで公開 | TECH+（テックプラス） (mynavi.jp) 日本語モデルは非常にありがたい。さっそく実力を試してみることにする。 環境はgoogle colaboratoryのA100を使用。 コードは基本的にはhugging fa

          D.B.Curry

          rinnaバイリンガルモデルの実力を試す

          D.B.Curry