miya

NLP 関連

miya

NLP 関連

機能をつくり、壊し、再建する ... すぐやる、まずやる、勝つまでやる ... で、やることは多くなったけど心は軽くなった話

はじめにこんにちは、宮脇（@catshun_）と申します！ あらゆる業務をAIエージェントで変革する べく、Algomatic というスタートアップで自社サービス開発や法人向けのAI導入支援に取り組んでいます！ NEO(x) 事業部に所属して180日が経ちまして、そろそろ思考が習慣化され始めた頃（参考）かなと思ったのと、BASE さんの 在籍エントリ がとても良いなと思ったので、本記事を #在職エントリ として書き起こしました ✍️ 弊社では 生成AIでプロダクト開発し

miya

    • 弊社で開発している DMM 動画翻訳が誰でも使えるようになりました！ https://forest.watch.impress.co.jp/docs/news/1621400.html

      miya

      • キャリア選択における意思決定の構造を振り返る

        はじめまして、 宮脇（@catshun_） と申します。この度 Algomatic inc. に機械学習エンジニアとして入社しました。 転職とともにキャリア相談を受ける回数も多くなりましたので、本記事では Algomatic の機械学習エンジニアとしての入社するに至った動機を入社エントリとして紹介いたします。 1. 自己紹介1.1. Algomatic 以前の経歴 大学時代は TohokuNLP Group で自然言語処理を専攻しており『計算機による知識獲得』をテーマに

        miya

        • arxiv.org/abs/2310.11441 SAM によるセグメント結果を GPT-4V に入力する Set-of-Mark (SoM) を提案。SoM により視覚グラウンディングにおける RefCOCOg で優れた性能を示した。

          miya

        • 機能をつくり、壊し、再建する ... すぐやる、まずやる、勝つまでやる ... で、やることは多くなったけど心は軽くなった話

          miya

        • 弊社で開発している DMM 動画翻訳が誰でも使えるようになりました！ https://forest.watch.impress.co.jp/docs/news/1621400.html

          miya

        • キャリア選択における意思決定の構造を振り返る

          miya

        • arxiv.org/abs/2310.11441 SAM によるセグメント結果を GPT-4V に入力する Set-of-Mark (SoM) を提案。SoM により視覚グラウンディングにおける RefCOCOg で優れた性能を示した。

          miya

          FireAct: Language agent × LLM fine-tuning における新しい枠組みの提案

          #FireAct #LLM #エージェント #多読 #論文紹介 Chen+'23 - FireAct: Toward Language Agent Fine-tuningBaian Chen, Chang Shu, Ehsan Shareghi, Nigel Collier, Karthik Narasimhan, Shunyu Yao [Paper][Model][Dataset][GitHub] ※ 誤っている可能性のある内容、未紹介の内容がございます ※ 詳細は必ず

          miya

          FireAct: Language agent × LLM fine-tuning における新しい枠組みの提案

          miya

          Sainz+'23 - GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction

          #GOLLIE  #LLM  #情報抽出  #多読  #論文紹介 Oscar Sainz, Iker García-Ferrero, Rodrigo Agerri, Oier Lopez de Lacalle, German Rigau, Eneko Agirre [Project][Paper][Models][Notebooks] ※ 誤っている可能性のある内容、未紹介の内容がございます ※ 詳細は必ず 論文 をご参照ください 1. どんなもの？アノテーションガイド

          miya

          Sainz+'23 - GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction

          miya

          arxiv.org/abs/2308.16890 背景）会話スキル・視覚物語生成能力について精緻な LVLM 評価研究が少ない 提案）LVLM 能力を総合評価すべく 27 サブタスクをカバーする視覚対話データ TouchStone を提案し LLM による評価を実施

          miya

          arxiv.org/abs/2308.16890 背景）会話スキル・視覚物語生成能力について精緻な LVLM 評価研究が少ない 提案）LVLM 能力を総合評価すべく 27 サブタスクをカバーする視覚対話データ TouchStone を提案し LLM による評価を実施

          miya

          arxiv.org/abs/2308.16463 背景）既存 LVLM は複数画像間で一貫した対話を実現できない 提案）複数画像を考慮する指示追従モデル SparklesChat、GPT-4 を用いた評価ベンチマーク SparklesEval を提案

          miya

          arxiv.org/abs/2308.16463 背景）既存 LVLM は複数画像間で一貫した対話を実現できない 提案）複数画像を考慮する指示追従モデル SparklesChat、GPT-4 を用いた評価ベンチマーク SparklesEval を提案

          miya

          WizardLM: Instruction Tuning を行うための複雑で多様な指示データの自動構築

          # Instruction Tuning  # LLM  # 日本語解説 WizardLM: Empowering Large Language Models to Follow Complex InstructionsCan Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, Daxin Jiang https://arxiv.org/abs/2304.12244

          miya

          WizardLM: Instruction Tuning を行うための複雑で多様な指示データの自動構築

          miya

          https://arxiv.org/abs/2307.02472 内容）埋め込み空間が演繹的加法性を示すか調査 仮説）前提文の埋め込み和は、結論の埋め込みに近い 提案）推論タイプ別性能を評価するために SSRC データセットを提案

          miya

          https://arxiv.org/abs/2307.02472 内容）埋め込み空間が演繹的加法性を示すか調査 仮説）前提文の埋め込み和は、結論の埋め込みに近い 提案）推論タイプ別性能を評価するために SSRC データセットを提案

          miya

          arxiv: 2307.01163 (Chen+'23) 事前学習時 k 更新ごとに埋め込み層をリセット（active forgetting）することで収束が速くなり、低資源言語で XNLI, MLQA, XQuAD の精度が向上するそう

          miya

          arxiv: 2307.01163 (Chen+'23) 事前学習時 k 更新ごとに埋め込み層をリセット（active forgetting）することで収束が速くなり、低資源言語で XNLI, MLQA, XQuAD の精度が向上するそう

          miya

          @akeyhero (株式会社グロービス) +'23 - OpenAI の Embeddings API はイケてるのか、定量的に調べてみる (Qiita) https://qiita.com/akeyhero/items/ce371bfed64399027c23 ・Dense Retrieval 系の比較はこちらが参考になりそう

          miya

          @akeyhero (株式会社グロービス) +'23 - OpenAI の Embeddings API はイケてるのか、定量的に調べてみる (Qiita) https://qiita.com/akeyhero/items/ce371bfed64399027c23 ・Dense Retrieval 系の比較はこちらが参考になりそう

          miya

          ABEJA - 外部データをRetrievalしてLLM活用する上での課題と対策案 https://tech-blog.abeja.asia/entry/retrieval-and-llm-20230703 ・埋め込みベース検索の実験的まとめ記事 ・未知語は TF-IDF, 微調整, 別モデルで対応 ・忘却・知識衝突・別モデルの話で別記事が書けそう

          miya

          ABEJA - 外部データをRetrievalしてLLM活用する上での課題と対策案 https://tech-blog.abeja.asia/entry/retrieval-and-llm-20230703 ・埋め込みベース検索の実験的まとめ記事 ・未知語は TF-IDF, 微調整, 別モデルで対応 ・忘却・知識衝突・別モデルの話で別記事が書けそう

          miya

          Zhang+'23 - https://llavar.github.io/ LLaVA を文書画像で指示調整 LAION から 422K のテキスト画像を収集 テキスト画像の QA ペアを含む 16K の会話を生成 テキストベース VQA で LLaVA を大幅に凌駕

          miya

          Zhang+'23 - https://llavar.github.io/ LLaVA を文書画像で指示調整 LAION から 422K のテキスト画像を収集 テキスト画像の QA ペアを含む 16K の会話を生成 テキストベース VQA で LLaVA を大幅に凌駕

          miya

          中川+'23 - 魅力的な技術アウトプットを出すために心がけている7つのこと (note) https://note.com/shinyorke/n/n4daf30cbc653 ① マウンティングをしない様、自己紹介を控えめにする。 ② 聴衆・読者への期待値を宣言する。 ③ 内輪ネタを極力回避する。

          miya

          中川+'23 - 魅力的な技術アウトプットを出すために心がけている7つのこと (note) https://note.com/shinyorke/n/n4daf30cbc653 ① マウンティングをしない様、自己紹介を控えめにする。 ② 聴衆・読者への期待値を宣言する。 ③ 内輪ネタを極力回避する。

          miya

          piyonakajima+'23 - チームにノリをもたらした時にいた「二人目に踊る人」の共通点 ・共通点：サーバントリーダーシップを持つ ・注意：組織の成果物が特定の人になると危ない（実質的な推進者はリーダーであるべき） 　https://twitter.com/fuuuuuta21/status/1672960863890993159

          miya

          piyonakajima+'23 - チームにノリをもたらした時にいた「二人目に踊る人」の共通点 ・共通点：サーバントリーダーシップを持つ ・注意：組織の成果物が特定の人になると危ない（実質的な推進者はリーダーであるべき） 　https://twitter.com/fuuuuuta21/status/1672960863890993159

          miya