AGI Builders Meetupに参加してきました
「AGI Builders Meetup」というAIや機械学習に関する技術的なミートアップイベント
https://community.cloudflare.com/t/agi-builders-meetup-san-francisco-29-february/614545
主催者: CloudflareとBentoMLの共同主催
日時と場所: 8月29日、Cloudflare本社にて開催
目的: AGI（汎用人工知能）やLLMs（大規模言語モデル）に関連する技術的な課題やソリューションを共有し、コミュニティメンバーとのネットワーキングを図る
プログラム概要:
テックトーク:
LLMsの課題と機会の発見
コンパウンドAIシステムのガイド
適切にスケールするための方法
コミュニティデモ: 各種AIツールやプラットフォームのデモンストレーション
ネットワーキング: 参加者同士が交流し、知識を共有する時間
技術紹介:
BentoMLのモデル提供フレームワークの紹介
Llama 3の簡単なデプロイ方法の説明
BentoCloudへのワンクリックデプロイ機能のデモ
以下、発表内容
「未構造化データを活用した問題や機会の発見とAIによるデータインサイトの構築」
発表の概要
未構造化データの重要性：未構造化データ（テキスト、画像、ビデオなど）は、分析されていないデータの大部分を占めており、そのデータを活用することが大きな可能性を秘めています。しかし、現在の企業の多くは、このデータを十分に活用できていません。
問題と解決策：未構造化データは増加しており、そのままでは顧客体験の向上に寄与できません。ChainFuseは、このデータを構造化し、分析可能な情報に変換することで、企業がプロアクティブに問題を解決し、顧客により良いサービスを提供できるよう支援します。
技術とプロセス
使用技術：ChainFuseは、Cloudflare Workers、ベクターデータベース、Cloudflare AIを使用しており、これにより問題の重複排除やチューン（顧客離脱）のリスクを早期に検出します。
ワークフロー：データソースを接続し、メッセージの意図を検出してタグ付けし、必要に応じて適切なアクションを取るというプロセスを通じて、ビジネスチャンスやリスクを特定します。
実例とケーススタディ
顧客事例：プレゼンターは、GoogleからCloudflareへの移行を検討しているユーザーを例に取り上げ、ChainFuseがどのようにしてこの機会を逃さずに捕捉したかを説明しました。
悪い経験を良い経験に変える：プレゼンターは、ピザの注文ミスに対するレストランの対応を例に、顧客の悪い経験を良い経験に変えることで顧客ロイヤルティが高まることを強調しました。
最後の提言
データを活用することの重要性：データはすでに存在しており、それを活用することで企業は競争力を高めることができます。プレゼンターは、企業が未構造化データを利用して顧客体験をパーソナライズし、顧客の声を視覚化することの重要性を強調しました。
結論：未構造化データの力を利用して、ビジネスチャンスを発見し、成長を遂げるために、企業は今すぐ行動を起こすべきであると締めくくられました。
「複合AIシステムの重要性と実践的応用」
発表の要点
複合AIシステムの定義と利点:
単一のAIモデルではなく、複数のAIモデルやコンポーネントを組み合わせる「複合AIシステム」が、より高度なタスクを効率的に処理するための方法として紹介されています。これにより、システムは制約を克服し、より広範な機能を実現できます。
実例紹介:
ChatGPTのようなシステムは、単一のモデルだけでなく、ウェブ検索、PDF解析、画像生成などの複数のモジュールを統合して動作しています。また、コーディング支援やキャラクターAIの例も挙げられ、これらは複数のモデルを組み合わせて高度な機能を提供しています。
複合AIシステムの応用例:
ビデオ解析や音声チャットAIのようなシステムは、複数のモデルを使ってデータを処理し、最終的な意思決定を行います。これにより、単一のモデルでは不可能な複雑なタスクを実行できるようになります。
パフォーマンスと信頼性の向上:
複合AIシステムは、迅速な開発サイクルと効率的なパフォーマンス改善を可能にし、また、システム全体の信頼性を高めるための制御とセキュリティを提供します。これにより、開発者はシステムをより柔軟かつ安全に運用できます。
コスト効率:
複合AIシステムは、予算内での効率的な運用が可能であり、異なるモデルやコンポーネントの間でコストを最適化することができます。
今後の展望とプラットフォームの提供:
複合AIシステムを簡単に構築・運用できるプラットフォーム（BentoML）が紹介され、Pythonコードを使ってアプリケーションロジックやクラウドインフラを簡単に定義し、システム全体を管理できることが強調されました。
「assistant-ui: AIチャットインターフェース用Reactコンポーネントライブラリの紹介」
要点
発表者: Simon Farshid
概要: AIチャット用のReactコンポーネントライブラリ「assistant-ui」の紹介とデモ
主な特徴:
オープンソースで提供されるReactコンポーネントライブラリ
簡単にAIチャットUIを構築可能
メッセージの編集や再試行機能が標準装備
LLM（大規模言語モデル）への機能呼び出しの統合が可能
天気情報表示コンポーネントのデモ
今後、フォーム、カレンダー、連絡先情報などのコンポーネントを追加予定
利用方法:
ライブラリを簡単にインストールして使用可能
様々な形式（フルスクリーン、アプリのサイド、モーダルなど）で利用可能
参加者への案内:
QRコードでアクセス可能なリソースを提供
Simon氏への個別質問を歓迎
「What to do after "doing things that don’t scale"?」
Heliconeの紹介と背景:
Heliconeは、言語モデルの観測を目的としたオープンソースツールであり、プレゼンターのJustinが創設者として開発しました。
スケールに関するアプローチ:
スタートアップやAIアプリケーション開発において、「完全にスケールする」ではなく、「十分にスケールする」解決策を推奨しています。Heliconeの初期バージョンは非常にシンプルで、クラウドフレアワーカーとNextJSを利用して短期間で構築されました。
スケーリングの課題と解決策:
Heliconeは早期にスケーリングの問題に直面しましたが、その都度インフラを調整しながら「十分にスケールする」状態を保ってきました。現在、Heliconeは非常に複雑な技術スタックを持ち、1分間に2万件以上のリクエストを処理しています。
AI技術のスケールと複雑性:
Helicone自体はAIを使用していませんが、顧客のAIアプリケーションのスケールを支援しています。AIスタックの複雑性は増しており、顧客はモデルの選択やツールの使用に関して多くの質問を抱えています。
スケーリング戦略の比較:
ソフトウェア開発における「コードの複雑化と簡略化」と同様に、AIスタックも初期のシンプルなプロンプティングから複雑なツールとアーキテクチャへと進化し、最終的には再びシンプルなプロンプティングに回帰する傾向があります。
結論:
「十分にスケールする」ことを目指すことで、不要な複雑さを避けつつ、結果的にスケールするソリューションを構築できます。Heliconeの経験からも、シンプルさを保ちながらスケールさせることの重要性が強調されています。
概要: 「Nomadic ML」という企業向けツールキットを開発しており、リアルタイムで稼働する機械学習（ML）システムを継続的に最適化できるようにすることを目的としています。このツールは、LLM（大規模言語モデル）やFintechアプリケーション、SQL生成パイプラインなど、さまざまな用途で利用できます。
機能:
評価と最適化: ユーザーにとって重要なメトリクスを設定し、それに基づいてモデルのパラメータを最適化するためのツールを提供します。
パラメータ検索: RaytuneやAltoonaなどの既存の手法を用いて、最適なパラメータを選択するためのスマートな検索技術を備えています。
観察性と最適化: 単なる観察やバリデーションを超えて、モデルをライブで最適化する機能を提供します。
デモ:
具体的なデモとして、幻覚検出のためのパイプラインの最適化が紹介されました。架空の国「Zephyria」に関するプロンプトを使用し、パラメータの調整によってモデルの応答を改善する方法が示されました。
「ゼロショット」から「チェーンオブソート」へとプロンプトの手法を進化させることができる柔軟性が説明され、最適化されたRAGパイプラインの活用例が紹介されました。
今後の展望:
「Nomadic」は来週正式に公開され、pipでインストール可能になります。また、エージェント構築や複合AIシステムに関心があるユーザーに対して、実験用のプレイグラウンドUIも提供する予定です。
「AGI Builders Meetup」の次回開催がGitHubのオフィスで予定されており、参加者を募集しています。
ではまた！