AI ニュース for Engineers and Researchers 2023.01.10 -PM
Next.js14でDall-E(open ai)を使えるようにしてみた（その１）
Next.js14でDall-E(open ai)を使えるようにしてみた（その１）
Next.js14でDall-E(open ai)を使えるようにした。Dall-EはOpenAIによって開発されたAIプログラムで、テキストの説明から画像を生成する能力を持っている。作成したリポジトリではDall-E3を使用し、テキストによって画像を出力できる。Next.jsを用いてDall-Eと連携するアプリケーションを開発し、クライアントサイドとサーバーサイドの実装を紹介した。また、Dall-E APIへのアクセスと画像生成のプロセスにつ・・・・
【解説】Dall-EのNext.jsへの統合は、テキストから画像を生成する革新的な手法をビジネスや社会にもたらす可能性があります。例えば、eコマースでは顧客が製品を説明するテキストから画像を生成し、より具体的な視覚的情報を提供することができるでしょう。また、教育分野では、テキストベースの質問に対して視覚的回答を提供することで、学習効果を高めることができます。このようにDall-Eの統合は、新たなビジネスモデルや教育手法を生み出す可能性があります。
AI商会のGPT-4とGemini proを会話させる技術構成
AI商会のGPT-4とGemini proを会話させる技術構成。AIGPT-4#LLM#Geminitech2023/12/31に公開。GPT-4-Turboに相談できるChatGPTラッパーを作成。Gemini proに返事を考えさせる機能も追加。Firebaseで固め、Azure OpenAIを使用。プロキシにLiteLLMを導入。VPSでLangfuseを運用。Azure API Management検討もしたが自前で用意したいため代替案に。無・・・・
【解説】AI技術の進化は、ビジネスにおいては顧客サポートや相談窓口での活用が期待できる。GPT-4とGemini proを会話させることで、さらなる柔軟な対応が可能になるだろう。社会的には、医療やカウンセリングなどでの活用が想定される。また、技術の進歩に伴い、個人情報保護にも十分な配慮が必要である。
GPT-4 TurboとGPT-4 Turbo with visionを使う上での注意点
GPT-4 TurboとGPT-4 Turbo with visionの注意点について
PharmaX共同創業者の上野が解説する。
それぞれの違いや使用上のポイントをまとめる。
GPT-4 TurboとGPT-4 Turbo with visionは別物で、APIの形式も異なる。
両者はいずれ統合される予定。
特にGPT-4 Turbo with visionには注意点が多い。
function-callingやJSONモードは使えない。
ChatGPTでは一部のファイル形式にしか対応していない。
日本語は苦手。
その他の注意点も挙げられている。
PharmaXエンジニアチームのテックブログにも詳細が・・・・
【解説】GPT-4 TurboとGPT-4 Turbo with visionの注意点を踏まえると、ビジネスでは特に画像認識やテキスト処理が必要なサービスでの活用が見込まれます。例えば、オンラインショッピングでの画像検索やカスタマーサポートでの自動応答システムなどが考えられます。社会では、教育分野での画像からの学習支援や、医療分野での診断支援など、幅広い利用が期待されます。 GPT-4 TurboとGPT-4 Turbo with visionの統合により、さらなる多様な用途が考えられます。
K8sGPT: Log Analyzer
K8sGPT: Log Analyzer - Kubernetesのログ解析ツール。Podのログを取得し、エラーを検索。GPTに情報を渡す実装内容や絞り込み、サポートについて。エラーログやパッケージ情報を送信し、過去事例も検索。・・・・
【解説】Kubernetesのログ解析ツールは、エラーログの検出だけでなく、パッケージやバージョン情報も取得し、過去事例を検索できる機能が期待される。ビジネスではクラウドサービスや開発支援ツールとして活用され、エラー解析や品質管理に役立つ。社会ではセキュリティ対策や可用性向上に貢献し、エンジニアの作業効率を高める。
K8sGPT: 概要
K8sGPT: KubernetesのSRE体験をAIで補完する新ツール
Kubernetesの各リソースにはAnalyzerというクラスが定義されており、SRE Experience が体系化されています。Analyzerは各リソースに対してバリデーションを定義し、GPTと組み合わせてエラー解決策を提供します。興味がある方はContributingのドキュメントを参・・・・
【解説】K8sGPTはSRE経験を持つAnalyzerを活用し、Kubernetesのエラーメッセージを解釈し、解決策を提供するAI技術。これは、各種ビジネスのIT部門でのシステム運用やトラブルシューティングに活用される可能性がある。さらに、社会全体でも、AIによるシステム監視やトラブル解決が普及し、効率的な運用が実現されることが期待される。
2023年AIの進歩を振り返ろう！
2023年AIの進歩を振り返る！State of AI 2023年版から、GPT-4の登場やNVIDIAの成長、AIの政治への影響、安全性のリスク、そして科学分野への応用までを紹介。GPT-4は画像も学習し、コーディングから自動運転、ロボティクスまで幅広い領域で活用されている。医学分野でもタンパク質構造の予測や診断の向上に貢献。AIの可能性は未だ未知数だが、その進化・・・・
【解説】2023年AIの進化は、AIモデルの拡大や画像、ビデオ、コーディング、音声の分野での活用が目立つ。特に生命科学や医学分野では前例のない革新が期待される。また、AIの安全性や倫理的な側面への懸念も高まっており、適切な規制やガバナンスの整備が求められる。今後はコーディング、自動運転、ロボティクスなどの分野での利用が見込まれ、社会に大きな影響を与える可能性がある。
CursorにAzure OpenAI APIを設定する
Azure OpenAI APIをCursorに設定する方法
Azure OpenAIのAPIを利用してCursorでチャットやcode編集を行う方法について解説。Azure Subscriptionを利用し、GPT-4 turboも利用可能。Azure portalから情報を取得し、Cursorの設定画面でAzure APIを有効化する・・・・
【解説】Azure OpenAIのAPIをCursorに統合することで、会話やコーディングの効率が上がる可能性があります。企業はカスタマーサポートや自動応答システムに活用し、個人は学習支援ツールとして利用することができるでしょう。また、GPT-4の活用により、文書作成やクリエイティブな業務にも役立つかもしれません。今後はAIとの連携がますます進み、効率的な業務が実現されることが期待されます。
GPT4-Vision-APIのあれこれ
GPT4-Vision-APIの利用方法とプロンプトによる結果の違いを紹介。画像や動画に対して役割を与えると異なる観点で説明可能。マルチモーダルAIの凄さや、視覚的な情報が理解できる点を紹介。また、動画入力の方法も解説。A・・・・
【解説】GPT-4 Vision-APIの可能性は驚くべきものであり、マルチモーダルAIの進化は未来のビジネスと社会に革新をもたらすでしょう。動画や画像だけでは理解できなかった情報も、音声と組み合わせることで理解することが可能になります。さらに、異なるプロンプトの使用によって生成される結果が異なることも確認されました。これは、広範囲にわたる応用が期待される技術であると感じます。例えば、ゲーム開発者は動画を入力し、その技術を活用して新しい視点でゲームを説明できる可能性があります。
【ChatGPT】GPT-4 Turboを使ってみた
【GPT-4 Turbo検証】2023年最新版のGPT-4 TurboをAzureで検証。速度は遅くなりがち。学習データは2023年4月まで。主要情報取得可、処理速度はGPT-4より遅い。速度検証は時期尚早か。プロフィール画像はDALL-E制作。個人見解・・・・
【解説】OpenAIのGPT-4 Turboは学習データの拡張と処理速度の向上が期待されたが、速度はむしろ遅くなっているようだ。しかし、2023年4月までのデータが学習されており、将来的には改善される可能性もある。ビジネスでは最新情報を提供するAIチャットボットとして活用される可能性があり、社会では迅速な情報提供や顧客サポートに活用されるかもしれない。
Gemini ProはGPT-3.5より賢いっぽい
Gemini ProでGPT-3.5を上回る性能を実証。ゴールシークプロンプトを使用し、GPT-4との違いを検証。Gemini Proは高い精度と生成速度を持ち、Bardの成長が見られる。Ultraの登場も楽しみ。Gemini技術情報共有コミュニティZennkenshirohライフイズテックWeb ProgrammingAIGemini Proを検証、ゴールシークプロンプトでGPT-3.5を上回る性能を実証。Gemini ProはBardの成長が見られる。Ultra・・・・
【解説】Gemini Proのゴールシークプロンプトでの性能は驚くほど向上しており、将来的にはプログラミング学習支援やカスタマーサポートなどのビジネスで活用されることが期待されます。また、社会においては教育や医療分野での利用が考えられます。Gemini ProはGPT-3.5を超える性能を持ち、その速度も非常に早いため、今後の展開が楽しみです。
GPT-4 にゲームのステージを生成させてみた―AIからの挑戦状 powered by GPT-4
「GPT-4でゲームのステージを生成してみた―AIからの挑戦状 powered by GPT-4」
2023/12/07に公開された記事では、GPT-4を使ってゲームのステージを生成し、実際にプレイした様子が紹介されている。MarioGPTやVideo Game Level Corpus（VGLC）などを参考に実装し、生成されたステージの問題点や対応策についても述べられている。GPT-4の応用についても考察があり、LLMを使うアプリの可能性についても・・・・
【解説】GPT-4によるゲームのステージ生成は革新的であり、将来的には様々なビジネスに活用できる可能性がある。例えば、ゲーム開発においてAIがステージを自動生成して開発コストや時間を削減できる。また、教育分野ではクリエイティブな活動や問題解決能力を養うためのツールとして利用されるかもしれない。AIがユーザーのリクエスト数に比例せずに活用できるため、新たなビジネスモデルも生まれるかもしれない。
My GPT + Math + Julia Code
Math + Julia CodeZenn清水団🚀Math + Julia Code2023/12/06に公開5件JuliamathGPT-4idea
Julia Advent Calendar 2023の6日目。数学の問題をJuliaでコードを提案してくれるGPTを作成。Instructionsは初級から上級者向け。生成物は高校数学問題の解説とJuliaコード提供
Capabilitiesは3つ:
Web Browsing
DALL·E Image Generation
Code Interpreter
ChatGPT4（有料）のサービスを使います。下記のサイトで試せる。
https://chat.openai.com/g/g-pDU1QRKy5-julia-math-cod・・・・
【解説】数学問題を解くためのJulia Math Code Helperは、教育分野で学生の理解を促進する有益なツールとなり得る。高校数学の授業や学習支援プラットフォームで利用される可能性がある。また、ChatGPT4を活用した画期的なアプリケーション開発も可能で、数学的な問題に対して自動的かつ親しみやすい形でコードを生成することができる。将来的には、様々な分野におけるGPTを活用したプログラムが普及し、学習や研究の手助けとなるだろう。
Assitants APIを用いたcode-interpreterのUIをstreamlitで実装
Assitants APIを使用したcode-interpreterのUIをstreamlitで実装。OpenAIのAssitants APIを使えば、LangChainやcode-interpreterのOSS実装が公式の機能として実装できるようになる。公式のcook bookを参考にして簡易的なUIを作成。APIのKeyとAssitantのIDを追記すればほぼ動作する。進化が速いので可用性を失うかもしれないが・・・・
【解説】OpenAIのAssistants APIを活用したcode-interpreterのUIは、プログラミング初心者や開発者にとって非常に便利なツールとなりそうだ。特に、教育分野での活用や、開発作業の効率化に役立つだろう。さらなる発展により、他の分野への応用も期待される。AI技術の進化とともに、ビジネスや社会に革新をもたらす可能性がある。
AIによるアプリ開発サポートを強化したSkeet AI v1.5をリリース。ChatGPT搭載のアプリをすぐに開発し公開できるオープンソース
"AIを活用したアプリ開発サポートを強化したSkeet AI v1.5がリリースされる" Skeet AI v1.5リリース。ChatGPT搭載のアプリ開発をオープンソースで。2023/09/04に公開。AIを活用したアプリケーション開発やWeb3 dApp開発が簡単に。Skeet CLIから利用可能。AIによるアプリ開発サポートで開発者の生産性向上を目指す。Skeetはオープンソースアプリケーションフレームワーク。AIサポートで学習コスト削減、生産性向上へ。AIサポート・・・・
【解説】将来的にSkeet AIは、AIによるアプリケーション開発サポートによって、開発者の生産性を向上させ、アプリケーション開発のコスト削減に貢献することが期待されます。また、AIを活用したアプリ開発は、様々なビジネス分野で活用可能であり、特に医療、教育、金融などの分野での利用が期待されます。社会全体への貢献が期待される革新的な技術と言えます。
ChatGPT、Vertex AI等の生成AIを簡単に使いこなせるオープンソース"Skeet"がGPT-3.5のファインチューニングにも対応
"Skeet"オープンソースがGPT-3.5でファインチューニングに対応、プラグイン1.4.0リリースZennkishi.sol🐡ChatGPT、Vertex AIが使いこなせるオープンソース"Skeet"がGPT-3.5のファインチューニングに対応2023/08/26公開。GPT-3.5 Turboを使ったファインチューニングが簡単に可能。AIモデルのカスタマイズからアプリケーションの開発までを一貫して爆速で行える。Skeetはアプリケーション開発現場の開発・メンテナンスコ・・・・
【解説】生成AIの活用がますます容易になることで、カスタム応答を生成するビジネスやアプリケーション開発が劇的に進化し、時間とコストを節約できる。特にSkeet AIは、GPT-3.5 Turboのファインチューニングを簡単に実行し、アプリに組み込む準備を整える。これは、カスタマイズされたAIモデルを利用した多岐にわたる開発に大きな可能性をもたらす。将来はAIを活用したビジネスやアプリ開発が加速し、社会全体に利益をもたらすだろう。
歌え！GPT。text LMによるアドリブ生成手法（弁財天アプローチ解説1）
歌え！GPT。text LMによるアドリブ生成手法（弁財天アプローチ解説1）
本記事では、「弁財天」と呼ばれるAIによるアドリブ生成コンテストの参加手法を紹介。GPT-3とabc記法を用いたコードとメロディーのペアによるfine-tuning手法を解説。音楽生成に興味のある方や弁財天に参加を考える方に向けた情報。LMやGPT系に興味のある方も対象。具体的なモデルと学習手法の解説、生成結果、欠点と今後の展望につい・・・・
【解説】音楽生成におけるGPT-3やtext LMの活用方法は未来のビジネスや社会に多くの可能性を秘めています。たとえば、音楽制作においては自動作曲が可能となり、新しい音楽ジャンルの創造やオリジナル楽曲の製作に活用できます。また、教育分野では、AIによる楽譜解析や指導が可能となり、音楽教育の向上が期待できます。さらに、音楽とテキストを組み合わせたエンターテイメント業界への応用も考えられます。AIによる音楽生成は、従来の音楽制作プロセスを変革し、新たな音楽文化を創造する可能性を秘めています。
【JDLA Generative AI Test 対策】参考にした文献まとめ
【JDLA Generative AI Test対策】参考文献まとめ
2023年6月24日に開催される「JDLA Generative AI Test」に向けた参考文献をまとめました。生成AIの技術、利活用、リスクについて、各項目ごとに参考になる記事や文献を紹介しています。要点を押さえた・・・・
【解説】大規模言語モデルの技術的な特徴や生成AIの利活用方法を学ぶことは、ビジネスにおいては顧客対応の自動化やコンテンツ生成、広告クリエイティブの改善などに活用できる可能性があります。社会では教育や医療分野での利用も期待されます。ただし、セキュリティや公平性のリスクにも留意し、適切なガイドラインや自主対策を整備することが重要です。
VercelのAI SDKが神神の神
VercelのAI SDKが2023/06/21に公開され、OpenAIのチャットGPTを使った実装方法が紹介された。APIを実装し、リアルタイムで応答が返ってくるストリーミングで動作する。さらに、モデルの種類を指定できるように改良できる。公式のプレイグラウンドも利用可能で、開発速度が爆速で便利だが、Next.jsに依存する・・・・
【解説】VercelのAI SDKは、リアルタイムでのストリーミングチャット補完が可能であり、今後のビジネスでは顧客サポートやオンラインコミュニケーションなどで活用される可能性がある。また、社会では様々な分野での自然な会話やコミュニケーションの支援に役立つだろう。ただし、Next.jsに依存することで技術の独自性が失われる可能性もあるため、利用する際には注意が必要だ。
text LM(GPT-3, BART)によるアドリブメロディ生成結果
自然言語処理と音楽の融合を探る：アドリブメロディ生成AIコンテスト参加記
私はGPT-3、BARTを使いアドリブ生成AIを作成。生成されたアドリブの音源集を公開。結果はバラバラだが、展開の改善が課題。技術的な驚きと問題点がある。AIと音楽の可・・・・
【解説】自然言語処理を用いたAIによるアドリブメロディ生成は、音楽業界に革新をもたらす可能性がある。自由度の高いアドリブ生成は、アーティストの創造性をサポートし、新しい音楽表現を生み出すことができる。また、アプリケーションとして、音楽制作ソフトや楽器の開発に活用でき、創造的な楽曲制作を支援することができるだろう。この技術を社会的に活用することで、音楽教育や音楽療法など、幅広い分野での利用が期待される。
【基礎概念理解】ChatGPT と ChatGPT API と GPT3 と GitHub Copilot
ChatGPTとChatGPT APIとGPT3の違いについて説明します。GPT-3は大規模なAI言語モデルで、ChatGPTはその特定アプリケーション、ChatGPT APIはその機能を組み込むためのツール。GitHub CopilotはCodexモデルを利用したAIコード補完ツールで、GPT3やChatGPTと同様にAI技術・・・・
【解説】ChatGPTやGitHub Copilotの技術は、人工知能の言語理解と生成能力を活用し、対話形式やプログラムコードの生成に革新をもたらしています。これらの技術は、ビジネスではカスタマーサポートや自動応答システムとして活用される可能性があります。また、GitHub Copilotは開発者のコーディング作業を支援するツールとして社会全体で利用され、効率化をもたらすでしょう。GPT-3を活用した多様なタスクへの応用は、将来的にさらなる革新をもたらす可能性があります。
[2023年4月版]ChatGPT本家サイトのプロンプト例をご紹介
OpenAIの本家サイトでChatGPTのプロンプト例を紹介。文法訂正、子供向けに要約、非構造データのパース、英語を絵文字で表すなど多彩な機能。ツイートの高度な分類、キーワード抽出や製品説明から広告文、命名なども可能。ChatGPTの凄さが光る。Zennエンジニアの情報共有コミュニティ・・・・
【解説】ChatGPTの機能は非常に多岐にわたり、文法訂正や要約、非構造データのパース、絵文字での表現、時間計算量の算出、プログラミング言語間の翻訳、ツイートの感情分析、キーワード抽出、広告文の生成、商品名の提案など幅広い用途が考えられます。ビジネスでは自動文章生成や広告文作成、商品名の提案などに活用でき、社会では教育や感情分析に利用される可能性があります。ChatGPTの柔軟性と精度は今後も注目されるでしょう。