12 Days of OpenAI（後半day7-day12)まとめ
こんにちは、makokonです。連日のOpenAIの発表「12 Days of OpenAI」面白いですね。
今日12/21で１２日目を終了しました。すでに、多くの人がＸやnoteで紹介ていますが、前半の記事に続いて、後半の重要ポイントをまとめておこうと思います。
後半もChatGPTの機能拡張や、o1API機能の大幅強化、デスクトップアプリの強化、そして最終日のo3,o3-miniモデルの発表などとてもエキサイティングでした。
AIの進化が止まらない中、OpenAIが提供する「12 Days of OpenAI」は、AI技術とその応用についての洞察を深める絶好の機会です。このシリーズでは、OpenAIが持つ様々な技術やプロジェクトのハイライトを紹介し、AIの可能性を探ります。未来のテクノロジーを感じる旅に出かけてみませんか？
前半まとめ記事はこちら
https://note.com/makokon/n/nacc2ea70a5e4
day7 Projects—12 Days of OpenAI
OpenAIの製品責任者Kevinが、ChatGPTの新機能「プロジェクト」のローンチを発表しました。
プロジェクト機能は、ChatGPTで複数の関連する会話や情報を整理し、管理することを目的としています。ChatGPTに対する不満としては、複数の会話が混在してしまい、過去の会話や情報を参照しにくい点が挙げられます。プロジェクト機能はこの不満を解消し、特定のテーマやタスクに関連する会話やファイルをまとめて管理できるようにすることで、ChatGPTをより効果的に活用できるようにすることを目指しています。
プロジェクト機能の概要:
複数のチャットを整理するためのフォルダのような機能。
プロジェクトごとにファイルをアップロード可能。
プロジェクトごとにカスタム指示を設定可能。
検索やキャンバスもプロジェクト内で利用可能。
プロジェクト内の情報は、チャットで参照可能。
デモ:
シークレットサンタのプレゼント交換の企画：参加者の希望やルールをファイルにまとめ、ChatGPTにプレゼントの割り当てやメール作成などを指示。
ホームメンテナンス：家電の説明書やメンテナンス記録をアップロードし、ChatGPTにフィルター交換時期や方法などを質問。
個人のウェブサイト作成：ウェブサイトのテンプレートファイルをアップロードし、ChatGPTに自分の情報やソーシャルリンクの追加、プロジェクト情報の更新などを指示。
リリース情報:
Plus、Pro、Teamsユーザー向けに本日(12/14)よりロールアウト開始。
無料ユーザー、Enterprise、EDUユーザーへは後日提供予定。
その他:
ライブデモ中に小さなバグが発生したが、すぐに修正された。
キャンバス機能との連携についても言及された。
全体的に、プロジェクト機能はChatGPTをより便利に整理し、様々なタスクに活用できることを示す内容でした。
day8 Search—12 Days of OpenAI: Day 8
ChatGPT検索機能アップデートの概要
OpenAIは、ChatGPTの検索機能の大幅なアップデートを発表しました。このアップデートにより、リアルタイムの情報アクセスとWeb検索がシームレスに統合され、より便利で効率的な検索体験が可能になります。
ChatGPTの検索機能は大幅に強化され、無料ユーザーを含むより多くのユーザーがその恩恵を受けることができるようになりました。速度向上、モバイル最適化、音声検索、デフォルト検索エンジン設定など、ユーザーエクスペリエンスの向上に重点が置かれたアップデートとなっています。 OpenAIは今後もユーザーフィードバックを基に、更なる改善を続けていくとしています。
1. 検索機能の性能向上
既存の有料ユーザーからのフィードバックを基に、検索機能の様々な点が改善されました。
高速化: 検索処理の速度が向上し、より迅速に結果が得られるようになりました。
モバイル版の最適化: iPhone/Androidアプリを含むモバイル版で、より快適に検索機能を利用できるようになりました。特に、マップ機能との連携が強化されています。
マップ体験の向上: 地図表示機能が改善され、検索結果に関連する場所を視覚的に確認しやすくなりました。
2. 音声入力による検索の実現
高度な音声モードに検索機能が統合され、ChatGPTとの会話中に音声で検索を行うことが可能になりました。 これにより、より自然で直感的な検索体験が提供されます。
3. 無料ユーザーへの提供開始
これまで有料ユーザー限定だった検索機能が、ログインしている無料ユーザーにも開放されました。 この変更により、より多くのユーザーがChatGPTの強力な検索機能を利用できるようになります。
4. ChatGPTをデフォルトの検索エンジンに設定する方法
ChatGPTをブラウザのデフォルト検索エンジンにすることで、Web検索をよりスムーズに行うことができます。設定方法は、ChatGPTのインターフェース上部にある設定オプションから変更可能です。
5. Webサイトへのアクセス速度向上
ChatGPTは関連性の高い回答と引用元を明確に提示しますが、単純に特定のウェブサイトにアクセスしたい場合もあります。今回のアップデートでは、ウェブサイトへの直接アクセス速度が向上しました。例えば、ブラウザのアドレスバーに「Netflix」と入力すると、Netflixのウェブサイトが検索結果の上部に表示され、すぐにアクセスできます。
Dev Day Holiday Edition—12 Days of OpenAI: Day 9
OpenAI の開発者とスタートアップ向けに最近のアップデートをまとめています。
これらのアップデートは、開発者が OpenAI の API をより簡単に利用し、革新的なアプリケーションを開発することを支援することを目的としています。
特に、o1 and o1-mini、GPT-4o and GPT-4o-mini Realtime、GPT-4o Audioの情報は要チェックですよ。12-17モデル
https://platform.openai.com/docs/models#o1
1. OpenAI O1 API の一般公開
9月にプレビュー版として発表された OpenAI O1 がAPIで正式に利用可能になりました。
エージェントアプリケーション、カスタマーサポート、金融分析、コーディングなど、様々な用途での活用が期待されています。
APIには、関数呼び出し、構造化出力、開発者メッセージ、推論努力などの機能が搭載されています。
開発者メッセージは、モデルに指示を与えるための新しい方法で、開発者によって完全に制御されます。
推論努力パラメータは、モデルが思考に費やす時間を制御し、簡単すぎる問題に過剰な計算リソースを費やすことを防ぎます。
画像入力もサポートされ、製造業や科学分野での活用が期待されています。
デモでは、フォームのエラー検出、税金の計算、構造化出力による修正箇所の提示などが行われました。
内部評価では、関数呼び出し、構造化出力、コーディング、推論において、O1 は GPT-4 よりも優れたパフォーマンスを示しました。
O1 は O1 プレビュー版と比較して、思考トークンを 60% 削減し、高速化と低コスト化を実現しています。
O1 Pro の API 提供については、現在準備中とのことです。
2. リアルタイムAPIのアップデート
WebSocketに加え、WebRTCのサポートが開始されました。WebRTCはインターネット向けに設計されているため、インターネット接続状況の変化に柔軟に対応し、エコーキャンセルなどの機能も提供します。これにより、リアルタイムAPIを使用したアプリケーション開発が容易になります。
WebRTCのデモでは、わずか12行のHTMLとJavaScriptで音声アシスタントを作成できることが示されました。以前のWebSocketを使用する場合と比べて、コード量は大幅に削減され、実装が容易になりました。
マイクロコントローラーに実装されたリアルタイムAPIのデモも行われました。小型のデバイスに組み込むことで、ウェアラブルデバイスやスマートホームデバイスなど、様々な用途での活用が期待されます。
GPT-4 のリアルタイムAPIで使用される音声トークンのコストが 60% 削減され、GPT-4 mini のサポートも開始されました。GPT-4 mini の音声トークンは、現在の価格よりも 10 倍安価になります。
リアルタイムAPI用の Python SDK が提供され、統合がさらに容易になりました。
関数呼び出しやガードレールを使いやすくするためのAPIの変更も行われました。
3. プリファレンス微調整
APIで利用可能な新しい微調整手法として、プリファレンス微調整が発表されました。
直接プリファレンス最適化と呼ばれる手法を用いて、ユーザーの好みに合わせてモデルを調整することができます。
従来の教師あり微調整とは異なり、正確な入力と出力のペアではなく、好ましい応答と好ましくない応答のペアを提供することで、モデルを訓練します。
応答のフォーマット、文体、抽象的な品質（有用性、創造性など）を調整することができます。
カスタマーサポート、コピーライティング、クリエイティブライティング、コンテンツモデレーションなどでの活用が期待されています。
パートナー企業であるRogo AIは、プリファレンス微調整を用いて、金融アナリスト向けAIアシスタントの精度を75%から80%以上に改善しました。
プリファレンス微調整は、GPT-4 で本日から、GPT-4 mini で近日中に利用可能になります。価格は教師あり微調整と同じです。
4. その他のアップデート
Go と Java の公式 SDK がリリースされました。
API キーの取得が簡素化されました。
世界各地で開催された Dev Day の講演が YouTube で公開されました。
発表者による AMA が開催されました。
1-800-CHAT-GPT—12 Days of OpenAI: Day 10
OpenAI、ChatGPTの音声通話とWhatsApp対応を発表
アクセシビリティ向上のため、ChatGPTをより多くの人が利用できるよう、無料提供やアプリ展開を進めている。
アメリカではChatGPTへの電話通話が可能になり、世界中でWhatsApp経由のメッセージが可能になった。
これらの機能はハッカソンから生まれたもので、数週間で開発・実装された。
今後もChatGPTのアクセシビリティ向上に努める。
もう一度、電話番号 1-800-242-8478 を ChatGPT という名前で連絡先に追加することを推奨。
電話でのChatGPT利用
データ通信環境が不安定な場合でも、電話回線を通じてChatGPTを利用可能。
iPhone、フリップフォン、回転式ダイヤル電話など、様々な機種で音声通話によるChatGPTの利用を実演。
アメリカの電話番号を持つユーザーは、毎月15分間の無料通話が利用可能。アプリをダウンロードし、アカウントを作成することで、さらに通話時間を延長可能。
WhatsAppでのChatGPT利用
WhatsAppでもChatGPTとのテキストベースの会話が可能。アカウント不要。
デモでは、WhatsAppでChatGPTにレシピを尋ね、さらにvegan対応、肉料理への変更など、リアルタイムでリクエストを変更する様子を実演。
現時点ではテキストベースの会話のみだが、将来的にはChatGPTアカウントとの認証による画像送信や検索などの機能追加を予定。
QRコードを読み取ることで、WhatsAppでのChatGPT利用をすぐに開始可能。
Work with Apps—12 Days of OpenAI: Day 11
ChatGPT デスクトップアプリの新機能紹介
今回紹介された機能は、Mac版ChatGPTデスクトップアプリで利用可能です。Windows版への対応も予定されています。これらの機能により、ChatGPTはユーザーの様々な作業を支援する強力なツールとなります。
アプリ連携機能
Warpとの連携
Xcodeとの連携
ノートアプリ連携
高度な音声モード
はじめに
OpenAIのKevin Wheel氏と、ChatGPTデスクトップチームのJohn Nastos氏、Justin Rushing氏による新機能紹介です。デスクトップアプリに注力しており、Mac版に続きWindows版もリリースされました。今後、ChatGPTは質問応答だけでなく、ユーザーの作業を自動化するagenticな機能が強化されます。今回のアップデートもその一環です。
アプリ連携機能
デスクトップアプリでは、ユーザーの許可を得た上で画面の内容を参照し、作業を自動化できます。新機能として、実行中のアプリとChatGPTを連携させることが可能になりました。
Warpとの連携
ターミナルアプリWarpとの連携を紹介。リポジトリのコミット数をグラフ化する例を示しました。アプリ連携により、ChatGPTはユーザーがGitを使っていることを自動的に認識し、適切なコマンドを生成します。高度なデータ分析機能と組み合わせることで、結果をグラフ化することも可能です。モデルは画面表示だけでなく、アプリの内部データにもアクセスできます。
Xcodeとの連携
IDEであるXcodeとの連携を紹介。アクセシビリティAPIを利用したサンプルアプリを例に、コードの変更をリアルタイムで反映する機能を追加するデモを行いました。コード生成には、高度なコーディング問題に強い新しいモデル「01」または「01 Pro」を使用できます。様々なIDE（VS Code, JetBrains系IDE, Textmate, BBEditなど）にも対応しています。
ノートアプリ連携と高度な音声モード
ノートアプリ連携
Apple Notes、Notion、Quipなどのノートアプリとの連携が可能になりました。Notionでウォーキングツアーの原稿を作成する例を示し、検索機能をオンにすることで、事実関係に基づいた情報を取得し、引用元のリンクも確認できます。また、既存の文章のスタイルに合わせてテキストを生成することも可能です。
高度な音声モード
高度な音声モードでは、音声でChatGPTと対話できます。今回はサンタクロースの声で、ホリデーのセットリストについて相談するデモを行いました。音声による指示で、テキストの編集や提案を受けることができます。
OpenAI o3 and o3-mini—12 Days of OpenAI: Day 12
OpenAI o3 と o3-mini 発表概要
Sam Altman氏、Mark Chen氏、Hongyu Ren氏、そして特別ゲストのARC Prize Foundation代表Greg Kamradt氏が、OpenAIの新しい推論モデルo3とo3-miniについて紹介・議論し、安全テストへの協力を呼びかけ、oシリーズモデルの新しいアラインメント戦略について話しました。
o1と比べて、
o3は性能が上回り、人間専門家と同等以上。
o3-miniは同等以上の性能をより低いコストとレイテンシで実現
当分は、研究者向けに限定公開のようです。（利用申請期限1/10）
1. 新モデルo3とo3-miniの発表
OpenAIは新たなFrontier Modelとしてo3とo3-miniを発表。o3は非常に高性能、o3-miniは高性能かつコスト効率に優れる。
現時点では一般公開せず、安全テストのために研究者向けに限定公開。希望者は申請可能（締切1月10日）。
一般公開時期は未定だが、安全テストの結果を踏まえて決定。
2. o3の性能
コーディング: 既存モデル(o1)より20%以上高い精度を達成。CodeforcesのELOレーティングでは、高負荷テスト設定で2727を記録。
数学: 既存モデルより大幅に精度向上。Amyで96.7%、GPQ Diamondで87.7%の精度を達成。PhDレベルの科学問題にも対応可能。
Arc Benchmark: AGI評価ベンチマークであるArc AGIで、低計算リソースで75.7%、高計算リソースで87.5%を達成。これは人間のパフォーマンス(85%)に匹敵する画期的な成果。
3. o3-miniの性能と特徴
コスト効率: o1と同等以上の性能を、より低いコストとレイテンシで実現。
適応型思考時間: 低・中・高の3つのオプションを提供し、タスクの複雑さに応じて思考時間を調整可能。
API機能: 関数呼び出し、構造化出力、開発者メッセージなど、o1と同様のAPI機能をサポート。
デモ: Pythonコード生成・実行ツールをo3-miniで実装し、実際に動作させるデモを実施。モデル自身の評価タスクも実行。
4. 安全性への取り組み
外部安全テスト: o3-mini、そしてo3を外部の安全研究者・セキュリティ研究者へ公開し、テストを実施。
Deliberative Alignment: 新しい安全対策として、モデルの推論能力を活用し、安全と危険の境界をより正確に学習する技術を導入。これにより、プロンプトの意図をより深く理解し、危険な要求を拒否する能力が向上。
5. 今後の展開
安全テストへの協力を呼びかけ。
o3-miniは1月末、o3はその後まもなく一般公開予定。
