Claudeに破産させられかけた...

7,700 文字

数週間前、私は新製品のT3 chatをローンチしました。期待は高かったものの、単なるAIモデルのラッパーだったため、成功への見込みは比較的控えめでした。しかし、フィードバックとサポート、そしてどれだけの人々が利用してくれているかには本当に驚かされています。信じられないほどです。
とはいえ、全てが上手くいったわけではありません。そして、間違えた部分の1つは会社全体を破産寸前まで追い込むところでした。Claudeの利用料金が1日600ドル近くまで膨れ上がり、そこに至るまでの道のりは信じられないほどカオスな物語です。
通常ここではスポンサーの紹介があるところですが、代わりにT3 chatを試してみてくださいとお願いして、早速本題に入りましょう。
まず、実際の数字を見てみましょう。現在、post hogではなくplausibleを使用している理由は、セットアップが若干容易で、サインアウト時の一般的な分析を行うための手軽なツールとして、plausibleが私のお気に入りだからです。また、T3 chatが最初の1週間でどれだけ変化したかも重要です。
plausibleは認証機能を設定する前から導入されていました。基本的に、実際のユーザーIDがある場合はpost hogを使用しますが、匿名分析の概要を把握するだけの場合は、plausibleから始めます。plausibleの大きな欠点は、ユーザーを識別できないことです。誰が何をしているのか、ユーザーがどのくらいの頻度で何かを行っているのかは分かりません。
27万7千人がT3 chatを訪れ、180万のページビュー、そして約86万件のメッセージが送信されたという高レベルの数字しか得られません。1ヶ月も経っていない製品としては信じられない数字です。現在160人がサイトを利用しているという事実も驚くべきことです。私たちが作った使いやすいチャットアプリを人々が理解し、気に入ってくれることを期待していましたが、この反応には本当に驚かされています。
plausibleの分析を設定して公開した時、おそらく予想外のモデルでスタートしました。ローンチ時の計画では、deep seek V3のみをサポートする予定でした。V3を選んだ理由には主に2つあります。
1つ目は価格です。Deep seekの価格を見ると、最初は旧レートで100万トークンあたりキャッシュヒットが1.5セント、入力トークンが15セント、出力が28セントでした。比較すると、40 miniは入力が15セント、出力が60セントなので、かなり安価です。40やClaudeと比べると笑えるほどの差があります。10倍以上の開きがあります。V3は入力が15セントに対し、Claudeは3ドル、つまり20倍の差です。出力は100万トークンあたり28セントに対し15ドルで、30倍以上の差があります。これは本当に信じられない差です。
V3の応答品質はsonnetと非常に近かったです。現在でもsonnet以外では私のお気に入りの汎用モデルですが、欠点もあります。大きな問題は速度です。V3が最初に登場した時は、1秒あたり90トークン以上という非常に高速な処理が可能でした。トークンは単語に相当するので、更新が非常に速く行われていました。
しかし時間とともにパフォーマンスは低下し、R1がリリースされると完全に機能しなくなってしまいました。なぜか他のdeep seekホスティングプロバイダーも高速な処理ができません。fireworksは一時的に速かった時期がありましたが、現在は40-50程度まで低下しています。
私たちがT3 chatで目指していたユーザー体験の向上を実現できなかったため、最終的に40 miniに切り替えることを決断しました。40 miniを選んだ主な理由は、価格の他に速度がありました。公式のopen AI APIではなく、Azureで40 miniをホストすると2-3倍速くなります。そのため、私たちの40 mini体験は、open AIの実際のchat GPTウェブサイトと比べて劇的に速かったのです。
これは大きな勝利でした。アプリの体験が素晴らしいものになり、全てのクリックが即座に反応し、送信が期待通りに機能するよう、あらゆるパフォーマンスの向上に力を入れました。私たちは良好で高速、かつ完全に透明性のあるものを目指していました。
YCバックの実際のスタートアップ企業として、Azureから多額のクレジットを得ることができました。これは非常に助かっています。しばらくの間、Azure料金を心配する必要がないということを意味し、全てがバランスよく進むよう注視しています。Azureのコストはopen AIと全く同じなので、余分な支払いはありません。むしろ少なく済んでいると言えます。open AIはスタートアップに5,000ドルのクレジットしか提供しませんが、Azureははるかに多くのクレジットを提供してくれます。
そういうわけで、最初はdeep seek V3と40 miniでスタートしました。当初は40 miniだけでしたが、すぐにモデル選択機能を追加し、初日のうちにさらにいくつかのモデルを追加しました。最も重要なのはもちろんClaudeで、これが今回の話につながります。
8ドルという価格を設定した時、deep seek V3と40 miniの価格に基づいて決めました。実際にはV3の価格変更前でしたが、それを見越して準備していました。これらの数字は依然として非常に良好で、この品質のAI生成がこれほど安価にできるということは、今でも信じられないほどです。以前はこれらは非常に高価で、現在でもその多くは高価なままです。
01の価格を見てみると、提供しているモデルの中で1つだけ途方もなく高価なものがあります。それがsonnetです。40もかなり近いですが、出力トークンが50%増加するのは痛いところです。sonnetの人気を考えると、さらに痛みが増します。
実際のコア分析の数字を見てみましょう。post hogは数日遅れで開始されたため、数字は若干少なくなっています。40 miniはT3 chatで約65万件のメッセージが送信され、Claudeは14万件です。一見すると3分の1から5分の1程度に見えますが、40 miniは無料tier選択肢なので、無料でサインアウトしている全てのユーザーが使用しています。
有料ユーザーは無料tierの総使用量の4分の1をClaudeだけで記録しました。週500メッセージという制限は他の価格設定に基づいて選んだものでしたが、人々がどれほど積極的にメッセージを送信するかは予想できませんでした。
ユーザーが何百ものメッセージを送信するとは信じられませんでした。ある人は2日間で500件のメッセージをClaudeに送信し、その後レート制限のリセットをメールで依頼してきました。2日間で180ドルのコストが発生し、さらに追加を要求してきたのです。これは信じられません。
これは私たちの責任で、ユーザーを非難するつもりはまったくありません。これはユーザーのせいにはできません。より高額になった場合に早期に対処できると考えた私たち自身の無知が原因でした。しかし、予想をはるかに超えるスピードで成長してしまいました。
メッセージ送信のグラフを見ると、公開時に大きなスパイクがあり、週末は当然落ち着きましたが、週を通して decent なトラフィックがありました。これが1週目でした。週末は落ち着いていましたが、今では安定しています。最も驚いたのは、先週末の土日にメッセージ数が増加したことです。週末の落ち込みがなくなったのです。
それを見た私は、CTOのMarkに連絡を取り、今週は大変なことになる可能性があるので準備が必要だと伝えました。週末にトラフィックが下がらなかったということは、また急増する可能性があるからです。実際にそうなり、現在では1日に1万件近いメッセージが送信されています。これは信じられない数字です。
そして確実に代価を払うことになりました。これは2月のClaudeだけの請求額です。1日500ドル、信じられないほどで、全く持続不可能です。これがユーザーの半分だったら良かったのですが、コストの90%以上は2%未満のユーザーによるものでした。支払い額以上に使用したユーザーは約100人で、それほど多くはありませんが、これらの人々が途方もない金額のコストを発生させました。
そのため、変更を加える必要がありました。望んでいた変更ではありませんが、簡単に要約すると：

月々1,500メッセージに
Claudeは基本制限とは別に月100メッセージに制限
将来的には他のモデルもこのプレミアムtierに移動する可能性があり、40も最終的にはこのtierに移動するかもしれません

他のモデルは非常に安価です。03の価格を見ても、無料で提供した理由が分かります。Claudeの3分の1の価格で、これは信じられないほど安価です。一時的に無料提供しても大きな問題にならない程度です。
40 miniよりも安価な新しいGoogleモデルなど、驚くべき動きがある中で、Claudeを正当化するのは難しいです。素晴らしいモデルではないとか、コーディングや一般的なタスク、UI関連で最高ではないとは言っていません。cursorでコマンドを使う時も、私はまだClaudeを選択しています。他のモデルも試しましたが、Claudeに戻ってきます。速度、理解力、コンテキストサイズのバランスが良いからです。
良いモデルですが、この価格を正当化できるほど良くはありません。特にR1や03 miniのような安価な推論モデルが登場した今、チャットのコンテキストでは、誰もが最初に選ぶべきものではなくなってきています。私はClaudeへの愛着が薄れてきています。
ほとんどの人々はこのような問題を感じることはないでしょう。しかし、今や私は請求書を見る立場になり、厳しい現実を感じています。既存のサブスクライバーのために、できる限りの対応をしました。
まず、追加のClaude クレジットを購入できるようにしました。100メッセージあたり8ドルです。これは大きな利益を得ているように聞こえるかもしれませんが、そうではありません。全くそうではないのです。1メッセージあたり平均6セントのコストがかかります。
これらのクレジットを全て使用した場合（おそらく最終的には使用するでしょう）、アカウントに無期限に残り、月末にリセットされることはありません。購入したクレジットは、月々のクレジットが先に消費されます。このため、おそらく6ドルのコストがかかり、応答の長さによってはさらに高くなる可能性があります。
Claude使用で大金を稼ごうとしているわけではありません。本当にClaudeを使い続けたい場合のオプションとして提供しているのです。場合によっては私たちの持ち出しになる可能性もありますが、少なくとも破産することはなくなりました。
私たちの真摯な姿勢を示すため、この変更が行われた時点で既に加入していた全ての人に250のClaude クレジットを無料で提供しています。私たちの計算では、このクレジット量は約5万ドルに相当し、これは信じられない金額です。
これらの変更を行いたくはありませんでした。全くしたくありませんでした。しかし、これにより多くのことができるようになり、価格を変更せずに済みます。大多数のユーザーはT3 chatで8ドル以下の推論しか行っていません。価格を20ドルに上げても、コストが収入を上回るユーザーの割合は2%から1.5%に変わるだけです。残りの98%のユーザーにとっては意味がありません。
私たちは理由があってこれらの変更を行いました。それは、適正な価格で最高の体験を提供するためです。将来的には、より高価なモデルへのアクセスのために、より高額なプランを提供する可能性もありますが、今はまだそうしたくありません。そして、できる限り8ドルのプランを維持し続けます。
皆さんがどれほどこれを気に入っているかを知っていますし、特に新しいモデルがますます安価になってきている中で、8ドルのプランを維持できない理由はありません。
将来的には提供するモデルが少し異なる可能性があります。リストに戻ると、1ドル未満のものは安価なtierに移動し、大量に提供する可能性があります。40 mini、V3、R1などは、ほぼ無期限に安価な価格で提供できます。新しいGeminiモデルも驚くほど安価なので、これらも含まれるでしょう。
40や03 miniのコストが意味のある額になり始めた場合、異なるtierに移動するか、最も可能性が高いのはクレジットシステムへの移行です。月々一定量のクレジットを提供し、各モデルで異なる量のクレジットを消費する形です。例えば、40は2クレジット、40 miniは0.2クレジット、V3は40と同様に2クレジットといった具合です。
私たちの目標は、支払った金額に対して可能な限り最高の価値を提供することです。マージンが皆さんが得る価値を反映するようにしたいと考えています。多くの人々が計算してくれましたが、追加の100メッセージに8ドル、サブスクリプションで得られる100メッセージを合わせると、公式のClaude サブスクリプションで20ドルで得られるメッセージ数とほぼ同じになります。
つまり16ドルで、Claudeで200メッセージ、その他で1,500メッセージを利用でき、Claude サブスクリプションより4ドル節約できることになります。今は良い位置にいると思います。素晴らしいわけではありません。制限に近づいているパワーユーザーに対するマージンは素晴らしいものではありませんが、もう私はストレスを感じなくなりました。
数日前、このレート制限の変更を正しく行うために、朝6時まで作業していました。遅くまでコーディングをしていたことでBrian Johnsonにからかわれ、ratio化されましたが、私たちはやり遂げたと思います。
感謝の言葉を述べなければなりません。まず第一に、この間ずっと共に頑張ってくれたCTOのMarkに感謝します。彼なしではできませんでした。より重要なのは、皆さん全員への感謝です。この変更がどれほどストレスフルだったかを言葉で表現することはできません。ある意味で何かを取り上げているように感じ、それが嫌でした。
皆さんが私たちとチームを、そして私たちの行うことすべてをとてもサポートしてくれているので、単に提供したいと思っていました。反応を見た時、私は本当に驚きました。ネガティブなコメントを待ちながら、Twitterを更新し続けスクロールしていましたが、それらは来ませんでした。今でも信じられません。
私たちが行っていることを皆さんが理解し、裏で何か狂ったことを隠しているわけでも、大金を稼ごうとしているわけでもないことを理解してくれているという事実。私はただより良いチャットアプリを作りたかっただけで、それが共感を呼んでいるようです。
私たちの透明性と、皆さんの素晴らしさが組み合わさって、全てが大丈夫だということを意味しているようです。投稿ボタンを押す時、このような反応が返ってくるとは全く予想していませんでした。フラストレーション、私たちがラグプルをしたと言われ、詐欺師や嘘つき呼ばわりされることを予想していました。
しかし、透明性が機能し、皆さんが私たちを信頼してくれているということは、これからも透明性を保ち続けることを意味します。Claudeのダッシュボードを隠すことはありません。価格設定やコスト、受信しているメッセージ数、サブスクリプション数を隠すことはありません。
それらを隠す理由はありません。競合他社が利益を得るかもしれませんが、競合他社はあまり良くありません。そのためT3 chatが成功しているのです。そのためMarkと私が2週間このプロジェクトに取り組み、今日ほぼ他のどのAI製品よりも急成長しているものを作ることができたのです。
このような立場にいられること、完全に透明性を保つことができ、皆さんがそれを理解してくれることに、とても感謝しています。本当にありがとうございます。これは素晴らしい経験でした。
どの段階も予測できませんでした。これほど多くの有料サブスクライバーがいるとは思っていませんでした。これほどクレイジーな使用量になるとは思っていませんでした。Claudeがこれほどのコストになるとは思っていませんでした。これらの変更を行って、皆さんが理解してくれるとは思っていませんでした。
だからこそ、ロードマップについて尋ねるのはやめてください。このスペースで物事がどのように機能するかを実際にはほとんど予測できないことを示しています。T3 chatの開発者として私たちができる最善のことは、何がいつ変更されるかを正確に示す完璧なロードマップを作ることではありません。
最善のことは、物事が変化した時、皆さんのニーズが変化した時、新しいモデルが登場した時、そして他の全ての事が起こった時に、対応することです。私たちの目標は、全てのモデルを使用するための最高の場所になることです。
そのため、Gemini 2.0 flashlightや新しいGemini 2.0標準flashモデルを、リリースから数時間以内に提供しました。私たちは新しいdeep seek R1をGroにデプロイした最初の企業で、公式R1も最初期にデプロイしました。O3 miniも、公式O3サイト以外では最初だったと思います。
私たちは懸命に働いています。これらの新しいAIモデルを試す最高の場所になりたいと考えています。ナレッジベースを持ち、AIチャットを行う最高の場所になりたいと考えています。AIで最高の体験を提供したいと考えています。そしてそれを実現するために戦い続けます。
もし私たちが間違えたら、指摘してください。この肯定的な反応に興奮していることは、私たちが失敗した時に話せないということを意味するわけではありません。私たちが責任を持って、これを正しく実行することを確実にするために、皆さんに責任を持ってもらう必要があります。
私は、また別のVCのラグプルスタートアップAIになりたくありません。可能な限り最高の体験を、徹底した透明性とともに提供したいと考えています。本当にありがとうございます。皆さんのことを心から感謝しています。
これまでのところ、とてもクレイジーな旅でした。この先どこに向かうのか、とてもワクワクしています。次回まで、チャットを楽しんでください。