占いチャットのOpenAI APIをストリーミング化したら40秒の待ち時間が3秒になった話
公開日：2026年6月24日 23時10分
AIタロットで避けて通れない課題
AIタロットサイトを開発していて、ずっと気になっていたことがありました。
それは、
占い結果が表示されるまでの待ち時間
です。
タロット占いでは、
- 相談内容を入力
- カードを展開
- AIがリーディングを生成
という流れになります。
利用者からすると、一番楽しみなのは占い結果を見る瞬間です。
しかし、その結果が表示されるまで何十秒も待たされると、不安になってしまいます。
本当に動いているのだろうか。
エラーになったのではないか。
そんな気持ちになるのも無理はありません。
最初の実装では40秒近く待っていた
AIタロットでは、単なる短い回答ではなく、本格的なリーディングを生成しています。
相談内容を読み取り、
複数枚のカードを解釈し、
状況分析やアドバイスを含めて文章を作成します。
そのため出力文字数も比較的多くなります。
最初の実装では、
OpenAI APIの処理が完了するまで待ってから結果を表示していました。
つまり、
- ユーザーが占い開始
- OpenAI APIへ送信
- AIが全文生成
- 完成後に画面へ表示
という流れです。
この方法は実装がシンプルですが、大きな欠点があります。
利用者は完成するまで何も見えません。
結果として、
長いときは40秒近く待つこともありました。
実際にはAIはもっと早く答え始めている
調べてみると、OpenAI APIは回答を生成しながら少しずつ返すことができます。
つまりAI自身は、
40秒後に突然完成しているわけではありません。
内部では数秒後から文章を作り始めています。
それなのに、
利用者には最後まで何も見せていませんでした。
これは少しもったいないと感じました。
ストリーミングという仕組み
そこで導入したのが、
ストリーミング表示
です。
ストリーミングでは、
AIが文章を生成した瞬間から画面へ表示していきます。
従来の流れは、
40秒待つ
↓
結果が一気に表示
でした。
ストリーミング化後は、
3秒程度で表示開始
↓
少しずつ文章が増える
↓
最終結果が完成
という流れになります。
利用者が感じる待ち時間は劇的に変わる
ここが面白いところです。
実際には、
AIが全文を書き終えるまでの時間はそれほど変わっていません。
それでも体感は全く違います。
例えばエレベーターを待つとき、
無言で40秒待たされるのと、
「到着まであと○秒」
と表示されるのでは印象が変わります。
AIチャットも同じです。
何かが進んでいることが見えるだけで、
利用者のストレスは大きく減ります。
技術的に苦労したポイント
実装は思ったより簡単ではありませんでした。
通常のAPI通信では、
レスポンスを受け取ったら画面へ表示するだけです。
しかしストリーミングでは、
受け取ったデータをリアルタイムに画面へ流し込む必要があります。
さらにAIタロットでは、
単なる文章だけではありません。
- カード情報
- リーディング本文
- 表示レイアウト
なども扱います。
そのため、
どの情報を先に返すのか、
どのタイミングで表示するのかを調整する必要がありました。
数字以上に大きかった改善
ストリーミング導入後、
占い結果の表示開始時間は大幅に短縮されました。
以前は40秒近く何も表示されないこともありましたが、
現在は数秒でAIが話し始めます。
数字だけを見ると、
40秒が3秒になったように見えます。
しかし本当に大きいのは、
利用者が「待たされている」と感じなくなったことです。
これは数値だけでは表現できない改善でした。
AIサービスは「速さ」だけではない
今回の経験で学んだのは、
システム性能とユーザー体験は必ずしも同じではないということです。
AIが少しでも早く答えることも重要ですが、
利用者が安心して待てることも同じくらい重要です。
実際には同じ40秒でも、
何も起きない40秒と、
AIが少しずつ話している40秒では印象がまったく違います。
これからのAIサービスに必要なこと
生成AIは日々進化しています。
モデルの性能も上がり、
回答品質も向上しています。
しかし利用者が触れるのはAIそのものではなく、
サービスとしての体験です。
どれだけ優秀なAIでも、
待ち時間が長く使いづらければ価値は伝わりません。
今回ストリーミングを導入して、
改めてそのことを実感しました。
おわりに
AIタロットサイトの占いチャットをストリーミング化したことで、
利用者が結果を見始めるまでの時間は約40秒から約3秒へと大幅に改善されました。
もちろん裏側では、
今までと同じようにAIが丁寧にリーディングを行っています。
変わったのは、
その過程を利用者にも見せるようになったことです。
小さな改善に見えるかもしれません。
しかし実際には、
占い体験そのものを大きく変える改善だったと感じています。
これからも技術だけでなく、
「使っていて気持ちの良い体験」を大切にしながらサービスを改善していきたいと思います。