定義
ストリーミング出力とは、LLMが生成したトークンを完成前から逐次配信し、ユーザー側にリアルタイム表示する仕組みのこと。
ストリーミング出力 (SSE)とは(詳しく解説)
ストリーミング出力(SSEで実装されるサーバー送信イベント)とは、LLMの応答を一括生成後に返すのではなく、生成されたトークンを逐次クライアントへ送信し、リアルタイムに表示する方式のことを指す。ChatGPTやClaudeのチャット画面で文字が流れるように表示される挙動がこれにあたる。体感速度の向上とTTFB(最初の応答までの時間)短縮が狙いで、Server-Sent EventsやHTTPチャンク転送を使う実装が業界標準とされる。2026年時点の実運用では、途中生成のトークンをそのままUIに流すため出力途中の不適切内容を検閲しにくい落とし穴が指摘され、ロードバランサのバッファリング設定次第でストリームが詰まる不具合も現場でよく挙がる。接続を長時間張り続ける分サーバーリソース消費が非ストリーミングより重くなりがちで、コスト効率が課題になる場合もある。API課金自体はストリーミングの有無で単価が変わらないベンダーが多いが、接続維持コストの相場感を踏まえ、リアルタイム性が必須なチャットUIには採用し、バッチ処理向けAPIでは非ストリーミングを選ぶ使い分けが一般的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「ストリーミング出力 (SSE)とは」 https://aipicks.jp/glossary/streaming-output
ストリーミング出力 (SSE)の使用例
- ChatGPTでプロンプト送信直後から文字が流れるように表示されるのがストリーミング出力の典型例。
- OpenAIやAnthropicのAPIでは`stream: true`を指定するとSSE形式でトークンが逐次返ってくる。