OneMux/Dokumentation/Streaming-Ausgabe

Streaming-Ausgabe

Die Streaming-Ausgabe mit Server-Sent Events (SSE) liefert KI-Antworten wie bei einer Schreibmaschine Wort für Wort zurück und verbessert so die Nutzererfahrung. Auf dieser Seite erfahren Sie, wie Sie die Streaming-Ausgabe aktivieren, SSE-Datenblöcke parsen und Streaming-Verbindungen verarbeiten. Geeignet für Chat-Unterhaltungen, die Inhaltserstellung und ähnliche Anwendungsfälle.

Warum Streaming?

  • Die Antworten großer Sprachmodelle brauchen Zeit, daher benötigen Nutzer sofortiges Feedback
  • Schreibmaschinen-Effekt wie bei ChatGPT
  • Verbesserte Nutzererfahrung

Streaming-Ausgabe aktivieren

Setzen Sie in der Anfrage "stream": true

from openai import OpenAI

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://api.onemux.net/v1"
)

response = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=[{"role": "user", "content": "Schreibe ein Gedicht"}],
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

SSE-Antwortformat

Streaming-Antworten verwenden das Server-Sent Events (SSE)-Format. Jeder Datenblock beginnt mit data::

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"Du"}}]}

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"Guten"}}]}

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"Tag!"}}]}

data: [DONE]