OneMux/Documentation/Sortie en flux

Sortie en flux

La sortie en flux via Server-Sent Events (SSE) renvoie les réponses de l’IA caractère par caractère, comme une machine à écrire, afin d’améliorer l’expérience utilisateur. Cette page explique comment activer la sortie en flux, analyser les blocs de données SSE et gérer les connexions en flux. Cette fonctionnalité convient notamment aux conversations, à la génération de contenu et à d’autres scénarios similaires.

Pourquoi utiliser la sortie en flux ?

  • Les réponses des grands modèles sont lentes, les utilisateurs ont besoin d’un retour immédiat
  • Un effet de machine à écrire similaire à celui de ChatGPT
  • Améliore l’expérience utilisateur

Activer la sortie en flux

Définissez "stream": true dans la requête

from openai import OpenAI

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://api.onemux.net/v1"
)

response = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=[{"role": "user", "content": "Écris un poème"}],
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Format de réponse SSE

Les réponses en flux utilisent le format Server-Sent Events (SSE). Chaque bloc de données commence par data: :

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"Bon"}}]}

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"jour"}}]}

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"!"}}]}

data: [DONE]