OneMux/Documentação/Saída em streaming

Saída em streaming

A saída em streaming com Server-Sent Events (SSE) retorna as respostas da IA palavra por palavra, como em uma máquina de escrever, melhorando a experiência do usuário. Esta página explica como habilitar a saída em streaming, analisar blocos de dados SSE e lidar com conexões de streaming. É adequada para cenários como conversas por chat e geração de conteúdo.

Por que usar streaming?

  • Modelos de grande porte demoram para responder, e os usuários precisam de feedback imediato
  • Efeito de máquina de escrever semelhante ao do ChatGPT
  • Melhora a experiência do usuário

Habilitar saída em streaming

Defina "stream": true na solicitação

from openai import OpenAI

client = OpenAI(
    api_key="sk-xxx",
    base_url="https://api.onemux.net/v1"
)

response = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=[{"role": "user", "content": "Escreva um poema"}],
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

Formato de resposta SSE

As respostas em streaming usam o formato Server-Sent Events (SSE), e cada bloco de dados começa com data::

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":"Você"}}]}

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":" está"}}]}

data: {"id":"chatcmpl-xxx","choices":[{"delta":{"content":" bem!"}}]}

data: [DONE]