Thiết kế định tuyến dự phòng sau khi Claude Opus 5 từ chối

Việc Claude Opus 5 từ chối không nên kích hoạt một vòng lặp “thử mô hình khác” một cách mù quáng. Mặc định phù hợp là giữ nguyên ranh giới, giải thích kết quả cho người dùng và chỉ chuyển sang phương án dự phòng khi tác vụ còn lại thực sự khác biệt và phù hợp với một tuyến khác.

Sự phân biệt này quan trọng với các sản phẩm dựa vào mô hình AI để lập trình, vận hành quy trình agent, hỗ trợ khách hàng, kiểm duyệt nội dung hoặc xử lý yêu cầu từ khách hàng quốc tế. Phương án dự phòng có thể giúp hoàn thành tác vụ khi yêu cầu quá rộng, một bước dùng công cụ thất bại hoặc mô hình cao cấp không phải lựa chọn kinh tế phù hợp. Nhưng nếu được dùng để vượt qua việc từ chối, nó cũng có thể tạo ra trải nghiệm không an toàn và gây nhầm lẫn.

Tài liệu về từ chối và dự phòng của Claude Platform lưu ý rằng định tuyến dự phòng được áp dụng ở phía máy chủ và không được công bố theo từng mô hình trong Models API. Vì vậy, hãy tự xây dựng bản ghi định tuyến ở cấp ứng dụng thay vì cho rằng chỉ danh mục mô hình đã đủ để giải thích lộ trình của một yêu cầu.

Quyết định: từ chối, diễn đạt lại hay định tuyến một tác vụ nhỏ hơn

Trước khi chọn mô hình dự phòng, hãy phân loại sự kiện. “Mô hình không trả lời” không phải là một nhóm đủ hữu ích cho hệ thống vận hành thực tế.

Từ chối là phản hồi đối với nội dung hoặc ngữ cảnh của yêu cầu. Hết thời gian chờ là lỗi vận hành. Gộp cả hai vào một cờ fallback=true sẽ tạo ra số liệu phân tích dễ gây hiểu lầm và khiến đội hỗ trợ khó giải thích sự việc hơn.

Với ứng dụng hướng tới khách hàng, thông báo hiển thị cũng cần khác nhau. “Chúng tôi không thể hoàn thành yêu cầu này” là thông báo phù hợp khi có từ chối, nếu đi kèm một phương án thay thế được phép. “Chúng tôi đang thử lại” phù hợp khi dịch vụ gặp lỗi tạm thời. Các thông báo này ảnh hưởng đến lòng tin, đặc biệt với khách hàng quốc tế và người dùng liên hệ hỗ trợ, những người có thể không biết vì sao yêu cầu bị thay đổi hoặc trì hoãn.

Vai trò của Claude Opus 5 trong chính sách định tuyến

Claude Opus 5 được OneMux liệt kê là mô hình Claude Opus mạnh nhất của mình cho lập trình, agent và công việc chuyên môn, với các nhãn Reasoning, Tools, Files, Vision và 1M. Đây là lựa chọn chính hợp lý khi ứng dụng cần phân tích chuyên sâu, thực thi nhiều bước hoặc tạo kết quả đạt yêu cầu chuyên môn.

Mức giá được niêm yết là $0.975 input và $4.875 output. Trong chính sách định tuyến, những con số này không chỉ là thông tin mua sắm: chúng cho thấy nên dành Opus 5 cho những công việc có vai trò rõ ràng. Ví dụ gồm giai đoạn lập kế hoạch của agent, một quyết định khó khi rà soát mã hoặc bước phân tích tài liệu chi phối các hành động tiếp theo.

Một lựa chọn bổ trợ hữu ích là Claude Sonnet 5, được mô tả là mô hình agent Claude dùng hằng ngày cho lập trình, lập kế hoạch, duyệt web và công việc nói chung. Mức giá input và output được niêm yết lần lượt là $0.338 và $1.69. Sản phẩm có thể chuyển một tác vụ tiếp nối thường lệ và đủ điều kiện sang Sonnet 5—chẳng hạn định dạng câu trả lời đã được phê duyệt, trích xuất các trường có cấu trúc hoặc soạn phản hồi hỗ trợ không nhạy cảm—mà không coi sự thay đổi đó là cách giải quyết việc Opus từ chối.

Nguyên tắc rất đơn giản:

Chuyển sang phương án dự phòng vì tác vụ đã thay đổi, dịch vụ gặp lỗi hoặc công việc có yêu cầu khác về chi phí và năng lực—không phải vì việc từ chối gây bất tiện.

Dùng hợp đồng tác vụ thay vì chuỗi mô hình

Đơn vị định tuyến an toàn nhất là một hợp đồng tác vụ. Hãy xác định bước tiếp theo được phép làm gì, cần ngữ cảnh nào, có thể truy cập dữ liệu nào và kết quả nào được coi là thành công. Nhờ đó, kỹ sư, nhân sự vận hành và các bên phụ trách tuân thủ có thể xem xét phương án dự phòng.

Ví dụ, sau khi một agent Opus 5 từ chối yêu cầu, ứng dụng có thể đưa ra ba lựa chọn cho người dùng:

1. Yêu cầu giải thích tổng quát về chính sách hoặc chủ đề liên quan.
2. Loại bỏ thông tin nhạy cảm và yêu cầu một mẫu ở mức khái quát.
3. Kết thúc quy trình và lưu hồ sơ để con người xem xét.

Nếu người dùng chọn một mẫu được phép, hãy tạo tác vụ mới với giới hạn rõ ràng thay vì chuyển nguyên văn cuộc hội thoại gốc. Với agent lập trình, chỉ gửi đoạn mã liên quan nhỏ nhất cùng chỉ dẫn hẹp như “giải thích lỗi trình biên dịch này” thay vì “hoàn thành yêu cầu ban đầu”. Với đội hỗ trợ, chỉ chuyển các trường cần thiết để soạn câu trả lời và tránh tự động chuyển tiếp dữ liệu riêng tư.

Đối tượng quyết định định tuyến

Hãy giữ logic định tuyến độc lập với cấu trúc phản hồi riêng của từng nhà cung cấp. Ví dụ TypeScript sau mô hình hóa quyết định của ứng dụng sau khi chuẩn hóa phản hồi từ mô hình:

type Outcome = "completed" | "refused" | "transient_error" | "tool_error";

type RouteDecision = {
  action: "respond" | "retry" | "reframe" | "fallback" | "escalate";
  targetModel?: string;
  reason: string;
};

function chooseRoute(outcome: Outcome, task: "analysis" | "formatting" | "support") : RouteDecision {
  if (outcome === "refused") {
    return {
      action: "reframe",
      reason: "Keep the refusal intact; offer a permitted, narrower task."
    };
  }

  if (outcome === "transient_error") {
    return {
      action: "retry",
      reason: "Retry within the application retry budget before changing routes."
    };
  }

  if (outcome === "tool_error") {
    return {
      action: "escalate",
      reason: "Repair or review the failed tool step before asking a model again."
    };
  }

  if (task === "formatting" || task === "support") {
    return {
      action: "fallback",
      targetModel: "claude-sonnet-5",
      reason: "Eligible routine task with an explicit lower-cost route."
    };
  }

  return { action: "respond", reason: "Primary task completed." };
}

Mã định danh mô hình trong ví dụ này là một đầu vào của chính sách, không phải cam kết được mã hóa cứng về tính khả dụng. Hãy duy trì các tuyến được phê duyệt trong cấu hình, kiểm thử chúng với những tác vụ đại diện và quản lý phiên bản thay đổi để nhân sự vận hành có thể xác định lại vì sao một yêu cầu được chuyển tuyến.

Ghi nhận định tuyến dự phòng phía máy chủ trong nhật ký của bạn

Lưu ý trong tài liệu Claude có ý nghĩa quan trọng đối với vận hành: định tuyến dự phòng diễn ra ở phía máy chủ và Models API không công bố thông tin này theo từng mô hình. Vì vậy, hệ thống cần ghi nhận dữ liệu giám sát mà chỉ riêng danh mục không thể cung cấp.

Với mỗi yêu cầu, hãy ghi lại các trường sau:

• ID của yêu cầu và quy trình trong ứng dụng;
• ngôn ngữ hoặc thị trường của người dùng khi việc này hợp pháp và hữu ích cho phân tích hỗ trợ;
• mô hình được yêu cầu và mã định danh mô hình được trả về, nếu có trong phản hồi;
• kết quả đã chuẩn hóa: hoàn thành, từ chối, lỗi tạm thời hoặc lỗi công cụ;
• phiên bản chính sách dự phòng và tuyến được chọn;
• thông tin token hoặc mức sử dụng do API trả về;
• thông báo hiển thị cho người dùng và việc có đề nghị chuyển cho con người xử lý hay không.

Đừng lưu prompt một cách tùy tiện. Với các sản phẩm nhạy cảm về quyền riêng tư, hãy dùng nhật ký mã hóa có thời hạn lưu ngắn, các thuộc tính sự kiện đã che thông tin nhạy cảm hoặc tham chiếu đến hồ sơ kiểm toán được bảo vệ. Mục tiêu là trả lời những câu hỏi cụ thể—“Tuyến này có khiến số trường hợp chuyển cấp xử lý bằng tiếng Tây Ban Nha tăng lên không?” hoặc “Lỗi công cụ có đang bị phân loại nhầm thành từ chối không?”—mà không biến dữ liệu giám sát thành một kho lưu trữ không cần thiết.

OneMux có thể đơn giản hóa khâu tích hợp vì cung cấp quyền truy cập các mô hình AI hàng đầu qua một API tương thích OpenAI. Phạm vi tập trung của OneMux bao gồm truy cập mô hình, định tuyến, khóa, khả năng theo dõi chi tiêu, nạp tín dụng và sử dụng trả theo mức dùng với chi phí thấp hơn. Hãy dùng giao diện thống nhất đó để xử lý nhất quán việc truyền tải và thông tin xác thực, đồng thời giữ chính sách định tuyến, trải nghiệm khi bị từ chối và quy tắc kiểm toán trong ứng dụng của bạn.

Kiểm soát chi phí mà không ảnh hưởng đến việc xử lý từ chối

Đừng chọn “giá thấp nhất” làm nhánh xử lý đầu tiên sau khi bị từ chối. Thay vào đó, hãy áp dụng kiểm soát chi phí trước khi yêu cầu đến mô hình và sau khi một tác vụ được phép đã được xác định.

Đặt ngân sách output tối đa cho các tác vụ thường lệ. Chia quy trình agent thành các bước lập kế hoạch, thực thi và trình bày. Chuyển bước lập kế hoạch có hệ quả lớn sang Opus 5 khi có lý do phù hợp, sau đó dùng một mô hình sử dụng hằng ngày đã được phê duyệt cho tác vụ trình bày có tính xác định. Xem các lựa chọn hiện có trong danh mục mô hình OneMux và điều chỉnh chính sách theo kết quả kiểm thử chất lượng của bạn.

Các nhóm tài chính và vận hành nên đánh giá phương án dự phòng bằng ba chỉ số liên quan: tỷ lệ hoàn thành, tỷ lệ chuyển cấp xử lý và chi phí trên mỗi quy trình thành công. Tuyến chi phí thấp nhưng làm tăng lượng việc con người phải xử lý lại chưa chắc đã tiết kiệm. Tương tự, mặc định dùng mô hình cao cấp cho mọi yêu cầu viết lại nhỏ có thể che giấu vấn đề định tuyến thay vì giải quyết vấn đề chất lượng.

Kết luận

Một ứng dụng AI có khả năng ứng phó tốt không coi mọi trường hợp không có câu trả lời là cùng một loại lỗi. Hãy giữ nguyên việc Claude Opus 5 từ chối, chỉ tạo tác vụ mới có giới hạn khi có phương án thay thế hợp lệ và chỉ dùng dự phòng giữa các mô hình cho những trường hợp đủ điều kiện về vận hành hoặc mức độ phù hợp với tác vụ. Với OneMux, các nhóm có thể truy cập mô hình Claude và những lựa chọn hàng đầu khác qua một API thống nhất, đồng thời giữ quyền quyết định các chính sách mà người dùng, nhân viên hỗ trợ và kiểm toán viên cần hiểu.

Câu hỏi thường gặp

Ứng dụng có nên tự động thử lại bằng mô hình khác khi Claude Opus 5 từ chối?

Không. Thông thường cần giữ nguyên việc từ chối. Thay vào đó, hãy đề xuất cách diễn đạt lại được phép hoặc chuyển cho con người xử lý. Chỉ thử lại hoặc dùng tuyến được phê duyệt khác đối với lỗi vận hành tạm thời và các tác vụ mới được xác định lại phạm vi, rõ ràng đủ điều kiện.

Models API có cho biết tuyến dự phòng nào đã được sử dụng không?

Tài liệu Claude Platform cho biết định tuyến dự phòng được áp dụng ở phía máy chủ và không được công bố theo từng mô hình trên Models API. Hãy ghi lại thông tin mô hình được yêu cầu và trả về, kết quả phản hồi và các quyết định định tuyến của bạn trong dữ liệu giám sát ứng dụng.

Khi nào Claude Sonnet 5 là phương án dự phòng hợp lý cho Claude Opus 5?

Đây có thể là tuyến hợp lý cho một tác vụ thường lệ được xác định riêng, chẳng hạn định dạng, trích xuất hoặc soạn thảo nội dung hỗ trợ chung, sau khi đánh giá của bạn xác nhận mô hình đáp ứng yêu cầu. Không nên dùng nó như một cơ chế để né tránh việc Opus 5 từ chối.

Nguồn

• Tài liệu Claude Platform: Từ chối và dự phòng
• OneMux: Claude Opus 5
• Hướng dẫn bắt đầu nhanh OneMux