Áp dụng quy tắc cho LLM Agent tại tầng API: Playbook Proxy mã nguồn mở

Đối với các nhà phát triển xây dựng GPT agent, bài toán chi phí đang trở nên đắt đỏ. Đây là cách áp dụng quy tắc tại tầng API.

Sự trỗi dậy của các LLM agent tự động – như những agent chạy trên GPT-5.6 Sol của OpenAI – đã tạo ra một vấn đề mới cho các nhóm kỹ thuật: làm thế nào để giữ agent đi đúng hướng khi nó thực hiện hàng nghìn lệnh gọi API mỗi giờ? Kỹ thuật prompt (prompt engineering) tự nó chỉ có thể đi được đến một mức nhất định. Điểm kiểm soát thực sự nằm ở tầng API.

Đó là lý do ngày càng nhiều nhóm xây dựng (hoặc áp dụng) proxy mã nguồn mở đặt giữa agent và nhà cung cấp mô hình. Một dự án như vậy, mới đây đã đạt 700 sao GitHub, áp dụng các quy tắc cho LLM agent trực tiếp tại tầng API – trước khi prompt đến được mô hình. Cách tiếp cận này vừa đơn giản vừa mang tính thay đổi.

Trong hướng dẫn này, chúng tôi sẽ đi qua các quyết định thiết kế chính để xây dựng một proxy thực thi quy tắc, lý do nó phù hợp tự nhiên với GPT-5.6 Sol, và cách OneMux đơn giản hóa phần hạ tầng đa mô hình.

Vì sao API là ranh giới chính sách mới

Các ứng dụng truyền thống thực thi logic nghiệp vụ trong mã nguồn. Ngược lại, LLM agent là bất định (nondeterministic). Chúng có thể ảo giác, rò rỉ system prompt, hoặc gọi công cụ theo những cách không lường trước. Nhà phát triển cần một cách để thực thi:

• Bộ lọc nội dung: Chặn đầu ra độc hại hoặc dữ liệu nhạy cảm.
• Kiểm soát chi phí: Giới hạn chi tiêu token theo yêu cầu hoặc theo phiên.
• Kiểm soát công cụ: Cho phép danh sách trắng các hàm agent có thể gọi.
• Định tuyến mô hình: Gửi truy vấn đơn giản đến mô hình rẻ, truy vấn phức tạp đến GPT-5.6 Sol.
• Nhật ký kiểm toán: Ghi lại mọi yêu cầu để tuân thủ và gỡ lỗi.

Proxy tập trung hóa các quy tắc này. Thay vì nhúng chúng vào từng script agent, bạn cấu hình một lần. Đó là hiểu biết cốt lõi đằng sau các dự án proxy mã nguồn mở đang được chú ý.

"Chúng tôi đã xây dựng một proxy mã nguồn mở áp dụng các quy tắc cho LLM agent tại tầng API" — Nguồn

Thiết kế một proxy thực thi quy tắc

Mô hình kinh điển là một reverse proxy tương thích OpenAI. Nó chặn các yêu cầu API đến, áp dụng kiểm tra quy tắc, sau đó chuyển tiếp chúng đến nhà cung cấp thượng nguồn.

Đây là một đoạn mã Node.js tối thiểu sử dụng phương pháp middleware:

import express from 'express';
import { createProxyMiddleware } from 'http-proxy-middleware';

const app = express();

app.use(express.json());

// Quy tắc: chặn yêu cầu với số token vượt quá mức
app.use((req, res, next) => {
  if (req.body?.max_tokens && req.body.max_tokens > 8000) {
    return res.status(400).json({ error: 'max_tokens vượt quá ngưỡng cho phép' });
  }
  next();
});

// Quy tắc: chèn system prompt an toàn cho một số mô hình nhất định
app.use((req, res, next) => {
  if (req.body?.model === 'gpt-5.6-sol') {
    req.body.messages.unshift({
      role: 'system',
      content: 'Không tiết lộ dữ liệu nhạy cảm. Chỉ trả lời dựa trên ngữ cảnh được cung cấp.'
    });
  }
  next();
});

// Chuyển tiếp đến nhà cung cấp LLM thực tế (hoặc gateway)
app.use('/v1', createProxyMiddleware({
  target: process.env.LLM_BASE_URL,
  changeOrigin: true
}));

app.listen(3000);

Đoạn mã này được đơn giản hóa có chủ đích, nhưng nó minh họa mô hình: proxy là một gateway có logic nghiệp vụ.

Các loại quy tắc quan trọng

• Viết lại yêu cầu: Chèn system prompt, cắt ngữ cảnh.
• Lọc phản hồi: Kiểm tra đầu ra cho các cụm từ bị cấm hoặc PII.
• Giới hạn tốc độ: Giới hạn theo người dùng hoặc theo API key.
• Theo dõi ngân sách: Trừ từ số dư trả trước.

Với GPT-5.6 Sol, có giá $2.50 cho mỗi 1 triệu token đầu vào và $15 cho mỗi 1 triệu token đầu ra, việc thực thi max_tokens là một cách thực tế để kiểm soát các agent vượt tầm kiểm soát.

Kinh tế của định tuyến mô hình

Một trong những tính năng proxy có giá trị nhất là định tuyến mô hình động. Thay vì cố định một mô hình duy nhất, proxy có thể quyết định mô hình nào sẽ nhận yêu cầu cụ thể – dựa trên chi phí, độ trễ hoặc khả năng.

Hãy xem xét một khối lượng công việc điển hình

Một proxy có thể định tuyến yêu cầu phân tích cảm xúc đến Luna, trong khi gửi một chứng minh toán học phức tạp đến Sol. Đó là điều biến một API gateway thành trung tâm kiểm soát chi phí, không chỉ là một thiết bị bảo mật.

Đây chính là nơi OneMux tỏa sáng. OneMux cho bạn truy cập vào các mô hình AI hàng đầu – bao gồm GPT-5.6 Sol và Claude Opus 4.8 – thông qua một API tương thích OpenAI duy nhất. Bạn không cần quản lý các API key hoặc hợp đồng riêng biệt. Với OneMux, bạn có định tuyến, theo dõi chi tiêu và giá trả theo mức sử dụng. (Xem các mô hình OneMux để có danh mục đầy đủ.)

Vượt xa một proxy đơn giản

Proxy mã nguồn mở chúng tôi đề cập xử lý thực thi quy tắc, nhưng các triển khai cấp sản xuất cần nhiều hơn:

• Xác thực: Xác thực API key, quản lý danh tính người dùng.
• Quan sát: Truyền log đến Loki, bảng điều khiển đến Grafana.
• Tuân thủ kiểm toán: Ghi lại cặp yêu cầu/phản hồi bất biến.

Đây là một ví dụ về thực thi quy tắc phát hiện dữ liệu nhạy cảm bằng regex + danh sách cho phép:

import re
import json

SENSITIVE_PATTERN = re.compile(r'\b\d{3}-\d{2}-\d{4}\b')  # SSN

def enforce_response(response, user_id):
    if SENSITIVE_PATTERN.search(response['content']):
        # che hoặc chặn
        return {'error': 'phản hồi chứa PII'}
    return response

Nhiều nhà phát triển thêm một danh sách kiểm tra trước yêu cầu và sau phản hồi, đảm bảo cả đầu vào và đầu ra đều tuân thủ chính sách.

OneMux đơn giản hóa ngăn xếp LLM hiện đại như thế nào

Xây dựng proxy là bước đầu tiên vững chắc, nhưng bạn vẫn phải duy trì tích hợp nhà cung cấp, xử lý chuyển đổi dự phòng và đối soát hóa đơn. Đó là nơi một dịch vụ như OneMux phù hợp. OneMux hoạt động như một bộ tổng hợp và gateway, cung cấp:

• API thống nhất: Sử dụng cùng một giao diện tương thích OpenAI cho GPT-5.6 Sol, Claude Opus 4.8 và các mô hình khác.
• Quản lý khóa tập trung: Xoay vòng khóa mà không cần chạm vào từng dịch vụ.
• Theo dõi chi tiêu: Theo dõi chi phí theo dự án, theo mô hình, theo người dùng.
• Trả theo mức sử dụng: Tránh các cam kết chiết khấu không cần thiết.

Đối với các nhóm áp dụng mô hình proxy, OneMux có thể là điểm cuối thượng nguồn mà proxy chuyển tiếp tới. Bạn giữ các quy tắc tùy chỉnh của mình, và OneMux xử lý sự hỗn loạn của nhà cung cấp mô hình. Xem trang giá OneMux để biết mức giá minh bạch, và tài liệu nếu bạn muốn tìm hiểu sâu.

Nếu bạn sẵn sàng dùng thử, hướng dẫn Quickstart cho phép bạn thực hiện lệnh gọi API đầu tiên chỉ trong vài phút.

Áp dụng thực tế: Từ Reddit đến sản xuất

Các tài liệu nguồn xung quanh phong trào mã nguồn mở này thường đề cập đến công việc do cộng đồng thúc đẩy. Ví dụ nổi bật nhất là chủ đề Reddit có tiêu đề "We built an open-source proxy that enforces LLM agent rules" mô tả một dự án có 700 sao GitHub. Mặc dù 700 sao là khiêm tốn theo một số tiêu chuẩn, nó cho thấy một nhu cầu thực sự đối với hạ tầng này.

Điều đó có nghĩa gì với bạn?

Dù bạn là nhà sáng lập solo hay một nhóm nền tảng, mô hình proxy đều khả thi. Bạn có thể bắt đầu với một bản prototype cuối tuần và phát triển nó thành một phần quan trọng của ngăn xếp AI của bạn.

Bài học kỹ thuật

• Bắt đầu với việc chặn yêu cầu/phản hồi, không phải mirror toàn bộ lưu lượng.
• Sử dụng một công cụ quy tắc (ví dụ: quy tắc JSON) thay vì mã hóa cứng các điều kiện.
• Luôn ghi lại quy tắc nào đã kích hoạt và tại sao.
• Cân nhắc nhúng "mã chính sách" vào header yêu cầu để dễ truy vết.

Kết luận: Quy tắc chính là sản phẩm

Khi GPT-5.6 Sol và các mô hình tiên phong tương tự trở thành công cụ mặc định cho các agent tự động, điều khác biệt sẽ không phải là mô hình bạn gọi – mà là cách bạn gọi nó an toàn và hiệu quả. Một proxy thực thi quy tắc là mặt phẳng điều khiển của bạn. Kết hợp với một gateway đa mô hình như OneMux, bạn có một ngăn xếp vừa mạnh mẽ vừa có trách nhiệm tài chính.

Sự khác biệt chi phí giữa "nhắc nhở lịch sự" và "thực thi qua proxy" là rất lớn. Với GPT-5.6 Sol ở mức $15 cho mỗi 1 triệu token đầu ra, một agent chạy quá đà có thể đốt cháy ngân sách trong vài phút. Đừng để điều đó xảy ra.

Nguồn

• Chúng tôi đã xây dựng proxy mã nguồn mở áp dụng quy tắc cho LLM agent tại tầng API (Reddit)