GuidesOneMux

วินิจฉัยเหตุขัดข้องของ OpenAI API โดยไม่เปิดเผยข้อมูลรับรอง

คู่มือภาคปฏิบัติสำหรับวินิจฉัยปัญหา OpenAI API ด้วยสัญญาณที่เป็นประโยชน์ พร้อมปกป้อง API key จำกัดสิทธิ์ และวางแผนหมุนเวียนข้อมูลรับรอง

AI

สรุป · TL;DR

เมื่อคำขอ OpenAI API ล้มเหลว ให้เก็บหลักฐานที่เพียงพอสำหรับระบุสาเหตุ โดยไม่บันทึกข้อมูลลับหรือเนื้อหาที่ละเอียดอ่อน แยกข้อมูลรับรองตามวัตถุประสงค์ จำกัดการใช้งาน และซักซ้อมขั้นตอนหมุนเวียนข้อมูลรับรองไว้ก่อนเกิดเหตุ

ประเด็นสำคัญ

  • บันทึกผลลัพธ์ของคำขอและตัวระบุที่ปลอดภัย ไม่บันทึก API key, authorization headers หรือพรอมป์ต์และคำตอบฉบับเต็ม
  • ใช้ข้อมูลรับรองแยกกันตามหน้าที่ และให้สิทธิ์เฉพาะที่เวิร์กโหลดจำเป็นต้องใช้
  • ใช้สถานะ ประเภทข้อผิดพลาด เวลา และ request identifiers เป็นสัญญาณวินิจฉัย ไม่ใช่เหตุผลให้เปิดเผยเนื้อหาคำขอ
  • แผนหมุนเวียนที่ใช้งานได้ต้องครอบคลุมการสร้างข้อมูลรับรองใหม่ การนำไปใช้งาน การตรวจสอบ และการเพิกถอนข้อมูลรับรองเดิม
ในหน้านี้ (5)

การวินิจฉัยเหตุขัดข้องของ OpenAI API ทำได้ง่ายขึ้นเมื่อบันทึกหลักฐานการทำงานไว้โดยไม่เก็บข้อมูลรับรองหรือข้อมูลลูกค้าที่ไม่จำเป็น เริ่มจากสัญญาณความล้มเหลว เช่น สถานะที่ไม่สำเร็จ การหมดเวลา หรือข้อยกเว้นในแอปพลิเคชัน จากนั้นเชื่อมโยงเหตุการณ์กับ request identifier และ deployment ที่ได้รับผลกระทบ อย่าให้ API key อยู่ในสภาพแวดล้อมที่โค้ดซึ่งไม่น่าเชื่อถือหรือโค้ดที่ agent สร้างขึ้นสามารถอ่านได้

สร้างบันทึกวินิจฉัยที่ปลอดภัย

สำหรับการเรียก API แต่ละครั้ง ให้บันทึกเฉพาะข้อมูลที่จำเป็นต่อการตอบคำถามสี่ข้อ ได้แก่ เกิดขึ้นเมื่อใด เวิร์กโหลดใดเป็นผู้ส่งคำขอ เกิดข้อผิดพลาดประเภทใด และสามารถเชื่อมโยงเหตุการณ์กับหลักฐานจากฝั่งผู้ให้บริการได้หรือไม่

บันทึกที่มีประโยชน์อาจประกอบด้วย timestamp, operation ID แบบไม่เปิดเผยข้อมูลที่คุณกำหนดเอง, ประเภท endpoint, HTTP status, เวลาที่ใช้, จำนวนครั้งที่ลองใหม่ และ provider request ID หากมีการส่งกลับมา ให้บันทึกคลาสของ exception หรือประเภทข้อผิดพลาดที่ผ่านการลบข้อมูลละเอียดอ่อน แทนการบันทึกออบเจ็กต์ exception ทั้งหมด เพราะบางไลบรารีใส่รายละเอียดคำขอไว้ในข้อความ exception ตามปกติ อย่าใส่พรอมป์ต์ คำตอบ authorization headers หรือเนื้อหาคำขอและคำตอบดิบลงในล็อก เว้นแต่กระบวนการที่ผ่านการทบทวนแล้วจะระบุความจำเป็นเฉพาะและมีมาตรการคุ้มครองที่เหมาะสม

โค้ด Python ต่อไปนี้เป็น รูปแบบตัวอย่าง ไม่ใช่การเชื่อมต่อที่ผ่านการทดสอบ ฟังก์ชันดึงข้อมูลลับและการจัดการ response ขึ้นอยู่กับแอปพลิเคชันและ SDK ของคุณ โดยตั้งใจไม่บันทึกเนื้อหาคำขอหรือข้อมูลรับรอง

import logging
import time
import uuid

logger = logging.getLogger(__name__)


def send_request(client, payload):
    operation_id = str(uuid.uuid4())
    started = time.monotonic()

    try:
        result = client.responses.create(**payload)
        logger.info(
            "openai_request_succeeded",
            extra={
                "operation_id": operation_id,
                "elapsed_ms": round((time.monotonic() - started) * 1000),
                "provider_request_id": getattr(result, "_request_id", None),
            },
        )
        return result
    except Exception as exc:
        # Do not log str(exc), request headers, or payload here.
        logger.error(
            "openai_request_failed",
            extra={
                "operation_id": operation_id,
                "elapsed_ms": round((time.monotonic() - started) * 1000),
                "exception_type": type(exc).__name__,
            },
        )
        raise

ก่อนนำรูปแบบนี้ไปใช้ ให้ตรวจสอบว่าไคลเอนต์ของคุณแสดง request IDs อย่างไร และข้อความ exception อาจมีข้อมูลละเอียดอ่อนหรือไม่ ใช้กฎการปกปิดข้อมูลเดียวกันกับ tracing, การรายงานข้อผิดพลาด, proxy logs และ support bundles ด้วย การทำความสะอาดเฉพาะล็อกของแอปพลิเคชันยังไม่เพียงพอ

ใช้สัญญาณความล้มเหลวเพื่อจำกัดวงสาเหตุ

Status code หรือ exception เป็นเพียงเบาะแส ไม่ใช่การวินิจฉัยที่ครบถ้วน หากพบ authentication failures เพิ่มขึ้นหลัง deployment อาจเป็นเพราะข้อมูลรับรองหายไป ไม่ถูกต้อง หรือส่งไปอย่างไม่ถูกต้อง หาก rate-limit responses เพิ่มขึ้น อาจแสดงว่าปริมาณคำขอหรือ concurrency เปลี่ยนไป ส่วนการหมดเวลาอาจเกี่ยวข้องกับการเข้าถึงเครือข่าย ความหน่วงของระบบต้นทาง หรือ client timeout ที่สั้นเกินไป หากผู้ให้บริการตอบกลับสำเร็จ แต่คำขอของผู้ใช้ล้มเหลว สาเหตุอาจอยู่ที่การแยกวิเคราะห์ในแอปพลิเคชันหรือปัญหาของระบบปลายทางแทน

เปรียบเทียบอัตราความล้มเหลวและ latency ก่อนกับหลัง deployment และแยกผลลัพธ์ตามเวิร์กโหลดหรือสภาพแวดล้อม อย่าจัดกลุ่มตามค่าของข้อมูลลับหรือบันทึกข้อมูลนั้นเพื่อ “ตรวจสอบ” ว่าสองระบบใช้คีย์เดียวกันหรือไม่ หากต้องยืนยันว่าบริการใช้ข้อมูลรับรองใด ให้ตรวจสอบการอ้างอิงใน secret manager และการตั้งค่า deployment ผ่านช่องทางที่ได้รับอนุญาต

แยกและจำกัดข้อมูลรับรอง

คำแนะนำด้านความปลอดภัยของ sandbox จาก OpenAI แนะนำให้ใช้ compute ที่แยกจากกัน แยกสภาพแวดล้อมสำหรับเวิร์กโหลดที่ไม่ควรใช้ข้อมูลร่วมกัน และกำหนด OpenAI project เฉพาะให้กับแอปพลิเคชันหรือเวิร์กโหลด นอกจากนี้ยังแยก application API key ออกจาก executor environment key โดย executor environment key มีไว้สำหรับเชื่อมต่อสภาพแวดล้อม และไม่อนุญาตให้ดำเนินการ API อื่น ๆ คำแนะนำดังกล่าวระบุสิทธิ์เฉพาะสำหรับ Agents API sessions, inference และการจัดการ vault ให้สิทธิ์เฉพาะที่เวิร์กโหลดจำเป็นต้องใช้ ดู คำแนะนำด้านความปลอดภัยของ sandbox จาก OpenAI

เก็บ application key ไว้นอกสภาพแวดล้อมที่โค้ดซึ่ง agent สร้างขึ้นสามารถอ่านได้ อย่าฝังคีย์ไว้ในซอร์สโค้ด container images หรือ logs สำหรับข้อมูลรับรองของบุคคลที่สาม คำแนะนำระบุให้เก็บข้อมูลลับไว้นอกสภาพแวดล้อม และส่งให้ผ่านกลไกที่เชื่อถือได้ เช่น proxy หรือแนวทางที่ใช้ vault ตามความเหมาะสม ข้อมูลลับที่ถูกส่งเข้าไปในสภาพแวดล้อมยังคงเข้าถึงได้โดยโค้ดที่ทำงานอยู่ในนั้น ดังนั้นการส่งข้อมูลเข้าไปเพียงอย่างเดียวไม่ได้ทำให้โค้ดเข้าถึงข้อมูลนั้นไม่ได้

กำหนดขั้นตอนหมุนเวียนข้อมูลรับรอง

เขียนขั้นตอนต่อไปนี้และซักซ้อมก่อนเกิดเหตุ:

  1. เตรียมการ: ระบุเจ้าของข้อมูลรับรอง สิทธิ์ บริการที่ใช้ข้อมูลรับรอง และตำแหน่งใน secret manager ยืนยันว่าใครสามารถสร้าง นำไปใช้งาน และเพิกถอนข้อมูลรับรองได้
  2. เปลี่ยนข้อมูลรับรอง: สร้างข้อมูลรับรองใหม่โดยให้เฉพาะสิทธิ์ที่จำเป็น จัดเก็บไว้ใน secret manager ที่ได้รับอนุมัติ ไม่ใช่ใน ticket, แชต หรือ source repository
  3. นำไปใช้งาน: อัปเดตเวิร์กโหลดที่เกี่ยวข้องผ่านกระบวนการ release ตามปกติ หากอนุญาตให้ใช้ข้อมูลรับรองซ้อนทับกัน ให้คงข้อมูลรับรองเดิมไว้เฉพาะช่วงเวลาสั้นที่สุดที่จำเป็นต่อการตรวจสอบ
  4. ตรวจสอบ: ส่งคำขอที่มีความเสี่ยงต่ำ และตรวจสอบความสำเร็จ อัตราความล้มเหลว และล็อก ยืนยันว่าไม่มีบริการใดยังต้องพึ่งพาข้อมูลรับรองเดิม
  5. เพิกถอนและทบทวน: เพิกถอนข้อมูลรับรองเดิม หากสงสัยว่ามีการเปิดเผย ให้เร่งเพิกถอนและตรวจสอบเวิร์กโหลดกับล็อกที่ได้รับผลกระทบ แทนการรอจนถึงวันหมุนเวียนตามกำหนดปกติ

หากคำขอล้มเหลวทันทีหลังหมุนเวียนข้อมูลรับรอง ให้ตรวจสอบว่าบริการได้รับข้อมูลลับใหม่จริงหรือไม่ มีการรีสตาร์ตหรือรีเฟรชการเข้าถึงข้อมูลลับแล้วหรือยัง และข้อมูลรับรองใหม่มีสิทธิ์ที่ถูกต้องหรือไม่ อย่าแก้ปัญหาสิทธิ์ไม่เพียงพอด้วยการให้สิทธิ์แบบกว้างโดยไม่ยืนยันก่อนว่าต้องดำเนินการใด

เช็กลิสต์เหตุขัดข้องฉบับย่อ

  • ปัญหาจำกัดอยู่ที่เวิร์กโหลด สภาพแวดล้อม หรือ release ใดรายการหนึ่งหรือไม่?
  • Status, latency, จำนวนครั้งที่ลองใหม่ และ request identifiers ที่ปลอดภัยแสดงรูปแบบใดหรือไม่?
  • ล็อกไม่มี authorization headers, คีย์ และเนื้อหาพรอมป์ต์หรือคำตอบที่ไม่จำเป็นใช่หรือไม่?
  • จัดเก็บและส่งข้อมูลรับรองผ่านช่องทางการจัดการข้อมูลลับที่ได้รับอนุมัติหรือไม่?
  • คุณเปลี่ยนและเพิกถอนข้อมูลรับรองได้โดยไม่ต้องเปลี่ยนบริการอื่นที่ไม่เกี่ยวข้องหรือไม่?

เป้าหมายไม่ใช่การบันทึกทุกอย่าง แต่คือการเก็บหลักฐานที่ปลอดภัยมากพอให้แยกแยะปัญหาข้อมูลรับรอง ปริมาณการใช้งาน เครือข่าย และแอปพลิเคชันได้ และหมุนเวียนข้อมูลรับรองได้อย่างรวดเร็วหากสงสัยว่ามีการเปิดเผย

คำถามที่พบบ่อย

เมื่อคำขอ OpenAI API ล้มเหลว ควรบันทึกข้อมูลอะไร?

บันทึก timestamp, operation ID แบบไม่เปิดเผยข้อมูลที่คุณกำหนดเอง, ประเภท endpoint, HTTP status หรือประเภทข้อผิดพลาดที่ผ่านการลบข้อมูลละเอียดอ่อน, เวลาที่ใช้, จำนวนครั้งที่ลองใหม่ และ provider request ID หากมี โดยทั่วไปอย่าบันทึก API keys, authorization headers หรือเนื้อหาคำขอและคำตอบฉบับเต็ม

ควรให้โค้ดที่ agent สร้างขึ้นเข้าถึง API key หรือไม่?

หลีกเลี่ยงการเปิดเผย application API key ให้โค้ดที่ไม่จำเป็นต้องใช้ คำแนะนำด้านความปลอดภัยของ sandbox จาก OpenAI ระบุให้เก็บ application key ไว้นอกสภาพแวดล้อม และอธิบายว่าโค้ดที่ agent สร้างขึ้นสามารถเข้าถึงไฟล์และข้อมูลรับรองที่มีอยู่ในสภาพแวดล้อมนั้นได้

ควรหมุนเวียนหรือเพิกถอน OpenAI API key เมื่อใด?

หมุนเวียนข้อมูลรับรองตามกำหนดการปฏิบัติงานที่วางไว้ และเพิกถอนทันทีหากสงสัยว่ามีการเปิดเผย ขั้นตอนที่ครบถ้วนต้องครอบคลุมการสร้างข้อมูลรับรองใหม่ การนำไปใช้งาน การตรวจสอบ และการเพิกถอนข้อมูลรับรองเดิม

เหตุใดคำขอจึงอาจล้มเหลวหลังหมุนเวียนข้อมูลรับรอง?

เวิร์กโหลดอาจยังใช้ข้อมูลลับเก่าหรือข้อมูลลับที่แคชไว้ อาจยังไม่ได้รีเฟรชการตั้งค่า หรือข้อมูลรับรองใหม่อาจขาดสิทธิ์ที่จำเป็น ตรวจสอบการอ้างอิงข้อมูลลับที่นำไปใช้งานและสิทธิ์ที่จำเป็น โดยไม่บันทึกตัวข้อมูลรับรองเอง

บทความที่เกี่ยวข้อง

Guides

ปกป้อง OpenAI API Keys สำหรับการคัดแยกคำร้องฝ่ายบริการลูกค้า

แนวทางรักษาความปลอดภัยเชิงปฏิบัติสำหรับใช้ OpenAI ในการคัดแยกคำร้องฝ่ายบริการลูกค้า: ปกป้อง API keys ปกปิดข้อมูลในล็อก จำกัดสิทธิ์ หมุนเวียนข้อมูลรับรอง และกำหนดให้มนุษย์อนุมัติ

阅读全文 →

Guides

วิธีวิเคราะห์ข้อผิดพลาด OpenAI API ด้านการยืนยันตัวตน การจำกัดอัตรา คำขอหมดเวลา และการตอบกลับผิดรูปแบบอย่างปลอดภัย

คู่มือเชิงปฏิบัติที่คำนึงถึงความเป็นส่วนตัว สำหรับวิเคราะห์ข้อผิดพลาดด้านการยืนยันตัวตน การจำกัดอัตรา คำขอหมดเวลา และการตอบกลับผิดรูปแบบของ OpenAI API โดยไม่เปิดเผยข้อมูลรับรองหรือข้อมูลผู้ใช้

阅读全文 →

Guides

ตั้งค่า Cline เพื่อวิเคราะห์เหตุขัดข้องของ API

ตั้งค่าเซสชัน Cline SDK เพื่อวิเคราะห์เหตุขัดข้องของ API เลือกการตั้งค่ารันไทม์ที่ไม่ขึ้นกับผู้ให้บริการ และแก้ปัญหาจากสัญญาณความผิดปกติที่สังเกตได้

阅读全文 →

Guides

วิเคราะห์ปัญหา OpenAI API ในระบบตอบคำถามจากเอกสาร

คู่มือแก้ปัญหาการยืนยันตัวตน การจำกัดอัตราคำขอ การหมดเวลา และคำตอบที่อ้างอิงแหล่งข้อมูลไม่ถูกต้อง

阅读全文 →