ข้ามไปยังเนื้อหา

Harness Engineering ให้ AI ทำงานต่อได้ในขอบเขตที่ตรวจสอบได้

จากแนวคิดใน Google Antigravity สู่ตัวอย่างทดลองนำเข้าลูกค้าเข้า ERP
22 พฤศจิกายน ค.ศ. 2026 โดย
Tomz

สมมติว่าคุณให้ AI ช่วยแก้โปรแกรมนำเข้ารายชื่อลูกค้าเข้า ERP ตอนเช้ากลับมาเจอข้อความว่า "ทดสอบผ่านแล้ว" แต่ยังไม่รู้ว่ามันใช้ฐานข้อมูลไหน แก้กฎจับคู่ลูกค้าซ้ำหรือเปล่า และลองส่งข้อมูลออกไปที่ใดบ้าง คุณจะอนุญาตให้นำเข้าจริงจากหลักฐานเท่านี้ไหม

โจทย์นี้ทำให้ผมสนใจ Harness Engineering หรือการออกแบบระบบเครื่องมือและการควบคุมรอบ AI เพื่อให้งานเดินต่อได้ในขอบเขตที่กำหนด พร้อมหลักฐานให้คนตรวจ การเลือกโมเดลยังมีผล แต่ก่อนปล่อยให้มันทำงานนานขึ้น เราควรตอบให้ได้ว่ามันแตะอะไรได้ และเมื่อไรต้องหยุด

Google Codelab เรื่อง Practical Harness Engineering with Google Antigravity อธิบายความสัมพันธ์ระหว่างโมเดลกับเครื่องมือรอบตัว และชวนใช้ sandbox กับ hooks ควบคุมการทำงาน ผมใช้กรณี ERP สมมติต่อไปนี้เพื่ออธิบายวิธีนำแนวคิดมาวางงานของทีม

โมเดลคิด ส่วนระบบรอบตัวกำหนดทางลงมือ

Harness คือระบบที่เชื่อมโมเดลเข้ากับเครื่องมือและจัดการวงจรทำงาน เช่น ส่งคำขออ่านไฟล์ เรียกโปรแกรม เก็บสถานะ และนำผลกลับให้โมเดลคิดต่อ เมื่อออกแบบส่วนนี้ เราจึงกำลังออกแบบสิทธิ์ วิธีตรวจงาน และเงื่อนไขหยุดด้วย

สำหรับงานนำเข้าลูกค้า ผมจะกำหนดผลส่งมอบให้ชัดว่า "แก้ตัวนำเข้าและสร้างรายงานทดลองนำเข้า" พร้อมระบุว่าให้ใช้ข้อมูลจำลองและฐานข้อมูลทดสอบที่สร้างใหม่ได้ งานเสร็จเมื่อมีรายการที่จะสร้าง รายการที่จะปรับ และข้อผิดพลาดให้ตรวจ ส่วนการเขียนข้อมูลจริงเป็นอีกการตัดสินใจหนึ่ง

ถ้าเขียนเพียงว่า "นำเข้าลูกค้าให้สำเร็จ" โมเดลอาจตีความว่าต้องแก้ข้อมูลต้นทางจนผ่าน หรือขยายสิทธิ์เพื่อเข้าถึงระบบจริง ความหมายของคำว่าเสร็จจึงต้องครอบคลุมสิ่งที่อนุญาตให้ทำระหว่างทางด้วย

คำสั่งในไฟล์กับขอบเขตสิทธิ์ทำหน้าที่ต่างกัน

ผมจะใช้ AGENTS.md เป็นแผนที่สั้น ๆ ว่าโครงการนี้ทำอะไร กฎใดต้องอ่าน และจะตรวจงานอย่างไร ส่วนงานเฉพาะ เช่น ตรวจข้อมูลลูกค้าซ้ำ ค่อยแยกเป็น skill ซึ่งเป็นชุดคำแนะนำและทรัพยากรสำหรับงานนั้น เอกสาร Antigravity อธิบายว่า skills มีไฟล์ SKILL.md และโหลดรายละเอียดเมื่อเกี่ยวข้องกับงาน คู่มือ Agent skills

การเขียนว่า "ห้ามแตะ production" ในเอกสารยังไม่ใช่การตัดสิทธิ์ production ในตัวอย่างนี้ ผมจะไม่ให้สภาพแวดล้อมทำงานมีรหัสผ่านฐานข้อมูลจริงตั้งแต่ต้น และจำกัดเครื่องมือฐานข้อมูลให้ชี้ได้เฉพาะฐานทดสอบที่กำหนด

ตัวอย่างการวางมาตรการแต่ละชั้นสำหรับงานนำเข้าลูกค้าสมมติ
ชั้นของงานสิ่งที่กำหนดสิ่งที่ยังต้องตรวจ
คำแนะนำAGENTS.md ชี้เกณฑ์งาน ส่วน skill อธิบายการจับคู่ลูกค้าAI อ่านและใช้กฎถูกบริบทหรือไม่
สิทธิ์และ sandboxเข้าถึงเฉพาะไฟล์และฐานทดสอบที่อนุญาตลองข้ามขอบเขตแล้วถูกปฏิเสธจริงหรือไม่
จุดตรวจเครื่องมือหยุดคำขอที่อยู่นอกขอบเขตก่อนลงมือครอบคลุมช่องทางเรียกใช้และกรณีผิดพลาดหรือไม่
การรับมอบคนตรวจรายงานผลและกฎทางธุรกิจหลักฐานตอบเรื่องข้อมูลที่ถูกต้องได้แค่ไหน

เอกสาร sandbox ของ Antigravity ระบุการแยกคำสั่งที่ระดับระบบปฏิบัติการ โดยควบคุมไฟล์และเครือข่าย รายละเอียดขึ้นกับรุ่น ระบบปฏิบัติการ และบัญชีที่ใช้ จึงควรตรวจการตั้งค่าที่ใช้งานจริงก่อนนำตัวอย่างไปใช้ คู่มือ Terminal sandbox

ในกรณีสมมตินี้ ผมจะลองอ่านไฟล์ลับจำลองที่อยู่นอกขอบเขต และลองเชื่อมต่อปลายทางทดสอบที่ไม่อนุญาต ต้องเห็นว่าทั้งคู่ถูกปฏิเสธก่อนเริ่มงาน หากให้ agent เรียก API ผ่านเครื่องมืออีกช่องทางหนึ่ง ก็ต้องตรวจสิทธิ์ของช่องทางนั้นแยกด้วย การจำกัด terminal ไม่ได้พิสูจน์ว่าทุกเครื่องมือมีขอบเขตเดียวกัน

ให้ผ่าน ถามคน หรือปฏิเสธ

Hook คือจุดที่ระบบเรียกขั้นตอนเพิ่มเติมตามเหตุการณ์ เอกสาร Antigravity ระบุว่า PreToolUse ทำงานก่อนเครื่องมือถูกเรียก และส่งผลตัดสินใจกลับเพื่อควบคุมคำขอนั้นได้ คู่มือ Hooks

สำหรับตัวนำเข้าสมมติ ผมจะให้การอ่านข้อมูลจำลองและทดสอบในฐานชั่วคราวทำต่อได้ ให้การเพิ่มปลายทางเชื่อมต่อต้องมีคนพิจารณา และปฏิเสธคำขอเข้าฐานจริง ส่วนคำสั่งที่เรียกสคริปต์อื่นต้องดูด้วยว่าสคริปต์จะทำอะไร การเห็นชื่อคำสั่งที่คุ้นเคยยังไม่พอจะให้ผ่าน

Codelab เสนอให้ใช้ตัวจำแนกด้วย AI ช่วยประเมินคำขอที่ตีความยาก ต้นฉบับภาษาอังกฤษ ผมจะใช้มันเป็นผู้ช่วยคัดกรองภายในขอบเขตที่ตัดไว้แล้ว เพราะตัวจำแนกก็อ่านบริบทผิดได้ คำสั่งในไฟล์ที่กำลังตรวจอาจพยายามชักนำคำตอบได้เช่นกัน

สำหรับงานนี้ ถ้าตัวจำแนกหมดเวลา ตอบอ่านไม่ได้ หรือมีข้อมูลไม่พอตัดสินใจ ผมจะกำหนดให้หยุดไว้ก่อนหรือส่งให้คนตรวจ วิธีนี้เรียกว่า fail closed ต้องทดลองกรณีล้มเหลวด้วย ไม่ใช่ตรวจเฉพาะตอนที่ตัวจำแนกตอบสำเร็จ และ AI ไม่ควรแก้กฎหรือโปรแกรมจุดตรวจที่ควบคุมงานตัวเองได้

ถ้าคนต้องตัดสินใจ ให้แจ้งว่ากำลังจะทำอะไร กับฐานข้อมูลหรือปลายทางใด เปลี่ยนข้อมูลส่วนไหน และขอสิทธิ์นานเท่าไร การอนุมัติหนึ่งรอบควรผูกกับการกระทำนั้น เมื่อคำสั่งหรือไฟล์เปลี่ยนไปก็ต้องตรวจใหม่

ทดลองนำเข้าต้องให้เห็นมากกว่าคำว่าผ่าน

คำว่า dry run ในตัวอย่างนี้หมายถึงการอ่านข้อมูลและรายงานผลที่คาดว่าจะเกิด โดยไม่เขียนลงฐานจริง ถ้าต้องทดสอบการเขียน ให้ทำในฐานชั่วคราวที่ทิ้งแล้วสร้างใหม่ได้ เพราะโปรแกรมที่ตั้งชื่อว่า dry run อาจยังส่งอีเมล เรียกบริการภายนอก หรือเปลี่ยนไฟล์ได้ ต้องตรวจผลข้างเคียงเหล่านี้ด้วย

ผมจะให้รายงานแยกแถวที่จะสร้างใหม่ แถวที่จะปรับ แถวที่ข้าม และแถวที่ต้องแก้ พร้อมรหัสจากไฟล์ต้นทางที่ตามกลับได้ ทุกแถวต้องอยู่ในสถานะใดสถานะหนึ่ง และต้องระบุกฎที่ใช้จับคู่ ถ้าเลขประจำตัวผู้เสียภาษีซ้ำแต่สาขาต่างกัน ให้เจ้าของข้อมูลตัดสินตามกฎที่ตกลงไว้ก่อน ไม่ให้ AI เลือกรวมเองเพื่อทำให้จำนวนข้อผิดพลาดลดลง

จากนั้นทดสอบนำเข้าซ้ำในฐานชั่วคราวเพื่อดูว่าเกิดลูกค้าซ้ำหรือไม่ ลองหยุดกลางทางแล้วเริ่มใหม่ และดูว่าข้อมูลอ้างอิงยังชี้ถูกคน ถ้าการทดสอบผ่านแต่ชุดทดสอบไม่เคยมีลูกค้าหลายสาขา ผลนั้นก็ยังไม่ตอบกรณีนี้ การทดสอบผ่านยืนยันเฉพาะเงื่อนไขที่ตรวจ ไม่ได้รับรองว่ากฎทางธุรกิจถูกต้องทั้งหมด

ภาพวาดจุดตรวจสามขั้นในการซ้อมนำเข้า ERP ได้แก่ จับคู่ข้อมูล ตรวจข้อมูลซ้ำ และเทียบผลกับต้นทาง พร้อมวนกลับแก้ไขและให้คนอนุมัติก่อนนำเข้าจริง
ตัวอย่างจุดตรวจสำหรับการซ้อมนำเข้า: 1 จับคู่ข้อมูล 2 ตรวจข้อผิดพลาด เช่น รายการซ้ำ 3 เทียบผลกับต้นทาง หากไม่ผ่านให้แก้แล้วซ้อมใหม่ ส่วนการนำเข้าจริงต้องผ่านการทบทวนและอนุมัติของผู้รับผิดชอบ ป้าย DRY RUN หมายถึงการทดลองนำเข้า ส่วน REVIEW คือการทบทวน ภาพประกอบแนวคิด

ก่อนปล่อยให้ทำงานรอบแรก

  1. เขียนผลส่งมอบให้คนตรวจได้ พร้อมระบุข้อมูลและระบบที่อนุญาตให้แตะ
  2. ให้สิทธิ์เฉพาะฐานทดสอบ และทดลองว่าคำขอนอกขอบเขตถูกปฏิเสธจริง
  3. กำหนดสิ่งที่ทำต่อได้ สิ่งที่ต้องถาม และสิ่งที่ห้าม รวมถึงเมื่อตัวตรวจล้มเหลว
  4. กำหนดเวลาหรือค่าใช้จ่ายสูงสุด และให้หยุดเมื่อพบข้อกำหนดขัดกันหรือจำเป็นต้องขยายสิทธิ์
  5. ให้ส่งรายงานผลต่าง บันทึกการทดสอบ และเรื่องที่ยังตอบไม่ได้ ก่อนพิจารณาขั้นต่อไป

สำหรับงานนำเข้าลูกค้ารอบนี้ คำถามรับมอบที่ผมจะใช้คือ "ข้อมูลแต่ละแถวจะไปอยู่ที่ไหน ใช้กฎใดตัดสิน และใครยืนยันกฎนั้นแล้ว" ถ้ารายงานยังตอบไม่ได้ งานถัดไปคือหาหลักฐานเพิ่มในฐานทดสอบ การอนุญาตให้เขียนลงระบบจริงต้องรอคำตอบที่ตรวจได้

แชร์บทความ

FacebookX
สร้างทีม High Performance ให้กล้าบอกปัญหาและส่งมอบงานได้
บทเรียนจาก Project Aristotle และ FlowHR ผ่านเคสทดสอบระบบ ERP ที่ทีมต้องตัดสินใจก่อนขึ้นจริง