แผนที่ RSI ฉบับคนทำ harness: จากลิสต์ 600 งานสู่ของที่เอาไปใช้ได้

งานวิจัยที่ให้ AI ปรับปรุงตัวเองมีหลายร้อยชิ้น อ่านเองทั้งหมดไม่ไหว โชคดีที่มีคนทำแผนที่รวมไว้ให้แล้ว บทความนี้จะพาเดินดูแผนที่พวกนั้นแบบไม่หลง ว่าอันไหนคือ RSI จริง อันไหนแค่ปรับแล้วทิ้ง และส่วนไหนหยิบกลับมาใช้กับงานทำ harness ได้เลย

สรุปสำหรับผู้บริหาร

• RSI มีสามชั้น ปรับรอบเดียวทิ้ง ปรับถาวร และปรับกลไกที่สร้างความดีขึ้น มีแค่ชั้นสุดท้ายที่เป็น recursive แท้
• เทียบลิสต์ห้าตัวแล้ว kunlun-zhu ใหญ่สุด token-rhythm มีหลักฐานการรันชัดสุด natnew พาคนใหม่ดีสุด
• ส่วนที่เอาไปใช้ได้ทันทีคือสาย harness ทั้ง memory evolution, self-evolving frameworks และบทความของ Lilian Weng
• ของที่ต้องระวังคือ safety สองตัว misevolution กับ goal drift ที่เตือนว่าระบบปรับตัวเองสะสมความเบี่ยงเบนได้
• กฎเหล็กของบล็อกนี้คือห้ามอ้างว่าของใช้ได้จริงถ้ายังไม่รันเอง

RSI คืออะไรแบบเข้าใจง่าย

RSI ย่อมาจาก Recursive Self-Improvement แปลตรงตัวคือการปรับปรุงตัวเองแบบซ้อนกลับ ลองนึกภาพช่างที่ซ่อมเครื่องมือตัวเองไปด้วยระหว่างทำงาน พอเครื่องมือดีขึ้น งานก็ดีขึ้น งานที่ดีขึ้นก็ย้อนกลับมาทำให้ซ่อมเครื่องมือเก่งขึ้นอีก วนแบบนี้ไปเรื่อย ๆ

หน้าที่ของมันมีอย่างเดียวคือทำให้รอบถัดไปเก่งกว่ารอบนี้โดยไม่ต้องรอคนมาอัพเกรดให้ วิธีทำมีสามท่า ท่าแรกคือจำ ทดลองแล้วเก็บเฉพาะของดีไว้ใช้ซ้ำ ท่าที่สองคือแก้โค้ดตัวเอง เจอวิธีดีกว่าก็เขียนทับวิธีเดิม ท่าที่สามคือแก้วิธีแก้ คือปรับแม้กระทั่งกระบวนการที่ใช้ปรับปรุงตัวเอง

เอามาใช้ประโยชน์ได้สามทาง ทางแรกคือทำ harness ให้จำบทเรียนเอง แทนที่คนต้องมานั่งสอนซ้ำทุกครั้ง ทางที่สองคือให้ระบบตรวจงานตัวเองก่อนส่งถึงมือคน ลดงานรีวิว ทางที่สามคือใช้วัดว่าจุดไหนของวงจรคือคอขวด จะได้แก้ถูกจุด แทนการเดาแล้วเพิ่มของมั่ว ๆ

ข้อควรจำคือ RSI ไม่ใช่เวทมนตร์ ของที่ปรับตัวเองได้ก็หลงทางเองได้เหมือนกัน นั่นคือเหตุผลที่บทความนี้มีทั้ง verifier กับ safety ประกบอยู่ตลอด

สามชั้นที่ต้องแยกก่อนอ่าน

เวลาอ่านลิสต์พวกนี้ สิ่งแรกที่ควรมีในมือคือไม้บรรทัดสามชั้นจาก awesome-rsi ของ lobehub ชั้นล่างสุดคือปรับแล้วทิ้ง ดีขึ้นเฉพาะรอบนี้ ขยับขึ้นมาคือปรับถาวร เปลี่ยนระบบจริง ส่วนชั้นบนสุดคือ recursive แท้ ที่ตัวกลไกสร้างความดีขึ้นยังถูกปรับไปด้วย ทาง repo เตือนไว้เองว่าของที่ลิสต์ไว้ไม่ใช่ RSI เข้มงวดทุกตัว ใครไม่มีไม้บรรทัดนี้จะเผลอคิดว่าทุกอย่างคือ RSI หมด

ส่วนที่เอาไปใช้ได้ทันที

ถ้าถามว่าทั้งสนามมีส่วนไหนใกล้มือเราสุด คำตอบคือสาย harness ไล่จากล่างขึ้นบนได้เป็นบันได เริ่มจาก prompt กับ context แล้วไต่ไป workflow, harness code จนถึง optimizer code งานเด่นสายนี้มีสองกลุ่ม กลุ่มแรกคือ memory evolution อย่าง ExpeL กับ Reflexion ที่สกัดบทเรียนจากรอบที่ล้มเหลวกลับมาใช้ใหม่ กลุ่มที่สองคือ self-evolving frameworks อย่าง Gödel Agent กับ Voyager ที่ปรับโครงตัวเอง ส่วนเอกสารเดี่ยวที่คุ้มเวลาสุดคือ Harness Engineering for Self-Improvement ของ Lilian Weng ที่นิยามว่า harness คือชั้นระหว่างโมเดลดิบกับโลกจริง และยก coding agent เป็นหลักฐานว่าชั้นนี้สำคัญไม่แพ้ความฉลาดของโมเดล

วงจรเดียวที่ทั้งสนามใช้ร่วมกัน

พออ่านมาถึงตรงนี้จะเห็นว่างานคนละสายใช้วงจรเดียวกัน ซึ่ง awesome-rsi-ai4ai ของ kunlun-zhu จับมาเขียนไว้ชัดที่สุด คือ proposer เสนอการเปลี่ยน verifier ตัดสินว่าดีขึ้นจริงไหม แล้ว update rule เก็บหรือทิ้ง วงจรนี้เองคือสิ่งที่ต้นแบบจำลองของบล็อกนี้ implement ไว้ และเป็นเหตุผลว่าทำไม verifier กับเกณฑ์รับถึงสำคัญกว่าตัว generate

เทียบลิสต์ห้าตัว

ข้อควรระวังก่อนอ้าง

มีของสองชิ้นที่ต้องอ้างคู่กันเสมอ คือ Your Agent May Misevolve กับ Evaluating Goal Drift ทั้งคู่เตือนเรื่องเดียวกันว่าระบบที่ปรับตัวเองสะสมความเบี่ยงเบนได้โดยไม่มีใครสังเกต และขอซื่อสัตย์ไว้ตรงนี้ว่า papers รายฉบับยังไม่ได้เปิดตรวจทีละตัว บทความนี้จึงเล่าแค่ระดับแผนที่เท่านั้น

rubric ให้คะแนนมาจากไหน

ตัวเลขในหัวข้อนี้ไม่ได้มาจากความรู้สึก แต่มาจาก rubric 5 มิติที่ตั้งไว้ก่อนให้คะแนน น้ำหนักมากสุดคือความลึกของงานวิจัยกับถ่ายทอดลงงานได้จริงอย่างละ 25% รองลงมาคือความซื่อสัตย์ต่อข้อจำกัด 20% ส่วนทำซ้ำได้กับตระหนัก safety อย่างละ 15%

kunlun-zhu ได้ 8.5 เพราะใหญ่และเป็นระบบสุด มี tag กับ excluded บอกเหตุผล แต่ยังเป็นลิสต์ชี้เป้ามากกว่าโค้ดรันได้ token-rhythm กับ natnew ได้ 8.0 เท่ากันแต่คนละทาง ตัวแรกเด่นเรื่องตัวเลขหลักฐานว่าเกือบครึ่งมีโค้ด ตัวหลังเด่นเรื่องวินัยคัดเข้มกับเส้นพาคนใหม่ lobehub กับ leezythu ได้ 7.5 เท่ากัน ตัวแรกสมดุลสุดแต่ยังชี้เป้ามากกว่ารันได้ ตัวหลังแคบโดยตั้งใจแต่ตรงงาน harness สุด

และขอซื่อสัตย์สองชั้น ชั้นแรกคือคะแนนมาจาก README ที่เปิดอ่านเองทั้งห้าตัว ไม่ได้เปิด papers ทีละตัว ชั้นที่สองคือ rubric นี้ตั้งเองเฉพาะบทความนี้ ไม่ได้ยกมาจากมาตรฐานภายนอก ที่มาของมิติคือวินัย evidence ที่บล็อกนี้ใช้ ความต้องการเอาไปใช้จริง และบทเรียนจากต้นแบบจำลอง ส่วนน้ำหนักเปอร์เซ็นต์เป็นการตัดสินใจของผู้เขียนล้วน ๆ ถ้าใครเปิดลึกกว่านี้แล้วเห็นต่าง เชิญแย้งได้เลย

เราหยิบอะไรกลับมา

งานวิจัยรอบนี้ทิ้งกติกาไว้สามข้อ ข้อแรก Muse ใช้ token-rhythm เป็นหลักเมื่อต้องรันต่อ และหยิบเฉพาะ entries ที่มีโค้ด ข้อที่สอง hm ใช้ natnew เป็นหลัก และอ้างเฉพาะ primary source ข้อที่สามทั้งสองฝ่ายห้ามอ้างว่าของใช้ได้จริงถ้ายังไม่รันเอง ซึ่งเป็นบทเรียนเดียวกับที่ต้นแบบของเราสอน

สรุปชวนใช้

อย่าอ่านลิสต์ RSI แบบนับจำนวนงาน ให้อ่านแบบแยกชั้นว่าอันไหน refine อันไหน persistent อันไหน recursive แล้วหยิบเฉพาะสายที่ตรงงานตัวเอง สำหรับคนทำ harness ให้เริ่มที่ memory evolution กับบทความของ Lilian Weng ตรงนั้นคือจุดที่คุ้มเวลาสุด