เอเจนต์-วิชั่น: กรอบการตรวจสอบภาพสำหรับ UI ที่ขับเคลื่อนด้วยเอเจนต์
agent-vision, โดย Amitpatole, เป็นเซิร์ฟเวอร์ MCP และกรอบงานที่ให้ความสามารถในการตรวจสอบภาพแก่เอเจนต์ AI มันจับภาพหน้าเว็บที่เรนเดอร์และส่งคืนรายงานที่มีโครงสร้างเพื่อให้เอเจนต์สามารถเปรียบเทียบ UI ที่ตั้งใจไว้กับการเรนเดอร์จริง โครงการนี้เปิดเผย API ที่ไม่ขึ้นกับผู้ให้บริการและจุดเชื่อมต่อการรวมเพื่อให้เข้ากับท่อส่งของเอเจนต์ มันสามารถรวมเข้ากับแบ็คเอนด์วิชันที่โฮสต์หรือทำงานในท้องถิ่นสำหรับการตรวจสอบแบบออฟไลน์ นักพัฒนาและวิศวกรอัตโนมัติใช้มันเมื่อพวกเขาต้องการข้อเสนอแนะแบบอ่านได้โดยเครื่องเกี่ยวกับผลลัพธ์ของ UI ในระหว่างการพัฒนาโดยขับเคลื่อนด้วยเอเจนต์.
คุณสามารถใช้มันทำงานอะไรได้บ้าง?
เครื่องมือนี้ให้ช่องทางการตอบรับที่มีโครงสร้างเพื่อให้ตัวแทนสามารถประเมินผลลัพธ์ UI ที่แสดงออกมาเทียบกับโค้ดที่สร้างมันขึ้นมา มันช่วยระบุข้อผิดพลาดในการจัดเรียงและปัญหาด้านการเข้าถึง และแสดงข้อผิดพลาดในคอนโซล JavaScript โดยส่งคืนปัญหาในรูปแบบที่เครื่องอ่านได้ การใช้งานทั่วไปรวมถึงการตรวจสอบภาพอัตโนมัติในระหว่างการสร้าง UI แบบวนซ้ำและการผลิตสัญญาณความล้มเหลวที่สามารถนำไปใช้ได้ซึ่งตัวแทนหรือระบบ CI สามารถใช้ได้
ผลลัพธ์สำหรับการยึดโยง UI มีความแม่นยำแค่ไหน?
เครื่องมือนี้พึ่งพา เรขาคณิต DOM และ OCR เพื่อผลิตพิกัดขององค์ประกอบที่สามารถตรวจสอบได้กับโครงสร้างหน้า ซึ่งช่วยลดการหลอกลวงตำแหน่งเมื่อเปรียบเทียบกับวิธีการที่ใช้เฉพาะภาพโดยไม่มีข้อจำกัด ผลลัพธ์รวมถึงพิกัดที่เหมาะสำหรับการคลิกหรือเน้นที่โปรแกรมได้และความคิดเห็นเชิงความหมายที่จับคู่การวิจารณ์ที่มีโมเดลรองรับกับเป้าหมายพิกเซลที่สามารถตรวจสอบได้ ทำให้ตัวแทนมีทั้งคำอธิบายและจุดปฏิสัมพันธ์ที่แม่นยำ
ข้อกำหนดในการป้อนข้อมูลและการทำงานที่มีผลต่อการนำไปใช้คืออะไร?
ไลบรารีหลักต้องการสภาพแวดล้อม Python และใช้ Playwright สำหรับการเรนเดอร์เบราว์เซอร์ ดังนั้นการปรับใช้ต้องสนับสนุนการเรนเดอร์แบบไม่มีหัวเซิร์ฟเวอร์ MCP จะรวมเข้ากับโฮสต์ที่ดำเนินการตามโปรโตคอล Model Context และเอกสารลูกค้าที่เข้ากันได้ วิศวกรสามารถรวมการตรวจสอบภาพเข้ากับการทำงานอย่างต่อเนื่องผ่าน API ไลบรารี, อินเทอร์เฟซบรรทัดคำสั่ง, REST endpoints หรือโหมดเซิร์ฟเวอร์ MCP
มันต้องการความรู้ทางเทคนิคเพื่อให้ได้ผลลัพธ์ที่มีประโยชน์หรือไม่?
เครื่องมือนี้มุ่งเป้าไปที่การทำงานของนักพัฒนามากกว่าการตรวจสอบอย่างรวดเร็วที่ไม่ใช่ทางเทคนิค; การตั้งค่าและการรวมตัวแทนต้องการความคุ้นเคยกับเครื่องมืออัตโนมัติและโปรโตคอลของตัวแทน การมุ่งเน้นการแก้ไขตนเองช่วยให้ตัวแทนตรวจจับข้อผิดพลาดที่เกิดขึ้นซ้ำ แต่ทีมต้องออกแบบวงจรการวนซ้ำที่ใช้รายงานที่เครื่องอ่านได้ สำหรับองค์กรที่มีทรัพยากรการพัฒนา มันช่วยลดการตรวจสอบด้วยมือโดยการเปลี่ยนความล้มเหลวทางภาพให้เป็นสัญญาณที่โปรแกรมได้
ตัวเลือกที่มุ่งเป้าไปยังทีมพัฒนาที่ต้องการการตรวจสอบ UI ที่สามารถตรวจสอบได้
agent-vision เหมาะสำหรับทีมวิศวกรรมที่ต้องการการยืนยันเชิงโปรแกรมว่าหน้าต่างที่สร้างขึ้นแสดงผลตามที่ตั้งใจไว้ เนื่องจากมันแปลงความล้มเหลวทางสายตาเป็นสัญญาณความล้มเหลวที่อ่านได้โดยเครื่องสำหรับรอบอัตโนมัติ มันต้องการเวลาในการพัฒนาสำหรับการกำหนดค่าและการรวมเข้าด้วยกัน ดังนั้นจึงเหมาะที่สุดสำหรับโครงการที่ยอมรับการทำงานรวมเข้าล่วงหน้า สำหรับผู้เขียนตัวแทนที่ต้องการการตรวจสอบทางสายตาที่สามารถตรวจสอบได้ในระหว่างการสร้าง UI แบบวนซ้ำ มันเป็นโซลูชันที่มีจุดมุ่งหมายและมุ่งเน้นการพัฒนา
