LenserFight: แพลตฟอร์มที่เน้นท้องถิ่นสำหรับการประเมินเอเจนต์ AI และคำสั่ง
LenserFight โดย Conectlens เป็นแพลตฟอร์มเปิดสำหรับการออกแบบและการประเมินผล AI agents, reusable prompts และ workflows การประเมินผล มันทำหน้าที่เป็นห้องปฏิบัติการ AI ที่ให้ทีมสามารถสร้าง "Lenses" ที่มีเวอร์ชัน, รัน workflows กราฟที่ไม่มีวงจร และจัดกิจกรรมการประเมินผลที่ผสมผสานการให้คะแนนตามเกณฑ์กับการตัดสินของมนุษย์ เครื่องมือรวมถึงเซิร์ฟเวอร์ Model Context Protocol (MCP), ตัวเลือกการดำเนินการโมเดลในท้องถิ่น และสนามสาธารณะสำหรับบันทึกที่แชร์ ผู้ใช้เป้าหมายคือ นักพัฒนา AI, วิศวกร prompt และนักวิจัยที่มุ่งเน้นการประเมินผลที่สามารถทำซ้ำได้และการประเมินผลส่วนตัว.
แพลตฟอร์มอนุญาตให้คุณระบุและทำซ้ำงานอะไรบ้าง?
แพลตฟอร์มถือว่างานเป็น "เลนส์" ที่เป็นทางการ ซึ่งเป็นการระบุเวอร์ชันที่รวมการกระตุ้น, เกณฑ์การประเมิน, และสคีมาที่เลือกได้สำหรับผลลัพธ์ที่มีโครงสร้าง เลนส์ ทำหน้าที่เป็นกรณีทดสอบที่นำกลับมาใช้ใหม่ได้เพื่อให้ทีมสามารถดำเนินการตามคำสั่งที่เหมือนกันในโมเดลต่างๆ และรักษาเวอร์ชันสำหรับการตรวจสอบ การออกแบบนี้สนับสนุนเอกสารการประเมินที่มีโครงสร้างแทนที่จะเป็นการกระตุ้นแบบสุ่ม ซึ่งช่วยเมื่อเปรียบเทียบผลลัพธ์ระหว่างการทำงานของโมเดลหรือทำซ้ำการทดลอง.
คะแนนการประเมินผลิตขึ้นและเปรียบเทียบกันอย่างไร?
เหตุการณ์การประเมินใช้โมเดลการให้คะแนนแบบคู่ โดยจับคู่การให้คะแนนเกณฑ์อัตโนมัติด้วยการลงคะแนนจากชุมชนเพื่อผลิตกระดานผู้นำสาธารณะและการจัดอันดับแบบ ELO การรวมกันนี้มีจุดมุ่งหมายเพื่อสร้างสมดุลระหว่างเมตริกเกณฑ์ที่เป็นวัตถุประสงค์กับการตัดสินของมนุษย์ที่มีคุณภาพ ความเชื่อถือได้ขึ้นอยู่กับการออกแบบเกณฑ์และการสุ่มของผู้ลงคะแนนมนุษย์ ดังนั้นการเปรียบเทียบจึงสามารถทำซ้ำได้เพียงเท่าที่เลนส์และบันทึกการดำเนินการที่บันทึกไว้ที่มาพร้อมกับแต่ละการทำงาน.
การป้อนข้อมูลและสภาพแวดล้อมการดำเนินการใดบ้างที่ได้รับการสนับสนุน?
เซิร์ฟเวอร์ MCP เปิดเผยเครื่องมือมากกว่าสามสิบรายการสำหรับการรวมเข้ากับลูกค้า Model Context Protocol และแพลตฟอร์มสนับสนุนการจัดการโมเดลในท้องถิ่นผ่าน Ollama, vLLM, และ llama.cpp ลูกค้าแบบเว็บรวมเข้าผ่าน OAuth 2.1 PKCE ตัวเลือกเหล่านั้นทำให้ทีมสามารถดำเนินการทดลองที่เชื่อมต่อกับคลาวด์และออฟไลน์ได้ โดยทำให้สามารถเปรียบเทียบการทำงานของผู้ช่วยในท้องถิ่นและระยะไกลเคียงข้างกันผ่านจุดสิ้นสุด MCP เดียว.
แพลตฟอร์มเข้ากับการทำงานที่ใส่ใจความเป็นส่วนตัวได้อย่างไร?
โครงการนี้มีท่าทีที่เน้นท้องถิ่นเป็นอันดับแรก โดยเปิดใช้งานการทำงานของโมเดลออฟไลน์สำหรับการเปรียบเทียบและความเป็นส่วนตัวของข้อมูล ในขณะเดียวกันก็เสนอพื้นที่ชุมชนสาธารณะสำหรับบันทึกและการสาธิตร่วมกัน โค้ดเบสเป็นโอเพนซอร์สบน GitHub และโครงการอยู่ในระยะเบต้าทดลอง ดังนั้นองค์กรต่างๆ ควรวางแผนสำหรับการพัฒนาอย่างต่อเนื่อง การควบคุมชุมชนของ Battles และระยะการตั้งค่าทางเทคนิคก่อนที่จะพึ่งพามันสำหรับการประเมินอย่างเป็นทางการ.
แพลตฟอร์มเหมาะสำหรับทีมที่มีความเชี่ยวชาญทางเทคนิคที่ต้องการการเปรียบเทียบโมเดลที่สามารถทำซ้ำได้และควบคุมในท้องถิ่น
แพลตฟอร์มเป็นตัวเลือกที่ใช้งานได้จริงสำหรับนักพัฒนา AI และนักวิจัยที่ยอมรับค่าใช้จ่ายในการกำหนดค่าเพื่อให้ได้ผลลัพธ์การทดสอบที่มีเวอร์ชันและการควบคุมการดำเนินการในท้องถิ่น สถานะเบต้าทดลองและโมเดลการประเมินที่ขับเคลื่อนโดยชุมชนหมายความว่าผลลัพธ์ต้องการการออกแบบและการปรับแต่งเกณฑ์อย่างรอบคอบเพื่อให้เชื่อถือได้ สำหรับทีมที่ให้ความสำคัญกับการเปรียบเทียบที่สามารถทำซ้ำได้และการรันโมเดลในท้องถิ่น แพลตฟอร์มมอบกรอบการประเมินที่ชัดเจน; สำหรับผู้ใช้ที่ไม่ใช่ทางเทคนิค ความซับซ้อนในการตั้งค่าอาจจำกัดการใช้งานในทันที
