กล้อง Ego – อุปกรณ์สเตอริโอวิชั่นแบบสวมศีรษะสำหรับเก็บรวบรวมข้อมูลเพื่อการเรียนรู้ของหุ่นยนต์
โมดูลกล้องสองตาแบบสวมศีรษะที่สร้างขึ้นโดยเฉพาะสำหรับการบันทึกข้อมูลการสาธิตของมนุษย์ โดยจะส่งข้อมูลเซ็นเซอร์ดิบแบบศูนย์กลางตนเองที่ซิงโครไนซ์กับฮาร์ดแวร์และปรับเทียบจากโรงงานแล้ว เพื่อขับเคลื่อนการเรียนรู้แบบเลียนแบบและกระบวนการ AI ที่ผสานรวมเข้ากับร่างกายมนุษย์
ปัญหาคอขวดด้านข้อมูลที่ส่งผลกระทบต่อ AI ทางกายภาพ
ภายในปี 2026 ความเห็นพ้องต้องกันทั่วทั้งอุตสาหกรรมหุ่นยนต์ได้เกิดขึ้นแล้วว่า ข้อมูลเป็นอุปสรรคสำคัญที่ขัดขวางการใช้งาน AI ในเชิงกายภาพอย่างมีประสิทธิภาพ โมเดลภาษาขนาดใหญ่ฝึกฝนด้วยโทเค็นข้อความหลายล้านล้านรายการ แต่ระบบ AI ที่มีร่างกายจริงกลับเข้าถึงข้อมูลการปฏิสัมพันธ์ทางกายภาพในโลกแห่งความเป็นจริงได้น้อยกว่าหนึ่งในหมื่นของปริมาณนั้น
ความแตกต่างนี้เป็นอุปสรรคสำคัญต่อความก้าวหน้า ห้องปฏิบัติการหุ่นยนต์ชั้นนำประเมินว่า การฝึกฝนนโยบายการควบคุมขั้นสูงนั้น ต้องใช้เวลาบันทึกภาพจากมุมมองบุคคลที่หนึ่งแบบผู้ควบคุมเป็นศูนย์กลางถึง 100 ล้านถึง 1 พันล้านชั่วโมงภายใน 2-3 ปีข้างหน้า แม้แต่สำหรับงานควบคุมเพียงงานเดียว ชุดข้อมูลสำหรับการฝึกฝนก็ต้องใช้เวลาบันทึกกิจกรรมของมนุษย์ถึง 100,000 ถึง 1 ล้านชั่วโมง
ผู้เชี่ยวชาญในอุตสาหกรรมเห็นพ้องกันว่า การบันทึกข้อมูลแบบเน้นตัวบุคคลนั้นให้ความสามารถในการขยายขนาดได้สูงสุด แทนที่จะพึ่งพาอุปกรณ์ควบคุมระยะไกลราคาแพงที่ราคาหลายหมื่นดอลลาร์สหรัฐต่อหน่วย ทีมวิจัยและผู้จำหน่ายข้อมูลในปัจจุบันใช้กล้องติดศีรษะขนาดเล็กน้ำหนักเบาในการบันทึกภาพสาธิตขณะที่มนุษย์ทำภารกิจประจำวันตามธรรมชาติ
การเปลี่ยนแปลงนี้เริ่มปรากฏให้เห็นแล้วในการใช้งานจริง ในเดือนเมษายน 2026 คลิปวิดีโอที่แพร่หลายแสดงให้เห็นคนงานสิ่งทอหลายพันคนทั่วภูมิภาคเดลี NCR ของอินเดีย สวมกล้องขนาดเล็กติดศีรษะที่ผลิตโดย Egolab.AI ผู้ปฏิบัติงานเหล่านี้สร้างชุดข้อมูลวิดีโอแบบมองจากมุมมองของตนเองจำนวนมหาศาลเพื่อฝึกฝนหุ่นยนต์ฮิวมานอยด์รุ่นใหม่
เหตุใดข้อมูลจากมุมมองบุคคลที่หนึ่งที่เน้นตนเองเป็นศูนย์กลางจึงขาดไม่ได้
หุ่นยนต์ต้องรับรู้ข้อมูลภาพที่มนุษย์เห็นอย่างแม่นยำเพื่อจำลองทักษะการเคลื่อนไหวของมนุษย์ได้อย่างถูกต้อง งานวิจัยจำนวนมากที่ตีพิมพ์ระหว่างปี 2025 ถึง 2026 ยืนยันถึงคุณค่าของการเปลี่ยนแปลงที่เกิดจากชุดข้อมูลที่เน้นมุมมองของตนเอง:
1.
ฮิวแมนอีโก การบันทึกวิดีโอจากมุมมองของมนุษย์เพียง 30 นาทีต่อภารกิจ สามารถทำให้ได้อัตราความสำเร็จเฉลี่ย 92.5% ในภารกิจการควบคุมวัตถุในโลกแห่งความเป็นจริง ซึ่งช่วยให้สามารถถ่ายทอดทักษะจากมนุษย์ไปยังหุ่นยนต์ได้โดยไม่ต้องมีการฝึกฝนเพิ่มเติม
2.
อีโกมิค การบูรณาการข้อมูลการสาธิตจากมนุษย์ช่วยเพิ่มประสิทธิภาพการทำงานได้ 34% ถึง 228% เมื่อเทียบกับข้อมูลการฝึกฝนจากหุ่นยนต์เพียงอย่างเดียว วิดีโอสาธิตมือมนุษย์เพิ่มเติมหนึ่งชั่วโมงให้ผลลัพธ์การปรับปรุงโมเดลที่ดีกว่าข้อมูลที่หุ่นยนต์เก็บรวบรวมเองเพิ่มเติมหนึ่งชั่วโมงอย่างมาก ชุดข้อมูลแบบผสมผสานระหว่างมนุษย์และหุ่นยนต์ยังให้ประสิทธิภาพการฝึกฝนและการใช้งานที่เหนือกว่า รวมถึงวิดีโอจากเวิร์กโฟลว์การควบคุมระยะไกลด้วย
3.
อีโกสเกล เฟรมเวิร์กนี้พัฒนาโดยนักวิจัยของ NVIDIA โดยใช้ประโยชน์จากชุดข้อมูลที่หลากหลายซึ่งประกอบด้วยวิดีโอจากมุมมองของมนุษย์จำนวน 20,854 ชั่วโมง เพื่อขยายขีดความสามารถในการควบคุมการเคลื่อนไหวอย่างคล่องแคล่วในงานทั่วไป
4.
เปิด-เอโออี เผยแพร่ชุดข้อมูลวิดีโอแบบมุมมองบุคคลที่หนึ่งความยาว 2,000 ชั่วโมง พร้อมด้วยข้อมูลการเคลื่อนไหวของมือที่ซิงโครไนซ์กัน และคำอธิบายการกระทำระดับอะตอม
5.
กรอบการทำงานที่ล้ำสมัย เฟรมเวิร์กที่ล้ำสมัย เช่น EgoGuide และ EgoLive ช่วยเพิ่มประสิทธิภาพในการบันทึกการสาธิตโดยไม่ต้องใช้หุ่นยนต์ และการสร้างชุดข้อมูลแบบอัตตาเป็นศูนย์กลางขนาดใหญ่
แม้ว่าอุตสาหกรรมนี้จะเติบโตอย่างรวดเร็ว แต่โซลูชันด้านฮาร์ดแวร์สำหรับการบันทึกภาพมุมมองบุคคลที่หนึ่งคุณภาพสูงยังคงกระจัดกระจาย นักวิจัยและทีมข้อมูลจึงต้องนำกล้องแอ็คชั่นแคมสำหรับผู้บริโภค แว่นตา AR และอุปกรณ์เสริมที่สร้างขึ้นเองมาประกอบเข้าด้วยกัน ซึ่งส่งผลให้ความแม่นยำในการซิงโครไนซ์ ความสม่ำเสมอในการปรับเทียบ และความสะดวกสบายในการสวมใส่ในระยะยาวลดลง
ภาพรวมผลิตภัณฑ์กล้อง Ego
กล้อง Ego Camera เป็นโมดูลกล้องสเตอริโอแบบสองตาที่ติดตั้งบนศีรษะ ซึ่งได้รับการออกแบบทางวิศวกรรมขึ้นใหม่ทั้งหมดเพื่อการบันทึกข้อมูลจากมุมมองของตนเองในกระบวนการเรียนรู้ของหุ่นยนต์ ปัญญาประดิษฐ์แบบฝังตัว และการเรียนรู้แบบเลียนแบบ
แตกต่างจากกล้องแอ็คชั่นแคมสำหรับผู้บริโภคที่ถูกนำมาดัดแปลงเพื่อใช้ในการวิจัย กล้อง Ego Camera ถูกสร้างขึ้นมาโดยเฉพาะสำหรับกระบวนการทำงานด้านหุ่นยนต์ในสถาบันการศึกษาและอุตสาหกรรม มันให้ข้อมูลดิบจากเซ็นเซอร์ที่มีความคมชัด ซิงโครไนซ์กับฮาร์ดแวร์ และปรับเทียบจากโรงงานแล้ว โดยไม่ต้องตั้งค่าการประมวลผลเพิ่มเติมใดๆ
ข้อกำหนดทางเทคนิคหลัก
| ข้อกำหนด | รายละเอียด |
|---|---|
| เซ็นเซอร์ภาพ | เซ็นเซอร์ CMOS แบบ Global Shutter ความละเอียด 2 ล้านพิกเซลคู่ |
| ขอบเขตการมองเห็นแนวนอน (HFOV) | 60–65° ซึ่งตรงกับช่วงการมองเห็นตามธรรมชาติของมนุษย์ |
| เทคโนโลยีชัตเตอร์ | ชัตเตอร์แบบ Global Shutter ช่วยลดการบิดเบี้ยวของภาพที่เกิดจาก Rolling Shutter ในระหว่างการเคลื่อนไหวด้วยความเร็วสูง |
| โมดูล IMU | เซ็นเซอร์ ICM-26888-P แบบ 6 แกน (มาตรวัดความเร่ง 3 แกน + ไจโรสโคป 3 แกน) ความถี่สุ่มตัวอย่าง 200–500 เฮิรตซ์ |
| กลไกการซิงโครไนซ์ | การทริกเกอร์ด้วยฮาร์ดแวร์ GPIO; ข้อผิดพลาดในการซิงโครไนซ์เฟรม-IMU น้อยกว่า 10 ไมโครวินาที |
| การประทับเวลา | การประทับเวลาแบบนาโนวินาทีที่เป็นมาตรฐานระดับฮาร์ดแวร์สำหรับทุกเฟรมภาพและการอ่านค่า IMU |
| อินเทอร์เฟซแบบมีสาย | พอร์ต USB 2.0 Type-C รองรับมาตรฐาน UVC และรองรับ SDK สำหรับหลายแพลตฟอร์ม ได้แก่ Windows, Linux และ ROS |
| การติดตั้งแบบไร้สาย | มี Wi-Fi ในตัว + หน่วยเก็บข้อมูลการ์ด MicroSD; บันทึกภาพลงเครื่องโดยอัตโนมัติ และอัปโหลดไปยังคลาวด์เมื่อเชื่อมต่อเครือข่ายอีกครั้ง |
| มาตรฐานการติดตั้ง | รูยึดแบบเกลียวขนาด 1/4″-20 สามารถใช้งานร่วมกับสายรัดศีรษะและอุปกรณ์เสริมแบบกำหนดเองได้ |
| การสอบเทียบ | พารามิเตอร์สเตอริโอภายในและภายนอก และการแปลงค่ากล้อง-IMU ที่ได้รับการปรับเทียบจากโรงงานแล้ว จะถูกจัดเก็บอย่างถาวรในหน่วยความจำแฟลชภายในเครื่อง |
เหตุใดชัตเตอร์ทั่วโลกจึงเป็นสิ่งที่ขาดไม่ได้สำหรับการเรียนรู้ของหุ่นยนต์
กล้องสำหรับผู้บริโภคทั่วไปใช้เซ็นเซอร์แบบโรลลิ่งชัตเตอร์ที่รับแสงพิกเซลทีละแถว การเคลื่อนไหวของมือมนุษย์ที่รวดเร็ว ซึ่งเป็นสิ่งที่พบเห็นได้บ่อยในวิดีโอสาธิต ทำให้เกิดความผิดเพี้ยนจากโรลลิ่งชัตเตอร์อย่างรุนแรงที่เรียกว่า "เอฟเฟกต์วุ้น" ได้แก่ ขอบวัตถุบิดเบี้ยว การบิดเบี้ยวทางเรขาคณิต และการติดตามรายละเอียดที่ไม่น่าเชื่อถือ
ความผิดเพี้ยนเหล่านี้ทำให้กระบวนการทำงานของหุ่นยนต์หยุดชะงัก ส่วนหน้าของ VIO, อัลกอริทึม SLAM ทางภาพ และนโยบายการเรียนรู้แบบเลียนแบบ ไม่สามารถทนต่อการเปลี่ยนแปลงคุณลักษณะระหว่างเฟรมที่ไม่สามารถคาดเดาได้ ซึ่งจะทำให้ความสามารถในการสรุปผลของโมเดลและประสิทธิภาพการทำงานในโลกแห่งความเป็นจริงลดลงอย่างมาก
เซ็นเซอร์ชัตเตอร์แบบโกลบอลของกล้อง Ego จะบันทึกภาพทุกพิกเซลพร้อมกันในหน้าต่างการจับภาพเดียว ทุกเฟรมจึงแสดงถึงท่าทางของวัตถุแข็งเกร็งอย่างไม่มีข้อสงสัย โดยไม่มีการบิดเบือนทางเรขาคณิต ซึ่งเป็นมาตรฐานที่จำเป็นสำหรับการวิจัยหุ่นยนต์อย่างเข้มงวดและการฝึกอบรมโมเดลเชิงพาณิชย์
เนื่องจากอุตสาหกรรมกำลังแสวงหาชุดข้อมูลขนาดใหญ่ขึ้นเรื่อยๆ ที่เน้นผู้ใช้งานเป็นศูนย์กลาง (เช่น คลังข้อมูลภาพสเตอริโอความละเอียดสูงหลายพันชั่วโมงของ EgoLive ซึ่งครอบคลุมกิจกรรมในครัวเรือนและอุตสาหกรรมจริง) ความต้องการฮาร์ดแวร์สำหรับการบันทึกภาพที่ปราศจากความบิดเบี้ยวและแม่นยำในระดับเฟรมจึงเพิ่มสูงขึ้นอย่างต่อเนื่อง
การซิงโครไนซ์ฮาร์ดแวร์: ช่องว่างระหว่างข้อมูลการฝึกอบรมคุณภาพต่ำและข้อมูลการฝึกอบรมระดับใช้งานจริง
เมื่อมนุษย์ดำเนินการตามลำดับการจัดการ เช่น การเอื้อม การจับ การวางวัตถุ นโยบายของหุ่นยนต์ต้องการการจัดเรียงเวลาที่แม่นยำระหว่างการเคลื่อนไหวของมือที่มองเห็นได้และการเคลื่อนไหวของร่างกายที่วัดได้จากเซ็นเซอร์วัดแรงเฉื่อย แม้แต่การไม่ตรงกันเพียงไม่กี่มิลลิวินาทีระหว่างเฟรมกล้องและการอ่านค่าจาก IMU ก็อาจทำให้ชุดข้อมูลการฝึกอบรมทั้งหมดเสียหายได้ การจัดเรียงเวลาโดยใช้ซอฟต์แวร์ (การซิงโครไนซ์แบบอ่อน) จะสะสมความคลาดเคลื่อนตลอดช่วงการบันทึกและไม่สามารถตรงตามมาตรฐานความแม่นยำสำหรับกระบวนการเรียนรู้แบบ VIO และการเรียนรู้แบบเลียนแบบที่มีความแม่นยำสูงได้
กล้อง Ego ใช้พัลส์ GPIO เฉพาะเพื่อกระตุ้นเซ็นเซอร์แบบสองตาและ IMU พร้อมกัน ทำให้ได้ความแม่นยำในการซิงโครไนซ์ที่ดีกว่า 10 ไมโครวินาที เฟรมภาพและตัวอย่างการเคลื่อนที่แต่ละเฟรมจะมีไทม์สแตมป์ฮาร์ดแวร์ร่วมกัน ซึ่งตรงตามข้อกำหนดด้านเวลาที่เข้มงวดของเฟรมเวิร์ก VIO หลักๆ รวมถึง VINS-Fusion และ OpenVINS
ชุดข้อมูลเอกซเรย์คอมพิวเตอร์ระดับสูงที่มีคำอธิบายประกอบ เช่น Open-AoE อาศัยการซิงค์ฮาร์ดแวร์ในระดับนี้เพื่อส่งมอบป้ายกำกับข้อความที่ซิงโครไนซ์ การประมาณท่าทางมือตาม MANOS บันทึกเส้นทางการเคลื่อนที่ของกล้อง และแท็กการกระทำระดับอะตอมที่ระบุตำแหน่งตามเวลา ซึ่งทั้งหมดนี้เป็นผลลัพธ์หลักที่กล้องเอกซเรย์คอมพิวเตอร์ได้รับการออกแบบมาให้รองรับได้โดยตรง
การปรับเทียบเบื้องต้นจากโรงงาน: ขจัดปัญหาการเสียเวลาในการปรับเทียบ ณ สถานที่ปฏิบัติงาน
การปรับเทียบด้วยตนเองเป็นหนึ่งในขั้นตอนที่ต้องใช้ทรัพยากรมากที่สุดสำหรับเวิร์กโฟลว์การเก็บข้อมูลหลายกล้อง การปรับค่าพารามิเตอร์เลนส์ภายใน ค่าชดเชยภายนอกของสเตอริโอ และเมทริกซ์การแปลงกล้อง-IMU ต้องใช้อุปกรณ์ทางแสงเฉพาะทาง ความเชี่ยวชาญทางเทคนิค และเวลาทำงานหลายชั่วโมงต่ออุปกรณ์
กล้อง Ego ช่วยขจัดขั้นตอนการทำงานเหล่านี้ได้อย่างสิ้นเชิง ทุกยูนิตได้รับการปรับเทียบอย่างสมบูรณ์ตั้งแต่ต้นจนจบก่อนออกจากโรงงาน พารามิเตอร์ที่สำคัญทั้งหมด เช่น ความยาวโฟกัส พิกัดจุดหลัก สัมประสิทธิ์การบิดเบี้ยว ค่าเอ็กซ์ทรินซิกสเตอริโอ และการแปลงค่ากล้อง-IMU จะถูกบันทึกไว้ในหน่วยความจำแฟลชภายในเครื่องอย่างถาวร
ทีมวิจัยและผู้ให้บริการข้อมูลสามารถเริ่มบันทึกภาพที่มีคุณภาพได้ภายในห้านาทีหลังจากแกะกล่อง โดยไม่จำเป็นต้องใช้เป้าหมายแบบตารางหมากรุก อุปกรณ์ปรับเทียบ หรือการปรับเทียบที่ใช้เวลานานครึ่งวัน ชุดข้อมูลแบบอัตตาเป็นศูนย์กลางที่มีมาตรฐานสูงในปัจจุบันกำหนดให้ต้องใช้ฮาร์ดแวร์กล้องที่ได้รับการปรับเทียบจากโรงงานแล้ว ซึ่งเป็นข้อกำหนดที่ฝังอยู่ในทุกหน่วยของกล้อง Ego Camera
โหมดการใช้งานสองแบบ บนแพลตฟอร์มฮาร์ดแวร์เดียวที่รวมทุกอย่างไว้ด้วยกัน
1. โหมดใช้สาย USB
เชื่อมต่อกับแล็ปท็อปหรือเวิร์กสเตชันเพื่อดูตัวอย่างสดแบบเรียลไทม์และการบันทึกที่มีความหน่วงต่ำ เหมาะสำหรับสภาพแวดล้อมในห้องปฏิบัติการที่มีการควบคุม ซึ่งนักวิจัยสามารถตรวจสอบคุณภาพข้อมูลได้ตามต้องการ รองรับอย่างเต็มที่โดย SDK ข้ามแพลตฟอร์มที่เข้ากันได้กับ Windows, Linux และเฟรมเวิร์กหุ่นยนต์ ROS
2. โหมดออฟไลน์ WiFi + การ์ด microSD
การบันทึกแบบไร้สายสำหรับการรวบรวมข้อมูลแบบกระจายขนาดใหญ่ ภาพที่บันทึกทั้งหมดจะถูกบันทึกไปยังหน่วยความจำ MicroSD ในเครื่องก่อนเพื่อป้องกันการสูญหายของข้อมูลระหว่างที่เครือข่ายขัดข้อง เมื่อการเชื่อมต่อกลับมาใช้งานได้ ไฟล์จะซิงค์โดยอัตโนมัติไปยังเซิร์ฟเวอร์คลาวด์ระยะไกลหรือคลังข้อมูลภายในองค์กร เหมาะอย่างยิ่งสำหรับการบันทึกหลายฉากในห้องครัว โรงงานผลิต สำนักงาน และสภาพแวดล้อมจริงอื่นๆ เพื่อสร้างฟุตเทจสาธิตได้หลายพันชั่วโมง
เอาต์พุตข้อมูลดิบที่มีโครงสร้าง (ไม่มีการประมวลผล AI ในตัว)
อุปกรณ์นี้ส่งออกข้อมูลเซ็นเซอร์ดิบที่ไม่ผ่านการเปลี่ยนแปลงใดๆ โดยไม่มีการปรับภาพให้เรียบ การใส่คำอธิบายประกอบอัตโนมัติ หรือการประมวลผล AI บนอุปกรณ์ ทำให้คงไว้ซึ่งความถูกต้องแม่นยำของข้อมูลดิบอย่างเต็มที่เพื่อนำไปผสานรวมเข้ากับกระบวนการฝึกอบรมแบบกำหนดเอง:
วิดีโอซ้าย.mp4/วิดีโอขวา.mp4: สตรีมวิดีโอสเตอริโอแบบสองตาที่ซิงโครไนซ์กันimu_6axis.csvบันทึกการวัดความเฉื่อย 6 แกน (มาตรวัดความเร่ง + ไจโรสโคป) พร้อมระบุเวลาบันทึกจากฮาร์ดแวร์timestamps_ns.txt: การประทับเวลาฮาร์ดแวร์ระดับนาโนวินาทีที่เป็นมาตรฐานเดียวกันสำหรับเฟรมภาพและตัวอย่าง IMU ทั้งหมดไฟล์ calibration_params.yaml: การแปลงค่าปรับเทียบภายใน ภายนอก และกล้อง-IMU ที่ผ่านการอบจากโรงงาน
กลุ่มผู้ใช้เป้าหมาย
ห้องปฏิบัติการวิจัยเชิงวิชาการด้านปัญญาประดิษฐ์เชิงกายภาพและการเรียนรู้แบบเลียนแบบ
ผู้ผลิตหุ่นยนต์ฮิวมานอยด์และหุ่นยนต์ควบคุมการเคลื่อนไหวที่คล่องแคล่ว
ผู้ให้บริการข้อมูลเฉพาะทางที่สร้างชุดข้อมูลสำหรับการฝึกอบรมสำหรับลูกค้า AI ทางกายภาพ
ทีมวิจัยและพัฒนาที่สร้างอัลกอริธึม VIO และ Visual SLAM
ทีมหุ่นยนต์กำลังขยายขอบเขตเวิร์กโฟลว์การเก็บรวบรวมข้อมูลการสาธิตแบบยึดตนเองเป็นศูนย์กลางขนาดใหญ่
วันที่โพสต์: 11 สิงหาคม 2569
