Эго камер – Робот сургалтын мэдээлэл цуглуулах зориулалттай толгойд суурилуулсан стерео харааны хэрэгсэл
Хүний үзүүлэнгийн өгөгдлийг авахад зориулагдсан толгойд суурилуулсан дурангийн камерын модуль. Энэ нь дуураймал сургалт болон хиймэл оюун ухааны дамжуулах хоолойг эрчимжүүлэхийн тулд техник хангамжаар синхрончлогдсон, үйлдвэрээс урьдчилан тохируулсан эго төвтэй түүхий мэдрэгчийн өгөгдлийг дамжуулдаг.
Физик хиймэл оюун ухааныг зовоож буй өгөгдлийн саад тотгор
2026 он гэхэд робот техникийн салбарт бүх нийтийн зөвшилцөл бий болсон: өгөгдөл нь өргөтгөх боломжтой физик хиймэл оюун ухааныг байршуулахаас сэргийлж буй чухал саад тотгор юм. Том хэлний загварууд нь их наяд текст токен дээр суурилдаг боловч хиймэл оюун ухааны системүүд бодит ертөнцийн физик харилцан үйлчлэлийн бичлэгийн энэ эзлэхүүний арван мянгаас бага хувийг авах боломжтой.
Энэхүү ялгаа нь ахиц дэвшилд асар их саад учруулж байна. Тэргүүлэх робот техникийн лабораториуд дэвшилтэт манипуляцийн бодлогыг сургахад дараагийн 2-3 жилийн хугацаанд 100 саяас 1 тэрбум цагийн бие даасан нэгдүгээр биеийн бичлэг шаардлагатай гэж тооцоолж байна. Ганц бие даасан манипуляцийн даалгаврын хувьд ч сургалтын өгөгдлийн багц нь 100,000-1 сая цагийн бүртгэгдсэн хүний үйл ажиллагааг шаарддаг.
Салбарын мэргэжилтнүүд амин хувиа хичээсэн өгөгдөл цуглуулах нь хамгийн өндөр өргөтгөх боломжийг олгодог гэдэгтэй санал нийлдэг. Нэгж тутамд хэдэн арван мянган ам.долларын үнэтэй үнэтэй телеоператорын төхөөрөмжүүдэд найдахын оронд судалгааны багууд болон өгөгдөл нийлүүлэгчид одоо хүмүүс өдөр тутмын байгалийн ажлуудыг хийж байх үед үзүүлэх бичлэгийг авахын тулд хөнгөн толгойд суурилуулсан камеруудыг ашиглаж байна.
Энэхүү өөрчлөлт нь бодит ертөнцийн байршуулалтад аль хэдийн харагдаж байна. 2026 оны 4-р сард Энэтхэгийн Дели NCR бүс нутагт мянга мянган нэхмэлийн ажилчид Egolab.AI-ийн үйлдвэрлэсэн авсаархан толгойд суурилуулсан камер зүүсэн нь вирусын бичлэг дээр харагдаж байв. Эдгээр операторууд одоо дараагийн үеийн хүн дүрст роботуудыг сургахын тулд асар их хэмжээний өөртөө төвлөрсөн видео өгөгдлийн санг бий болгож байна.
Яагаад амин хувиа хичээсэн анхны хүний өгөгдөл зайлшгүй шаардлагатай вэ
Роботууд хүний моторт ур чадварыг зөв хуулбарлахын тулд хүмүүсийн харж буй харааны оролтыг яг таг мэдрэх ёстой. 2025-2026 оны хооронд нийтлэгдсэн судалгааны давалгаан нь эгэл төвт өгөгдлийн багцын хувиргах үнэ цэнийг баталгаажуулж байна:
1.
ХүнийЭго Даалгавар тус бүрт ердөө 30 минутын хүний биеэ тоосон видео бичлэг хийхэд бодит ертөнцийн удирдах даалгаврын дундаж амжилтын түвшин 92.5% байдаг бөгөөд энэ нь хүнээс робот руу ур чадварыг тэг цохилтгүйгээр шилжүүлэх боломжийг олгодог.
2.
ЭгоМимик Хүний үзүүлэнгийн өгөгдлийг нэгтгэх нь зөвхөн роботын сургалтын өгөгдөлтэй харьцуулахад даалгаврын гүйцэтгэлийг 34%-иар 228% хүртэл нэмэгдүүлдэг. Нэг цагийн нэмэлт хүний гар бичлэг нь робот өөрөө цуглуулсан нэг цагийн нэмэлт өгөгдлөөс хамаагүй илүү загвар сайжруулалтыг өгдөг. Хүн-роботын хосолсон өгөгдлийн багц нь мөн алсын зайн телеоператив ажлын урсгалаас авсан бичлэг зэрэг сургалт, байршуулалтын гүйцэтгэлийг сайжруулдаг.
3.
ЭгоСкал NVIDIA-ийн судлаачдын боловсруулсан энэхүү бүтэц нь ерөнхий даалгавруудын дагуу ухаалаг удирдах чадварыг өргөжүүлэхийн тулд хүний биеэ тоосон байдлын 20,854 цагийн олон төрлийн өгөгдлийн санг ашигладаг.
4.
Нээлттэй AoE Синхрончлогдсон гар кинематик болон атомын үйлдлийн тайлбартай хослуулсан 2000 цагийн эго төвт видео өгөгдлийн санг гаргана.
5.
Хамгийн сүүлийн үеийн хүрээ EgoGuide болон EgoLive зэрэг дэвшилтэт фрэймворкууд нь робот ашиглахгүйгээр үзүүлэх бичлэг хийх болон их хэмжээний өөртөө төвлөрсөн өгөгдлийн сан үүсгэх ажлыг улам хялбаршуулдаг.
Энэхүү салбарын эрч хүчийг үл харгалзан өндөр чанартай өөртөө төвлөрсөн зураг авалтын техник хангамжийн шийдлүүд нь хуваагдмал хэвээр байна. Судлаачид болон мэдээллийн багууд хэрэглэгчийн үйлдлийн камер, AR нүдний шил, захиалгаар хийсэн төхөөрөмжүүдийг нэгтгэхээс өөр аргагүй болж байгаа нь синхрончлолын нарийвчлал, тохируулгын тогтвортой байдал, удаан эдэлгээтэй тав тухыг алдагдуулж байна.
Эго камерын бүтээгдэхүүний тойм
Эго камер нь робот сургалт, хиймэл хиймэл оюун ухаан, дуураймал сургалтын ажлын урсгалд эго төвтэй өгөгдлийг авахад зориулагдсан толгойд суурилуулсан дуран стерео камерын модуль юм.
Судалгааны зориулалтаар тохируулсан дахин ашигласан хэрэглэгчийн үйлдлийн камеруудаас ялгаатай нь Ego камер нь эрдэм шинжилгээний болон үйлдвэрлэлийн робот техникийн шугамд зориулагдсан. Энэ нь цэвэр, техник хангамжаар синхрончлогдсон, үйлдвэрээс урьдчилан тохируулсан түүхий мэдрэгчийн өгөгдлийг хайрцагнаас нь гарган боловсруулалтын дараах тохиргоо шаардлагагүйгээр гаргадаг.
Техникийн үндсэн үзүүлэлтүүд
| Тодорхойлолт | Дэлгэрэнгүй мэдээлэл |
|---|---|
| Зургийн мэдрэгчүүд | Хос 2MP Global Shutter CMOS мэдрэгч |
| Хэвтээ харах талбар (HFOV) | 60–65°, хүний байгалийн харааны хүрээтэй тохирч байна |
| Хөшигний технологи | Дэлхийн хаалт; өндөр хурдтай хөдөлгөөний үед өнхрөх хаалтын гажуудлыг арилгана |
| IMU модуль | 6 тэнхлэгтэй ICM-26888-P (3 тэнхлэгтэй хурдатгал хэмжигч + 3 тэнхлэгтэй гироскоп), 200–500 Гц түүвэрлэлтийн давтамж |
| Синхрончлолын механизм | Тоног төхөөрөмжийн GPIO өдөөгч; frame-IMU синхрончлолын алдаа < 10 микросекунд |
| Цаг тэмдэглэх | Зургийн хүрээ болон IMU уншилтын хувьд техник хангамжийн түвшний нэгдсэн наносекундын цагийн тэмдэг |
| Утастай интерфэйс | USB 2.0 Type-C, UVC-тэй нийцтэй; Windows, Linux болон ROS-д зориулсан олон платформ SDK-г дэмждэг |
| Утасгүй сүлжээний байршуулалт | Суурин WiFi + MicroSD картын хадгалалт; бичлэгийг орон нутгийн хадгалалтад давуу эрх олгох, сүлжээг дахин холбоход автоматаар үүлэн дээр байршуулах |
| Суурилуулалтын стандарт | 1/4″-20 ширхэг шурагтай бэхэлгээний нүх, зах зээлийн толгойн оосор болон захиалгат бэхэлгээтэй нийцдэг |
| Тохируулга | Үйлдвэрийн урьдчилан тохируулсан стерео дотоод/гадаад параметрүүд болон камер-IMU хувиргалтууд нь флэш санах ойд байнга хадгалагддаг |
Робот сургалтын хувьд яагаад Global Shutter-ийг хэлэлцээр хийх боломжгүй вэ?
Хэрэглэгчийн камерууд нь пикселийн мөрүүдийг дараалан харуулдаг гулсмал хаалт мэдрэгч дээр суурилдаг. Үзүүлэнгийн бичлэгт байнга байдаг элемент болох хүний гарын хурдан хөдөлгөөн нь "вазелин эффект" гэгддэг гулсмал хаалтны ноцтой гажуудлыг үүсгэдэг: объектын ирмэгийг гажуудуулах, геометрийн гажуудал, найдваргүй онцлог шинж чанарыг хянах.
Эдгээр гажуудал нь робот техникийн дамжуулах хоолойг гэмтээдэг. VIO фронтенд, харааны SLAM алгоритмууд болон дуураймал сургалтын бодлого нь загварын ерөнхийлөлт болон бодит ертөнцийн даалгаврын гүйцэтгэлийг эрс бууруулдаг урьдчилан таамаглах аргагүй хүрээ хоорондын функцын шилжилтийг тэвчиж чадахгүй.
Ego камерын дэлхийн хаалтын мэдрэгч нь бүх пикселийг нэг зураг авалтын цонхонд нэгэн зэрэг харуулдаг. Кадр бүр нь тэг геометрийн гажуудалтай, хоёрдмол утгагүй хатуу биеийн байрлалтай тохирч байгаа нь робот техникийн нарийн судалгаа, арилжааны загварын сургалтын заавал дагаж мөрдөх стандарт юм.
Салбар нь улам бүр том хэмжээний амин хувиа хичээсэн өгөгдлийн санг (жишээлбэл, бодит өрхийн болон үйлдвэрлэлийн ажлуудыг хамарсан EgoLive-ийн олон мянган цагийн өндөр нарийвчлалтай стерео бичлэгийн архив) эрэлхийлж байгаа тул гажуудалгүй, кадрын нарийвчлалтай бичлэг хийх тоног төхөөрөмжийн эрэлт хэрэгцээ нэмэгдсээр байна.
Тоног төхөөрөмжийн синхрончлол: Чанар муутай болон үйлдвэрлэлийн түвшний сургалтын өгөгдлийн хоорондох ялгаа
Хүмүүс объектод хүрэх, атгах, байрлуулах гэх мэт манипуляцийн дарааллыг гүйцэтгэх үед роботын бодлого нь харааны гар хөдөлгөөн болон инерцийн биеийн хөдөлгөөний хооронд цаг хугацааны нарийн уялдаа холбоог шаарддаг. Камерын хүрээ болон IMU уншилтын хоорондох хэдэн миллисекундын десинхрончлол ч гэсэн сургалтын бүх өгөгдлийн санг бохирдуулдаг. Програм хангамж дээр суурилсан цагийн тэмдгийн уялдаа холбоо (зөөлөн синхрончлол) нь бичлэгийн сессүүд дээр зөрүү хуримтлуулж, өндөр нарийвчлалтай VIO болон дуураймал сургалтын дамжуулах хоолойн нарийвчлалын стандартыг хангаж чадахгүй болдог.
Ego камер нь дурангийн мэдрэгч болон IMU-г нэгэн зэрэг идэвхжүүлэхийн тулд тусгай GPIO импульс ашигладаг бөгөөд 10 микросекундээс илүү синхрончлолын нарийвчлалыг өгдөг. Зургийн хүрээ болон инерцийн дээж бүр нь VINS-Fusion болон OpenVINS зэрэг гол VIO хүрээний хатуу цаг хугацааны шаардлагыг хангасан хуваалцсан техник хангамжийн цагийн тэмдэгтэй байдаг.
Open-AoE гэх мэт тэргүүлэх тэмдэглэгээтэй эго төвт өгөгдлийн багцууд нь синхрончлогдсон текст шошго, MANOS дээр суурилсан гарын байрлалын тооцоолол, камерын траекторын бүртгэл, цаг хугацааны хувьд орон нутгийн атомын үйлдлийн шошго зэргийг хүргэхийн тулд энэхүү түвшний техник хангамжийн синхрончлолд тулгуурладаг бөгөөд эдгээр нь бүгд Эго Камерыг төрөлхийн дэмжих зорилгоор бүтээгдсэн гол хүргэлтүүд юм.
Үйлдвэрийн урьдчилсан тохируулга: Цаг хугацаа их шаарддаг газар дээрх тохируулгыг арилгах
Гараар тохируулах нь олон камерын өгөгдөл авах ажлын урсгалын хувьд хамгийн их нөөц шаарддаг саад бэрхшээлүүдийн нэг юм. Линзний дотоод параметрүүд, стерео гадаад офсет, камер-IMU хувиргах матрицуудыг тохируулах нь тусгай оптик тоног төхөөрөмж, техникийн туршлага, төхөөрөмж тус бүрт цаг зарцуулах шаардлагатай.
Эго камер нь энэхүү ажлын урсгалыг бүрмөсөн арилгадаг. Үйлдвэрээс гарахаасаа өмнө төхөөрөмж бүр бүрэн төгсгөлөөс төгсгөл хүртэл тохируулга хийдэг. Бүх чухал параметрүүд - фокусын урт, гол цэгийн координат, гажуудлын коэффициент, стерео гадаад хүчин зүйлс, камер-IMU хувиргалтууд - нь флэш санах ойд байнга бичигддэг.
Судалгааны багууд болон өгөгдөл нийлүүлэгчид хайрцаг задалснаас хойш таван минутын дотор хүчинтэй бичлэгийг бичиж эхлэх боломжтой бөгөөд шатрын бай, тохируулгын төхөөрөмж, хагас өдрийн тохируулгын сесс шаардлагагүй. Орчин үеийн өндөр стандартын өөртөө төвлөрсөн өгөгдлийн багц нь үйлдвэрээс урьдчилан тохируулсан камерын техник хангамжийг шаарддаг бөгөөд энэ нь Ego Camera төхөөрөмж бүрт шууд суурилагдсан техникийн үзүүлэлт юм.
Хоёр байршуулалтын горим, нэгдсэн техник хангамжийн платформ
1. USB утастай горим
Бодит цагийн шууд тойм болон бага сааталтай бичлэг хийхийн тулд зөөврийн компьютер эсвэл ажлын станцуудтай холбогдоно уу. Судлаачид өгөгдлийн чанарыг эрэлт хэрэгцээний дагуу баталгаажуулдаг хяналттай лабораторийн орчинд оновчтой болгосон. Windows, Linux болон ROS робот техникийн хүрээтэй нийцтэй платформ хоорондын SDK-уудаар бүрэн дэмжигдсэн.
2. WiFi + MicroSD картын офлайн горим
Том хэмжээний тархсан өгөгдөл цуглуулах зориулалттай холболтгүй бичлэг. Сүлжээний тасалдлын үед өгөгдөл алдагдахаас урьдчилан сэргийлэхийн тулд бүх бичлэгийг эхлээд орон нутгийн MicroSD санах ой руу бичдэг; холболт сэргэсний дараа файлууд алсын үүлэн серверүүд эсвэл байрны өгөгдлийн агуулах руу автоматаар синк хийгддэг. Гал тогоо, үйлдвэрлэлийн цех, оффис болон бусад бодит орчны олон үзэгдлийн бичлэг хийхэд мянга мянган цагийн үзүүлэнгийн бичлэг хийхэд тохиромжтой.
Бүтэцлэгдсэн түүхий өгөгдлийн гаралт (Хиймэл оюун ухааны боловсруулалт хийгдээгүй)
Энэ төхөөрөмж нь өөрчлөгдөөгүй, цэвэр түүхий мэдрэгчийн өгөгдлийг дүрс тэгшлэх, автомат тэмдэглэгээ хийх эсвэл төхөөрөмж дээрх хиймэл оюун ухааны дүгнэлтгүйгээр гаргадаг бөгөөд захиалгат сургалтын шугамд нэгтгэхэд түүхийн бүрэн үнэн зөвийг хадгалдаг:
зүүн_видео.mp4/баруун_видео.mp4Синхрончлогдсон стерео дурангийн видео урсгалуудimu_6axis.csv: 6 тэнхлэгтэй инерцийн хэмжилтийн бүртгэлүүд (хурдатгал хэмжигч + гироскоп), техник хангамжийн цагийн тэмдэгтэйцагийн тэмдэг_ns.txtБүх зургийн хүрээ болон IMU дээжийн нэгдсэн наносекундын техник хангамжийн цагийн тэмдэгкалибровкийн_параметрүүд.yamlҮйлдвэрт шатаасан дотоод, гадаад болон камерын IMU тохируулгын хувиргалтууд
Зорилтот хэрэглэгчийн сегментүүд
Бие даасан хиймэл оюун ухаан ба дуураймал сургалтын академик судалгааны лабораториуд
Хүн дүрстэй робот болон авхаалж самбаатай робот үйлдвэрлэгчид
Физик хиймэл оюун ухааны үйлчлүүлэгчдэд зориулсан сургалтын өгөгдлийн багцыг бий болгодог тусгай өгөгдлийн үйлчилгээ үзүүлэгчид
VIO болон visual SLAM алгоритмуудыг боловсруулж буй судалгаа, хөгжүүлэлтийн багууд
Роботын багууд их хэмжээний өөртөө төвлөрсөн үзүүлэнгийн мэдээлэл цуглуулах ажлын урсгалыг өргөжүүлж байна
Нийтэлсэн цаг: 2026 оны 8-р сарын 11
