Робот сургалт нь хяналттай лабораторийн орчингоос бодит ертөнцийн орчин руу шилжих тусам нэг саад бэрхшээл гарч ирсээр байна: өгөгдөл цуглуулах.
Теле ажиллагаа нь нарийн боловч удаан. Гуравдагч биеийн камерууд операторын үзэл бодлыг алддаг. Хэрэглэгчийн үйлдлийн камерууд нь орчин үеийн дуураймал сургалт болон VIO дамжуулах хоолойд шаардлагатай мэдрэгчийн синхрончлолгүй байдаг.
Шинэ техник хангамжийн сонголт энэ салбарт нэвтэрч байна. Манай Эго Камер бол хиймэл оюун ухаан болон роботын удирдлагын судалгаанд эго төвтэй өгөгдлийг авахад зориулагдсан толгойд зүүдэг дуран стерео камер юм.
Роботтой тохирох үзэл бодол
Энэ модулийг хүний толгой дээр хөнгөн толгойн боолт шиг зүүдэг бөгөөд операторын ажлын үеэр харж буй зүйлийг яг таг тэмдэглэдэг. Энэхүү нэгдүгээр биеийн (аминчхан) үзэл бодол нь сүүлийн үеийн робот техникийн судалгааны гол чиглэл болсон.
2025-2026 оны хооронд хийгдсэн томоохон хэмжээний судалгаанууд - HumanEgo, EgoMimic, EgoScale зэрэг - хүний биеэ төвлөрсөн видео бичлэг дээр сургагдсан роботын бодлого нь цуглуулах өртгийн багахан хэсгийг зарцуулж, телеоперация өгөгдөл дээр сургагдсан роботын бодлоготой харьцуулах эсвэл илүү сайн ажиллах боломжтой болохыг харуулсан. Алсын хараа чухал: роботыг байрлуулахдаа тааз эсвэл гурван хөлтэй штативаас биш, харин өөрийн дотоод мэдрэгчээс дэлхийг хардаг.
Манай Эго камер нь роботын бодит дүгнэлтийн үзэл бодолтой тохирч буй сургалтын өгөгдлийг өгч, загвар сургалтын хэтийн төлөвийн зөрүүг арилгах замаар энэхүү зөрүүг арилгах зорилготой юм.
Судалгааны дамжуулах хоолойн мэдрэгчийн дизайн
Дэлхийн хаалттай стерео мэдрэгч
Камерын модуль нь хүн дүрст робот толгойн харааны модулиудын стандарт FOV-той нийцсэн, 60-65° хэвтээ харах талбартай хоёр глобал хаалттай 2MP мэдрэгчийг ашигладаг. Global хаалт нь зориудаар хийгдсэн гол дизайны сонголт юм: пиксел бүр нэгэн зэрэг ил гарч, динамик бичлэг хийх явцад гар болон биеийн хурдан хөдөлгөөнийг эвддэг өнхрөх хаалтын вазелин гажуудлыг бүрэн арилгадаг.
Түүхий өгөгдлийг хадгалах (EIS байхгүй)
Бид EIS электрон дүрс тогтворжуулалтыг санаатайгаар арилгадаг. EIS нь анхны харах талбарыг тайрч, үйлдвэрийн тохируулсан дотоод болон гадаад параметрүүдийг өөрчилдөг бөгөөд энэ нь стерео тохируулга болон камер-IMU тохируулгын тогтвортой байдлыг алдагдуулдаг. Түүхий бүрэн хэмжээний анхны өгөгдлийг арын робот алгоритмын боловсруулалтад зориулж хадгалдаг.
Микросекундын техник хангамжийн синхрончлол
Суурилуулсан ICM-2688 6 тэнхлэгтэй IMU (хурдасгал хэмжигч + гироскоп, 200–500 Гц давтамжтайгаар түүвэрлэлт) нь зориулалтын GPIO триггер дохиогоор синхрончлогддог. GPIO зүүгээр илгээсэн нэгдсэн импульсийн дохио нь стерео камер болон IMU түүвэрлэлтийг нэгэн зэрэг идэвхжүүлдэг. Синхрончлолын алдаа нь 10 микросекундээс бага бөгөөд видео кадр болон IMU түүвэр бүр нэгдсэн техник хангамжийн цагийн тэмдэгтэй байдаг.
Энэ түвшний синхрончлол нь VINS-Fusion болон OpenVINS зэрэг гол VIO дамжуулах хоолойнуудад заавал дагаж мөрдөх стандарт бөгөөд зөвхөн програм хангамжийн цагийн тэмдгийн тохируулга нь урт бичлэгийн дарааллаар илэрхий траекторын зөрүүг хуримтлуулдаг.
Суурилуулалтын агуулах
Үйлдвэрийн бүрэн тохируулга нь стерео дотоод, гадаад болон камераас IMU руу хувиргалтыг хамардаг. Бүх тохируулгын параметрүүд нь самбар дээрх Flash-д хадгалагддаг бөгөөд платформ хоорондын SDK-аар бүрэн уншигдах боломжтой - тоног төхөөрөмжийг ажиллуулсны дараа газар дээр нь дахин тохируулга хийх шаардлагагүй.
Байршуулалтын уян хатан байдал
Судалгааны бүх хувилбарыг хамрахын тулд хоёр үйлдлийн горимыг дэмждэг.
Стандарт олон форматын өгөгдлийн гаралт
1. TF картын орон нутгийн бичлэг (офлайн бичлэг)
- Хурдан харахын тулд зүүн ба баруун дурангийн MP4 видео файлуудыг синхрончилсон
- Микросекундын цагийн тэмдэгтэй хосолсон IMU түүхий өгөгдлийг хадгалдаг бие даасан CSV логууд
2. SDK-ээр дамжуулан компьютерт бичлэг хийх (ROS/ROS2 орчинд USB холболт)
Бүрэн синхрончлогдсон ROSbag болон хөнгөн жинтэй MCAP мэдрэгчийн өгөгдлийн багцыг экспортлохыг дэмждэг бөгөөд энэ нь гол робот техникийн хөгжлийн экосистемтэй бүрэн нийцдэг.
Бүх техник хангамжийн цагийн тэмдэглэгээг фрэйм болон IMU дээж бүрт суулгасан болно. Үйлдвэрийн бүрэн тохируулгын параметрийн файлуудад албан ёсны SDK-аар дамжуулан хандах боломжтой.
Модуль нь хиймэл оюун ухааны боловсруулалт эсвэл автомат тэмдэглэгээний функцгүй гэдгийг тэмдэглэх нь зүйтэй. Үүний гол байршил нь цэвэр, цаг хугацааны хувьд уялдуулсан түүхий мэдрэгчийн өгөгдлийг гаргах бөгөөд загварын сургалт, бай илрүүлэлт болон алгоритмын дүгнэлтийг судлаачдын бие даасан хөгжлийн шугамд үлдээх явдал юм.
Тохируулга ба арилжааны бэлэн байдал
Эго камерыг одоо дэлхийн судалгааны лабораториуд, робот техникийн стартапууд болон хүн дүрст робот үйлдвэрлэгчдэд ашиглах боломжтой боллоо. Том хэмжээний ODM төслүүдэд тохируулж болох стерео суурь зай болон линзний FOV тохиргоог дэмждэг.
Тоног төхөөрөмжийн нэгтгэх зардлыг бууруулахын тулд захиалга бүрт бүрэн техникийн SDK, үйл ажиллагааны баримт бичиг, туршилтын кодын жишээг өгдөг.
Холбоо барих
Хэрэв танд робот сургалтын төсөлдөө бүтээгдэхүүний дээж, SDK баримт бичиг, техникийн параметрийн зөвлөгөө эсвэл захиалгат техник хангамжийн шийдлүүд хэрэгтэй бол имэйлээр лавлагаа илгээнэ үү. Манай инженерийн баг SLAM, VIO болон хиймэл хиймэл оюун ухааны өгөгдлийн багц цуглуулах төслүүдэд нэг бүрчлэн техникийн дэмжлэг үзүүлдэг.
Нийтэлсэн цаг: 2026 оны 7-р сарын 29
