Роботтарды оқытудағы аппараттық алшақтық
Робототехника индустриясында деректер мәселесі бар. Жетекші зертханалар алдағы 2-3 жыл ішінде озық манипуляция саясатын оқыту үшін 100 миллионнан 1 миллиард сағатқа дейінгі эгоцентрлік (бірінші жақтан) деректер қажет деп есептейді. Зерттеу қауымдастығы жауап берді — Open-AoE 2000 сағат эгоцентрлік бейне жариялады, EgoDex 3D қолмен бақылау арқылы 829 сағат жеткізді, ал EgoVerse қазір мыңдаған нақты әлемдегі тапсырмаларды қамтитын 1362 сағаттық адамдық демонстрацияларды қамтиды.
Бірақ бір мәселе бар: бұл деректерді жинау үшін пайдаланылатын аппараттық құралдар сұранысқа сай келмейді. Қазіргі кездегі көптеген эгоцентрлік деректер жиынтығы қайта пайдаланылған тұтынушылық құрылғыларды - смартфондарды, экшн-камераларды және VR гарнитураларын пайдаланып жиналады. Бұл құрылғылар ешқашан роботтық оқыту деректерін жинау үшін жасалмаған. Оларда жаһандық ысырма сенсорлары, аппараттық синхрондау және зауыттық калибрлеу жоқ - бұл пайдалануға болатын оқыту деректерін өндіру үшін талқыланбайтын мүмкіндіктер.
Эго камерасы – Эгоцентрлік деректерді жинауға арналған арнайы жасалған
Ego Camera мұны өзгертеді. Бұл роботтарды оқыту деректеріне арналған басқа орнатылған стерео камера — арнайы жасалған, қайта пайдаланылмайды. Имитациялық оқытуға арналған киілетін деректерді жинау құрылғысы және жасанды интеллект деректерін жинау үшін арнайы жасалған, ол роботтарды оқытудағы прогресті баяулатқан аппараттық құралдағы олқылықты жояды.
Негізгі мүмкіндіктер
Қозғалысты түсіруге арналған жаһандық жапқыш
Сызық бойынша көрсететін жылжымалы ысырма сенсорларынан айырмашылығы, Ego Camera қос ғаламдық ысырма сенсорлары барлық пиксельдерді бір уақытта көрсетеді. Әрбір кадр геометриялық тұрғыдан бүтін — қол мен дененің жылдам қозғалысы кезінде бұрмалану жоқ, желе әсері жоқ. Бұл Ego Camera құрылғысын қозғалысты түсіруге арналған қос линзалы ғаламдық ысырма камерасына айналдырады, VLA және диффузиялық саясатты оқыту үшін шынымен пайдалануға болатын кадрларды ұсынады.
Аппараттық синхрондалған стерео көру
Екі камера да ортақ аппараттық сигналмен іске қосылады, бұл сол және оң жақтағы кадрлардың бір сәтте түсірілуін қамтамасыз етеді. Тереңдікті қабылдауға арналған бұл аппараттық синхрондалған стерео камера стерео жұптар арасындағы уақытша сәйкессіздікті жояды — бұл дәл стерео сәйкестендіру, тереңдікті бағалау және 3D реконструкциясы үшін маңызды. Қабылдау жүйелерін құрып жатқан зерттеушілер үшін бұл 3D реконструкциясына арналған синхрондалған стерео камера, ол бірден сенімді нәтижелер береді.
Аппараттық синхрондау мүмкіндігі бар кіріктірілген 6 осьті IMU
Кіріктірілген акселерометр мен гироскоп VIO және SLAM құбырлары үшін маңызды қозғалыс компенсациясы деректерін береді. SLAM үшін IMU бар бұл бас киетін стерео камера 100 Гц-тен 500 Гц-ке дейінгі конфигурацияланатын дискреттеу жиілігін ұсынады — баяу манипуляциядан бастап жоғары жылдамдықты қимылдарға дейінгі әртүрлі қозғалыс динамикасына бейімделеді. IMU аппараттық уақыт белгісімен белгіленген және камера кадрларымен наносекунд деңгейінде синхрондалған — бағдарламалық интерполяцияланбаған. Бұл VINS-Fusion, OpenVINS және ORB-SLAM3-пен толық үйлесімді, дрейфсіз визуалды-инерциялық біріктіруді қамтамасыз етеді. Бұл, барлық мағынада, VIO әзірлеуіне арналған басқа орнатылған жаһандық жапқыш камера.
Зауыттық калибрлеу – Қосып іске қосу
Әрбір құрылғы ішкі параметрлерді, бұрмалау коэффициенттерін және стерео сыртқы факторларды қамтитын бірегей калибрлеу файлымен бірге келеді. Шахмат тақталары жоқ. Орында калибрлеу жоқ. Жасанды интеллект үшін зауытта калибрленген бас камера 5 минут ішінде жазуға дайын — USB арқылы қосып, түсіруді бастаңыз.
Бірыңғай наносекундтық уақыт белгілері
Әрбір камера кадры және әрбір IMU үлгісі бірдей аппараттық сағатты пайдаланады, бұл наносекундтық деңгейдегі уақыттық туралауға қол жеткізеді. Деректер жинағын жинауға арналған аппараттық уақыт белгісі бар бұл стерео камера кәсіби эгоцентрлік эталондар мен VIO құбырлары үшін қажетті дәлдік стандарттарына сәйкес келеді.
Қораптан не аласыз
- Синхрондалған сол/оң стерео бейне (MP4)
- Аппараттық уақыт белгілері (CSV) бар 6 осьті IMU деректері
- Бірегей зауыттық калибрлеу файлы (YAML)
- Windows, Linux және ROS үшін толық SDK/API
- USB арқылы қосылып-қосылатын қосылым
Кімге арналған?
Сіз университеттің зерттеу зертханасы, жасанды интеллект компаниясы немесе деректер жинау қызметін ұсынушы болсаңыз да, Ego Camera сіздің қажеттіліктеріңіз үшін робототехника деректерін жинауға арналған ең жақсы киілетін камера болып табылады. Ол жасанды интеллект деректер жиынтығын жинауға арналған стерео көру гарнитурасы және жасанды интеллект зерттеулеріне арналған тиімді бас камера ретінде қызмет етеді — калибрлеу мәселелерінсіз кәсіби деңгейдегі деректер сапасын қамтамасыз етеді.
Жарияланған уақыты: 2026 жылғы 19 тамыз
