Ego Camera – роботтарды оқыту деректерін жинауға арналған басқа орнатылған стерео көру құралы
Адамның демонстрациялық деректерін түсіру үшін арнайы жасалған басына орнатылған бинокулярлық камера модулі. Ол имитациялық оқытуды және жасанды интеллект құбырларын қуаттандыру үшін аппараттық синхрондалған, зауытта алдын ала калибрленген эгоцентрикалық шикі сенсор деректерін жеткізеді.
Физикалық жасанды интеллектке кедергі келтіретін деректер кедергісі
2026 жылға қарай робототехника саласында әмбебап консенсус қалыптасты: деректер - масштабталатын физикалық жасанды интеллектті орналастыруға кедергі келтіретін маңызды кедергі. Ірі тілдік модельдер триллиондаған мәтіндік токендерге негізделген, бірақ жасанды интеллект жүйелері нақты әлемдегі физикалық өзара әрекеттесу кадрларындағы осы көлемнің он мыңнан бірінен азына қол жеткізе алады.
Бұл теңсіздік прогреске үлкен кедергі келтіреді. Жетекші робототехника зертханаларының бағалауы бойынша, озық манипуляция саясатын оқыту үшін алдағы 2-3 жыл ішінде 100 миллионнан 1 миллиард сағатқа дейінгі эгоцентрикалық бірінші жақтан түсірілген кадрлар қажет. Тіпті бір ғана дискретті манипуляция тапсырмасы үшін де оқыту деректер жиынтығы 100 000-нан 1 миллион сағатқа дейінгі адам белсенділігін талап етеді.
Сала мамандары эгоцентрлік деректерді жинау ең жоғары масштабталуды қамтамасыз ететінімен келіседі. Зерттеу топтары мен деректер жеткізушілері бірлігі ондаған мың АҚШ долларын құрайтын қымбат телеоперациялық құрылғыларға сүйенудің орнына, адамдар күнделікті табиғи тапсырмаларды орындап жатқанда демонстрациялық кадрларды түсіру үшін жеңіл бас камераларын пайдаланады.
Бұл өзгеріс нақты әлемдегі орналастыруларда қазірдің өзінде байқалады. 2026 жылдың сәуірінде вирустық кадрлар Үндістанның Дели NCR аймағындағы мыңдаған тоқыма жұмысшыларының Egolab.AI компаниясы шығарған ықшам басына бекітілетін камераларды киіп жүргенін көрсетті. Бұл операторлар қазір келесі буын гуманоидты роботтарды оқыту үшін үлкен эгоцентрлік бейне деректер жиынтығын жасайды.
Неліктен эгоцентрлік бірінші тұлғаның деректері қажет
Роботтар адамның моторикасын дәл қайталау үшін адамдар көрген визуалды кірісті дәл қабылдауы керек. 2025 және 2026 жылдар аралығында жарияланған зерттеулер толқыны эгоцентрлік деректер жиынтығының трансформациялық құндылығын растайды:
1.
Адамгершілік Әрбір тапсырма үшін небәрі 30 минуттық адами эгоцентрикалық бейне нақты әлемдегі манипуляциялық тапсырмалардың орташа табыс көрсеткішінің 92,5%-ына жетеді, бұл адамдардан роботтарға дағдыларды нөлдік жылдамдықпен беруге мүмкіндік береді.
2.
ЭгоМимикалық Адамның демонстрациялық деректерін біріктіру тапсырманың орындалуын тек роботқа арналған оқыту деректерімен салыстырғанда 34%-ға, яғни 228%-ға арттырады. Бір сағаттық қосымша адам қолының кадрлары роботтың өзі жинаған бір сағаттық қосымша деректерге қарағанда модельді әлдеқайда жақсырақ жетілдіреді. Гибридті адам-робот деректер жиынтығы сонымен қатар ұзақ қашықтықтағы телеоперация жұмыс процестерінен алынған кадрларды қоса алғанда, жоғары деңгейлі оқыту және орналастыру өнімділігін береді.
3.
Эгомасштаб NVIDIA зерттеушілері әзірлеген бұл құрылым жалпы тапсырмалар бойынша епті манипуляция мүмкіндіктерін кеңейту үшін 20 854 сағаттық адам эгоцентрикалық кадрлардан тұратын әртүрлі деректер жиынтығын пайдаланады.
4.
Ашық режим Синхрондалған қол кинематикасы және атомдық әрекет аннотацияларымен жұптастырылған 2000 сағаттық эгоцентрлік бейне деректер жиынтығын шығарады.
5.
Заманауи қаңқалар EgoGuide және EgoLive сияқты заманауи құрылымдар роботсыз демонстрациялық түсіруді және ауқымды эгоцентрлік деректер жиынтығын жасауды одан әрі жеңілдетеді.
Осы салалық серпінге қарамастан, жоғары сапалы эгоцентрлік түсірілімге арналған аппараттық шешімдер әлі де бөлшектенген күйінде қалып отыр. Зерттеушілер мен деректер топтары тұтынушылық экшн-камераларды, AR көзілдіріктерін және арнайы жасалған құрылғыларды біріктіруге мәжбүр, бұл синхрондау дәлдігін, калибрлеу тұрақтылығын және процестің ұзақ уақытқа созылатын жайлылығын бұзады.
Ego Camera өніміне шолу
Ego Camera – роботтық оқытуда, жасанды интеллектте және имитациялық оқыту жұмыс процестерінде эгоцентрикалық деректерді түсіру үшін нөлден бастап жасалған, басқа орнатылған бинокулярлық стерео камера модулі.
Зерттеу мақсаттарына бейімделген қайта пайдаланылған тұтынушылық экшн-камералардан айырмашылығы, Ego камерасы академиялық және өнеркәсіптік робототехника құбырлары үшін арнайы жасалған. Ол таза, аппараттық синхрондалған, зауытта алдын ала калибрленген шикі сенсор деректерін қораптан шығарып, өңдеуден кейінгі орнатуды қажет етпейді.
Негізгі техникалық сипаттамалар
| Техникалық сипаттама | Мәліметтер |
|---|---|
| Кескін сенсорлары | Қос 2MP жаһандық жапқыш CMOS сенсорлары |
| Көлденең көру өрісі (HFOV) | 60–65°, адамның табиғи көру қашықтығына сәйкес келеді |
| Жапқыш технологиясы | Global Shutter; жоғары жылдамдықты қозғалыс кезінде айналмалы ысырманың бұрмалануын жояды |
| IMU модулі | 6 осьті ICM-26888-P (3 осьті акселерометр + 3 осьті гироскоп), 200–500 Гц дискретизация жиілігі |
| Синхрондау механизмі | Аппараттық GPIO триггері; кадр-IMU синхрондау қатесі < 10 микросекунд |
| Уақыт белгісін қою | Әрбір кескін кадры және IMU көрсеткіші үшін аппараттық деңгейдегі бірыңғай наносекундтық уақыт белгілері |
| Сымды интерфейс | USB 2.0 Type-C, UVC үйлесімді; Windows, Linux және ROS үшін платформааралық SDK қолдауы |
| Сымсыз орналастыру | Борттық WiFi + MicroSD картасының сақтау орны; кадрлар жергілікті сақтау орнына басымдық береді, желіні қайта қосқан кезде автоматты түрде бұлтқа жүктеледі |
| Орнату стандарты | 1/4 дюймнен 20-ға дейінгі бұрандалы бекіту тесіктері, қосымша сатылымдағы бас бауларымен және арнайы бекіткіштермен үйлесімді |
| Калибрлеу | Зауыттың алдын ала калибрленген стерео ішкі/сыртқы параметрлері және камера-IMU түрлендірулері, борттық флэш-жадта тұрақты сақталады |
Неліктен роботтарды оқыту үшін жаһандық жапқыш келіссөздер жүргізуге жатпайды?
Тұтынушы камералары пиксель қатарларын тізбектей көрсететін жылжымалы ысырма сенсорларына сүйенеді. Демонстрациялық кадрларда үнемі кездесетін элемент - адам қолының жылдам қозғалыстары «желе эффектісі» деп аталатын ауыр жылжымалы ысырма артефактілерін тудырады: қиғаш нысан жиектері, геометриялық бұрмалану және сенімсіз элементтерді бақылау.
Бұл бұрмалаулар робототехника құбырларын істен шығарады. VIO интерфейстері, визуалды SLAM алгоритмдері және имитациялық оқыту саясаты модельді жалпылауды және нақты әлемдегі тапсырмаларды орындауды күрт төмендететін болжанбайтын кадраралық мүмкіндіктердің ауысуына шыдай алмайды.
Ego камерасының жаһандық ысырма сенсоры барлық пиксельдерді бір түсіру терезесінде бір уақытта көрсетеді. Әрбір кадр нөлдік геометриялық бұрмаланусыз біркелкі қатты дене позасын көрсетеді — бұл робототехниканы мұқият зерттеу және коммерциялық модельдерді оқыту үшін міндетті стандарт.
Сала эгоцентрлік деректер жиынтығының (мысалы, EgoLive-тің нақты тұрмыстық және өндірістік тапсырмаларды қамтитын жоғары сапалы стерео кадрлардың мыңдаған сағаттық мұрағаттары) кеңеюіне ұмтылған сайын, бұрмаланбайтын, кадрға дәл түсіретін жабдыққа деген сұраныс артып келеді.
Аппараттық құралдарды синхрондау: сапасыз және өндірістік деңгейдегі оқыту деректері арасындағы алшақтық
Адамдар манипуляциялық тізбектерді орындаған кезде – заттарды ұстау, оларға қол жеткізу, орналастыру – робот саясаты визуалды қол қозғалысы мен инерциялық дене қозғалысы арасында дәл уақыттық туралауды талап етеді. Тіпті камера кадрлары мен IMU көрсеткіштері арасындағы бірнеше миллисекундтық десинхрондау бүкіл оқу деректер жиынтығын ластайды. Бағдарламалық жасақтамаға негізделген уақыт белгісін туралау (жұмсақ синхрондау) жазу сессияларында ауытқуды жинақтайды және жоғары дәлдіктегі VIO және имитациялық оқыту құбырлары үшін дәлдік стандарттарына сәйкес келмейді.
Ego камерасы бинокулярлық сенсорларды да, IMU-ны да бір уақытта іске қосу үшін арнайы GPIO импульсін пайдаланады, бұл синхрондау дәлдігін 10 микросекундтан жоғары жеткізеді. Әрбір кескін кадры мен инерциялық үлгі VINS-Fusion және OpenVINS сияқты негізгі VIO фреймворктерінің қатаң уақыттық талаптарына сай келетін ортақ аппараттық уақыт белгісін тасымалдайды.
Open-AoE сияқты флагмандық аннотацияланған эгоцентрлік деректер жиынтықтары синхрондалған мәтіндік белгілерді, MANOS негізіндегі қол позасын бағалауды, камера траекториясының журналдарын және уақытша локализацияланған атомдық әрекет тегтерін жеткізу үшін аппараттық синхрондаудың осы деңгейіне сүйенеді — Ego Camera жергілікті түрде қолдау көрсетуге арналған барлық негізгі жеткізілімдер.
Зауытта алдын ала калибрлеу: уақытты қажет ететін жергілікті калибрлеуді болдырмаңыз
Қолмен калибрлеу көп камералы деректерді түсіру жұмыс процестері үшін ең көп ресурстарды қажет ететін кедергілердің бірі болып табылады. Линзаның ішкі параметрлерін, стерео сыртқы ығысуларды және камера-IMU түрлендіру матрицаларын реттеу үшін арнайы оптикалық жабдық, техникалық сараптама және әр құрылғы үшін сағаттық жұмыс күші қажет.
Ego камерасы бұл жұмыс процесін толығымен жояды. Әрбір құрылғы зауыттан шығар алдында толықтай калибрлеуден өтеді. Барлық маңызды параметрлер — фокустық қашықтық, негізгі нүкте координаттары, бұрмалау коэффициенттері, стереоэкстринкалар және камера-IMU түрлендірулері — борттық флэш-жадқа тұрақты түрде жазылады.
Зерттеу топтары мен деректер жеткізушілері қораптан шығарылғаннан кейін бес минут ішінде жарамды кадрларды жаза бастай алады, бұл ретте шахматтық нысандар, калибрлеу қондырғылары немесе жарты күндік калибрлеу сеанстары қажет емес. Қазіргі заманғы жоғары стандартты эгоцентрлік деректер жиынтығы зауытта алдын ала калибрленген камера жабдығын талап етеді — бұл әрбір Ego Camera құрылғысына тікелей орнатылған сипаттама.
Екі орналастыру режимі, бірыңғай бірыңғай аппараттық платформа
1. USB сымды режимі
Нақты уақыттағы тікелей алдын ала қарау және төмен кідіріспен жазу үшін ноутбуктерге немесе жұмыс станцияларына қосылыңыз. Зерттеушілер деректер сапасын сұраныс бойынша тексеретін бақыланатын зертханалық орталар үшін оңтайландырылған. Windows, Linux және ROS робототехникалық жүйелерімен үйлесімді платформааралық SDK-лармен толық қолдау көрсетіледі.
2. WiFi + MicroSD картасының офлайн режимі
Ірі көлемді таратылған деректерді жинауға арналған байланыссыз жазба. Барлық түсірілген кадрлар желі үзілістері кезінде деректердің жоғалуын болдырмау үшін алдымен жергілікті MicroSD жадына жазылады; байланыс қалпына келтірілгеннен кейін файлдар қашықтағы бұлт серверлеріне немесе жергілікті деректер қоймаларына автоматты түрде синхрондалады. Ас үйлерде, өндірістік шеберханаларда, кеңселерде және басқа да нақты орталарда мыңдаған сағаттық демонстрациялық кадрларды жасау үшін көп көріністі түсіруге өте ыңғайлы.
Құрылымдық шикі деректерді шығару (ішкі жасанды интеллект өңдеусіз)
Құрылғы өзгертілмеген, таза шикі сенсор деректерін кірістірілген кескінді тегістеу, автоматты аннотация немесе құрылғыдағы жасанды интеллект туралы қорытындысыз шығарады — арнайы оқыту құбырларына интеграциялау үшін толық шикі дәлдікті сақтайды:
сол жақ_бейне.mp4/оң_бейне.mp4Синхрондалған стерео бинокулярлық бейне ағындарыimu_6axis.csvАппараттық уақыт белгілерімен белгіленген 6 осьті инерциялық өлшеу журналдары (акселерометр + гироскоп)уақыт белгілері_ns.txtБарлық кескін кадрлары мен IMU үлгілері үшін бірыңғай наносекундтық аппараттық уақыт белгілерікалибрлеу_параметрлері.yamlЗауытта пісірілген ішкі, сыртқы және камера-IMU калибрлеу түрлендірулері
Мақсатты пайдаланушы сегменттері
Жасанды интеллект және имитациялық оқытудың академиялық зерттеу зертханалары
Гуманоидты роботтар және епті манипуляциялық робототехника өндірушілері
Физикалық жасанды интеллект клиенттері үшін оқыту деректер жиынтығын жасайтын мамандандырылған деректер қызметінің провайдерлері
VIO және визуалды SLAM алгоритмдерін құратын ғылыми-зерттеу және тәжірибелік-конструкторлық топтар
Робототехника топтары кең ауқымды эгоцентрикалық демонстрациялық деректерді жинау жұмыс процестерін кеңейтуде
Жарияланған уақыты: 2026 жылғы 11 тамыз
