Ego Camera — прылада стэрэабачання, якая мацуецца на галаву, для збору дадзеных аб навучанні робатаў
Модуль бінакулярнай камеры, які мацуецца на галаве і распрацаваны выключна для збору дадзеных ад дэманстрацый людзей. Ён перадае апаратна сінхранізаваныя, папярэдне адкалібраваныя на заводзе эгацэнтрычныя неапрацаваныя дадзеныя датчыкаў для падтрымкі імітацыйнага навучання і ўвасобленых канвеераў штучнага інтэлекту.
Вузкае месца дадзеных, якое перашкаджае фізічнаму штучнаму інтэлекту
Да 2026 года ў галіне робататэхнікі сфарміраваўся ўсеагульны кансенсус: дадзеныя з'яўляюцца найважнейшым вузкім месцам, якое перашкаджае маштабаванаму разгортванню фізічнага штучнага інтэлекту. Вялікія моўныя мадэлі навучаюцца на трыльёнах тэкставых токенаў, аднак увасобленыя сістэмы штучнага інтэлекту маюць доступ да менш чым адной дзесяцітысячнай гэтага аб'ёму ў рэальных відэаматэрыялах фізічнага ўзаемадзеяння.
Гэтая дыспрапорцыя стварае велізарную перашкоду на шляху прагрэсу. Вядучыя лабараторыі робататэхнікі падлічылі, што для навучання перадавым метадам маніпулявання патрабуецца ад 100 мільёнаў да 1 мільярда гадзін эгацэнтрычных відэаматэрыялаў ад першай асобы на працягу наступных 2-3 гадоў. Нават для адной асобнай задачы маніпуляцыі навучальныя наборы дадзеных патрабуюць ад 100 000 да 1 мільёна гадзін запісанай чалавечай дзейнасці.
Спецыялісты галіны сыходзяцца ў меркаванні, што эгацэнтрычны збор дадзеных забяспечвае найвышэйшую маштабаванасць. Замест таго, каб спадзявацца на дарагія ўстаноўкі тэлеаперацыі, якія каштуюць дзясяткі тысяч долараў ЗША за адзінку, даследчыя групы і пастаўшчыкі дадзеных цяпер выкарыстоўваюць лёгкія камеры, якія мацуюцца на галовы, для здымкі дэманстрацыйных відэа, пакуль людзі выконваюць звычайныя штодзённыя задачы.
Гэты зрух ужо бачны ў рэальных умовах. У красавіку 2026 года вірусныя відэазапісы паказалі тысячы тэкстыльных рабочых па ўсім рэгіёне Дэлі НКР у Індыі, якія носяць кампактныя камеры, усталяваныя на шлемах кампаніі Egolab.AI. Цяпер гэтыя аператары ствараюць велізарныя наборы відэададзеных для навучання гуманоідных робатаў наступнага пакалення.
Чаму эгацэнтрычныя дадзеныя ад першай асобы незаменныя
Робаты павінны ўспрымаць дакладныя візуальныя дадзеныя, якія бачаць людзі, каб дакладна паўтарыць маторныя навыкі чалавека. Хваля даследаванняў, апублікаваных паміж 2025 і 2026 гадамі, пацвярджае трансфармацыйную каштоўнасць эгацэнтрычных набораў дадзеных:
1.
Чалавечае Эга Усяго 30 хвілін відэа пра чалавека-эгацэнтрыка на заданне дасягаюць сярэдняга паказчыка поспеху 92,5% у рэальных маніпуляцыйных задачах, што дазваляе перадаваць навыкі ад людзей да робатаў без шанцаў.
2.
ЭгаМімік Інтэграцыя дадзеных аб дэманстрацыі дзеянняў чалавека павышае прадукцыйнасць задач на 34–228 % у параўнанні з дадзенымі аб навучанні толькі з выкарыстаннем робатаў. Адна гадзіна дадатковых відэазапісаў рук чалавека забяспечвае значна большае паляпшэнне мадэлі, чым адна гадзіна дадатковых дадзеных, сабраных самастойна робатам. Гібрыдныя наборы дадзеных чалавека і робата таксама забяспечваюць лепшую прадукцыйнасць навучання і разгортвання, у тым ліку відэазапісы з працоўных працэсаў тэлеаперацый на вялікіх адлегласці.
3.
ЭгаШкала Распрацаваная даследчыкамі NVIDIA, гэтая платформа выкарыстоўвае разнастайны набор дадзеных з 20 854 гадзін відэазапісаў пра эгацэнтрычных людзей для маштабавання магчымасцей спрытных маніпуляцый для выканання агульных задач.
4.
Адкрытае поле дзеяння Выпускае 2000-гадзінны эгацэнтрычны відэанабор дадзеных у спалучэнні з сінхранізаванай кінематыкай рук і анатацыямі атамных дзеянняў.
5.
Найноўшыя фрэймворкі Перадавыя фрэймворкі, у тым ліку EgoGuide і EgoLive, яшчэ больш спрашчаюць захоп дэманстрацый без робатаў і стварэнне маштабных эгацэнтрычных набораў даных.
Нягледзячы на гэты імпульс галіны, апаратныя рашэнні для высакаякаснай эгацэнтрычнай здымкі застаюцца фрагментаванымі. Даследчыкі і каманды па працы з дадзенымі вымушаны збіраць разам спажывецкія экшн-камеры, акуляры дапоўненай рэальнасці і спецыяльна распрацаваныя ўстаноўкі, што прыводзіць да шкоды дакладнасці сінхранізацыі, паслядоўнасці каліброўкі і камфорту пры працяглым нашэнні.
Агляд прадукту Ego Camera
Ego Camera — гэта бінакулярны стэрэамодуль камеры, які мацуецца на галаве і распрацаваны з нуля для эгацэнтрычнага збору дадзеных у навучанні робатаў, увасобленым штучным інтэлекце і працоўных працэсах імітацыйнага навучання.
У адрозненне ад экшн-камер, адаптаваных для даследаванняў, якія выкарыстоўваюцца ў звычайных умовах, камера Ego распрацавана спецыяльна для акадэмічных і прамысловых робататэхнічных канвеераў. Яна выдае чыстыя, сінхранізаваныя з абсталяваннем, папярэдне адкалібраваныя на заводзе неапрацаваныя датчыкі адразу пасля ўсталёўкі без неабходнасці дадатковай пасляапрацоўкі.
Асноўныя тэхнічныя характарыстыкі
| Спецыфікацыя | Падрабязнасці |
|---|---|
| Датчыкі выявы | Двайныя 2-мегапіксельныя CMOS-датчыкі з глабальнай засаўкай |
| Гарызантальнае поле зроку (HFOV) | 60–65°, што адпавядае натуральнаму дыяпазону зроку чалавека |
| Тэхналогія засаўкі | Глабальны затвор; ліквідуе скажэнні, выкліканыя рухомым затворам, падчас хуткаснага руху |
| Модуль інерцыяльнага кіравання (ІМУ) | 6-восевы ICM-26888-P (3-восевы акселерометр + 3-восевы гіраскоп), частата дыскрэтызацыі 200–500 Гц |
| Механізм сінхранізацыі | Апаратны трыгер GPIO; памылка сінхранізацыі кадра-IMU < 10 мікрасекунд |
| Часавыя меткі | Уніфікаваныя нанасекундныя часовыя меткі на ўзроўні абсталявання для кожнага кадра выявы і паказанняў IMU |
| Правадны інтэрфейс | USB 2.0 Type-C, сумяшчальны з UVC; падтрымка кросплатформенных SDK для Windows, Linux і ROS |
| Бесправадное разгортванне | Убудаваны Wi-Fi + карта памяці MicroSD; відэазапісы прыярытэтна захоўваюцца ў лакальным сховішчы, аўтаматычная загрузка ў воблака пры паўторным падключэнні да сеткі |
| Стандарт мантажу | Разьбовыя мантажныя адтуліны 1/4″-20, сумяшчальныя з неарыгінальнымі рамянямі для галавы і карыстальніцкімі мацаваннямі |
| Каліброўка | Завадскія папярэдне адкалібраваныя стэрэа-ўнутраныя/знешнія параметры і пераўтварэнні камеры-IMU, якія пастаянна захоўваюцца ва ўбудаванай флэш-памяці |
Чаму глабальны затвор не падлягае абмеркаванню для навучання робатаў
Спажывецкія камеры абапіраюцца на датчыкі рухомага затвора, якія паслядоўна экспануюць радкі пікселяў. Хуткія рухі рук чалавека — пастаянны элемент у дэманстрацыйных відэаматэрыялах — ствараюць сур'ёзныя артэфакты рухомага затвора, вядомыя як «эфект жэле»: скажоныя краі аб'ектаў, геаметрычная дэфармацыя і ненадзейнае адсочванне элементаў.
Гэтыя скажэнні паралізуюць канвееры робататэхнікі. Інтэрфейсы VIO, візуальныя алгарытмы SLAM і палітыкі імітацыйнага навучання не могуць цярпець непрадказальныя зрухі прыкмет паміж кадрамі, што рэзка пагаршае абагульненне мадэлі і прадукцыйнасць рэальных задач.
Глабальны датчык засаўкі камеры Ego адначасова экспануе ўсе пікселі ў адным акне здымкі. Кожны кадр адпавядае адназначнай позе цвёрдага цела без геаметрычных скажэнняў — абавязковы стандарт для дбайных даследаванняў робататэхнікі і навучання камерцыйных мадэляў.
Паколькі галіна імкнецца да ўсё большых эгацэнтрычных набораў дадзеных (напрыклад, шматтысячагадзінных архіваў EgoLive з высакаякаснымі стэрэазапісамі, якія ахопліваюць рэальныя бытавыя і прамысловыя задачы), попыт на абсталяванне для захопу без скажэнняў і з дакладнасцю кадраў працягвае расці.
Сінхранізацыя абсталявання: падзел паміж нізкаякаснымі і прадукцыйнымі навучальнымі дадзенымі
Калі людзі выконваюць маніпуляцыйныя паслядоўнасці — дасягаюць, хапаюць, размяшчаюць аб'екты — палітыка робатаў патрабуе дакладнага часавага ўзгаднення паміж візуальным рухам рукі і інерцыйным рухам цела. Нават некалькі мілісекунд рассінхранізацыі паміж кадрамі камеры і паказаннямі IMU забруджваюць усе наборы навучальных даных. Праграмнае ўзгадненне часовых пазнак (мяккая сінхранізацыя) назапашвае дрэйф падчас сеансаў запісу і не адпавядае стандартам дакладнасці для высакаякасных VIO і імітацыйных навучальных канвеераў.
Камера Ego выкарыстоўвае спецыяльны імпульс GPIO для адначасовага ўключэння бінакулярных датчыкаў і IMU, забяспечваючы дакладнасць сінхранізацыі лепш за 10 мікрасекунд. Кожны кадр выявы і інерцыяльны ўзор маюць агульную апаратную часовую метку, што адпавядае строгім часавым патрабаванням асноўных фрэймворкаў VIO, у тым ліку VINS-Fusion і OpenVINS.
Флагманскія анатаваныя эгацэнтрычныя наборы дадзеных, такія як Open-AoE, абапіраюцца на гэты ўзровень апаратнай сінхранізацыі для стварэння сінхранізаваных тэкставых метак, ацэнкі позы рукі на аснове MANOS, журналаў траекторыі камеры і часова лакалізаваных атамных тэгаў дзеянняў — усіх асноўных прадуктаў, якія Ego Camera прызначана для падтрымкі ўбудаванай тэхналогіі.
Папярэдняя каліброўка на заводзе: пазбаўцеся ад працаёмкай каліброўкі на месцы
Ручная каліброўка з'яўляецца адным з самых рэсурсаёмістых вузкіх месцаў для працоўных працэсаў збору дадзеных з некалькіх камер. Налада ўласных параметраў аб'ектыва, знешніх стэрэакампенсацыяў і матрыц пераўтварэння камеры ў інерцыяльны блок патрабуе спецыялізаванага аптычнага абсталявання, тэхнічных ведаў і гадзін працы на кожную прыладу.
Камера Ego цалкам выключае гэты працоўны працэс. Кожная прылада праходзіць поўную каліброўку перад тым, як пакінуць завод. Усе крытычныя параметры — фокусная адлегласць, каардынаты галоўнай кропкі, каэфіцыенты скажэння, стэрэа-экстрасныя ўласцівасці і пераўтварэнні камеры ў IMU — пастаянна запісваюцца на ўбудаваную флэш-памяць.
Даследчыя групы і пастаўшчыкі дадзеных могуць пачаць запісваць сапраўдныя відэаматэрыялы ўжо праз пяць хвілін пасля распакавання, без неабходнасці выкарыстання шахматных мішэняў, калібравальных установак або паўдзённых сеансаў каліброўкі. Сучасныя высакаякасныя эгацэнтрычныя наборы дадзеных патрабуюць папярэдняй адкаліброванай заводскай апаратнай часткі камеры — спецыфікацыі, убудаванай непасрэдна ў кожную камеру Ego.
Два рэжымы разгортвання, адзіная ўніфікаваная апаратная платформа
1. Рэжым праваднога USB
Падключайцеся да ноўтбукаў або рабочых станцый для папярэдняга прагляду ў рэжыме рэальнага часу і запісу з нізкай затрымкай. Аптымізавана для кантраляваных лабараторных асяроддзяў, дзе даследчыкі пацвярджаюць якасць дадзеных па патрабаванні. Поўная падтрымка кросплатформенных SDK, сумяшчальных з платформамі робататэхнікі Windows, Linux і ROS.
2. Аўтаномны рэжым Wi-Fi + карта MicroSD
Запіс без прывязкі для маштабнага размеркаванага збору дадзеных. Усе захопленыя відэа спачатку запісваюцца на лакальнае сховішча MicroSD, каб прадухіліць страту дадзеных падчас збояў у сетцы; пасля аднаўлення падключэння файлы аўтаматычна сінхранізуюцца з аддаленымі воблачнымі серверамі або лакальнымі сховішчамі дадзеных. Ідэальна падыходзіць для шматсцэнавай здымкі на кухнях, вытворчых майстэрнях, у офісах і іншых рэальных асяроддзях для стварэння тысяч гадзін дэманстрацыйнага відэаматэрыялу.
Структураваны вывад неапрацаваных дадзеных (без убудаванай апрацоўкі штучным інтэлектам)
Прылада выдае нязмененыя, чыстыя неапрацаваныя дадзеныя датчыкаў без убудаванага згладжвання выявы, аўтаматычнай анатацыі або штучнага інтэлекту на прыладзе, захоўваючы поўную дакладнасць неапрацаваных дадзеных для інтэграцыі ў карыстальніцкія навучальныя канвееры:
левае_відэа.mp4/right_video.mp4Сінхранізаваныя стэрэабінокулярныя відэаструменіimu_6axis.csv6-восевыя журналы інерцыяльных вымярэнняў (акселерометр + гіраскоп) з тэгамі апаратнага часуtimestamps_ns.txtУніфікаваныя нанасекундныя апаратныя часовыя меткі для ўсіх кадраў выявы і ўзораў IMUкалібрацыйныя_параметры.yamlЗавадскія ўласныя, знешнія і калібравальныя пераўтварэнні камеры-IMU
Мэтавыя сегменты карыстальнікаў
Увасоблены штучны інтэлект і імітацыйнае навучанне, акадэмічныя даследчыя лабараторыі
Вытворцы гуманоідных робатаў і спрытных маніпуляцыйных робатаў
Спецыялізаваныя пастаўшчыкі паслуг апрацоўкі дадзеных, якія ствараюць навучальныя наборы дадзеных для фізічных кліентаў штучнага інтэлекту
Каманды даследаванняў і распрацоўнікаў распрацоўваюць алгарытмы VIO і візуальнага SLAM
Каманды робататэхнікі маштабуюць маштабныя эгацэнтрычныя дэманстрацыйныя працоўныя працэсы збору дадзеных
Час публікацыі: 11 жніўня 2026 г.
