Ego kamera — uz galvas stiprināma stereo redzes ierīce robotu mācību datu vākšanai
Uz galvas montējams binokulārās kameras modulis, kas izstrādāts ekskluzīvi cilvēku demonstrācijas datu uztveršanai. Tas piegādā ar aparatūru sinhronizētus, rūpnīcā iepriekš kalibrētus egocentriskus neapstrādātus sensoru datus, lai nodrošinātu imitācijas mācīšanos un iemiesotu mākslīgā intelekta procesus.
Datu sašaurinājums, kas nomoka fizisko mākslīgo intelektu
Līdz 2026. gadam visā robotikas nozarē bija izveidojusies vispārēja vienprātība: dati ir kritisks šķērslis, kas kavē mērogojamu fiziska mākslīgā intelekta ieviešanu. Lieli valodu modeļi trenējas ar triljoniem teksta žetonu, tomēr iemiesotajām mākslīgā intelekta sistēmām ir piekļuve mazāk nekā vienai desmittūkstošajai daļai no šī apjoma reālās pasaules fiziskās mijiedarbības videomateriālos.
Šī atšķirība rada milzīgus šķēršļus progresam. Vadošās robotikas laboratorijas lēš, ka progresīvu manipulācijas politiku apmācībai nākamo 2–3 gadu laikā ir nepieciešami no 100 miljoniem līdz 1 miljardam stundu egocentriska pirmās personas videoieraksta. Pat viena atsevišķa manipulācijas uzdevuma apmācības datu kopām ir nepieciešamas no 100 000 līdz 1 miljonam stundu ierakstītas cilvēka darbības.
Nozares praktiķi ir vienisprātis, ka egocentriska datu ieguve nodrošina visaugstāko mērogojamību. Tā vietā, lai paļautos uz dārgām teleoperāciju iekārtām, kas maksā desmitiem tūkstošu ASV dolāru par vienību, pētniecības komandas un datu pārdevēji tagad izmanto vieglas, uz galvas montējamas kameras, lai uzņemtu demonstrācijas materiālus, kamēr cilvēki veic dabiskus ikdienas uzdevumus.
Šīs pārmaiņas jau ir redzamas reālās pasaules izvietojumos. 2026. gada aprīlī vīrusveidīgi izplatījušies video materiāli parādīja tūkstošiem tekstilrūpniecības darbinieku visā Indijas Deli nacionālajā galvaspilsētas reģionā, kuri valkāja kompaktas, uz galvas piestiprināmas kameras, ko ražojis Egolab.AI. Šie operatori tagad ģenerē milzīgus egocentriskus video datu kopumus, lai apmācītu nākamās paaudzes humanoīdus robotus.
Kāpēc egocentriski pirmās personas dati ir neaizstājami
Robotiem ir jāuztver precīza vizuālā informācija, ko redz cilvēki, lai precīzi atkārtotu cilvēka motoriskās prasmes. Virkne pētījumu, kas publicēti laikposmā no 2025. līdz 2026. gadam, apstiprina egocentrisku datu kopu pārveidojošo vērtību:
1.
CilvēkaEgo Tikai 30 minūtes ilga cilvēka egocentriska video katram uzdevumam sasniedz 92,5% vidējo veiksmes rādītāju reālās pasaules manipulācijas uzdevumos, nodrošinot nulles kadra prasmju pārnesi no cilvēkiem robotiem.
2.
EgoMimic Cilvēka demonstrācijas datu integrēšana uzlabo uzdevumu veiktspēju par 34% līdz 228%, salīdzinot ar tikai robotu apmācības datiem. Viena stunda papildu cilvēka rokas videoieraksta nodrošina daudz lielāku modeļa uzlabojumu nekā viena stunda papildu robota pašu apkopotu datu. Hibrīdi cilvēka un robota datu kopumi nodrošina arī labāku apmācības un izvietošanas veiktspēju, tostarp videoierakstus no liela darbības rādiusa teleoperāciju darbplūsmām.
3.
EgoScale Šo sistēmu, ko izstrādājuši NVIDIA pētnieki, izmanto daudzveidīgu 20 854 stundu cilvēka egocentrisku videoierakstu datu kopu, lai paplašinātu veiklības manipulācijas iespējas vispārējos uzdevumos.
4.
Atvērtā AoE Publicē 2000 stundu garu egocentrisku video datu kopu, kas apvienota ar sinhronizētām rokas kinemātiku un atomu darbības anotācijām.
5.
Vismodernākās sistēmas Jaunākās sistēmas, tostarp EgoGuide un EgoLive, vēl vairāk vienkāršo demonstrāciju uztveršanu bez robotiem un liela mēroga egocentrisku datu kopu ģenerēšanu.
Neskatoties uz šo nozares attīstību, aparatūras risinājumi augstas kvalitātes egocentriskai uztveršanai joprojām ir sadrumstaloti. Pētniekiem un datu komandām ir jākombinē patērētāju sporta kameras, paplašinātās realitātes brilles un pielāgotas platformas, tādējādi apdraudot sinhronizācijas precizitāti, kalibrēšanas konsekvenci un ilgstošu valkāšanas komfortu.
Ego kameras produkta pārskats
Ego kamera ir uz galvas montējams binokulārs stereo kameras modulis, kas no paša sākuma ir izstrādāts egocentriskai datu uztveršanai robotu apguves, iemiesota mākslīgā intelekta un imitācijas apguves darbplūsmās.
Atšķirībā no pārstrādātām patērētāju sporta kamerām, kas pielāgotas pētniecības vajadzībām, Ego kamera ir īpaši izstrādāta akadēmiskās un rūpnieciskās robotikas izstrādei. Tā uzreiz izvada tīrus, ar aparatūru sinhronizētus, rūpnīcā iepriekš kalibrētus neapstrādātus sensoru datus, un nav nepieciešama nekāda pēcapstrādes iestatīšana.
Galvenās tehniskās specifikācijas
| Specifikācija | Sīkāka informācija |
|---|---|
| Attēla sensori | Divkāršie 2MP globālā slēdža CMOS sensori |
| Horizontālais redzes lauks (HFOV) | 60–65°, kas atbilst dabiskajam cilvēka redzes diapazonam |
| Slēģu tehnoloģija | Globālais slēdzis; novērš slīdošā slēdža kropļojumus ātrgaitas kustības laikā |
| IMU modulis | 6 asu ICM-26888-P (3 asu akselerometrs + 3 asu žiroskops), 200–500 Hz paraugu ņemšanas frekvence |
| Sinhronizācijas mehānisms | Aparatūras GPIO aktivizētājs; kadra-IMU sinhronizācijas kļūda < 10 mikrosekundes |
| Laika zīmogošana | Aparatūras līmeņa vienoti nanosekundes laika zīmogi katram attēla kadram un IMU nolasījumam |
| Vadu saskarne | USB 2.0 C tipa, saderīgs ar UVC; starpplatformu SDK atbalsts operētājsistēmām Windows, Linux un ROS |
| Bezvadu izvietošana | Iebūvēts Wi-Fi + MicroSD kartes atmiņa; videoierakstu prioritāte tiek piešķirta lokālajai krātuvei, automātiska augšupielāde mākonī, atkārtoti izveidojot savienojumu ar tīklu |
| Montāžas standarts | 1/4″-20 vītņoti montāžas caurumi, saderīgi ar neoriģinālām galvas siksnām un pielāgotiem stiprinājumiem |
| Kalibrēšana | Rūpnīcā iepriekš kalibrēti stereo iekšējie/ārējie parametri un kameras-IMU transformācijas, kas pastāvīgi tiek glabātas iebūvētajā zibatmiņā |
Kāpēc globālais slēģis nav apspriežams robotu apguves kontekstā
Patērētāju kameras izmanto ritošā slēdža sensorus, kas secīgi eksponē pikseļu rindas. Ātras cilvēka rokas kustības — pastāvīgi sastopams elements demonstrācijas videoierakstos — rada nopietnus ritošā slēdža artefaktus, kas pazīstami kā “želejas efekts”: sašķiebtas objektu malas, ģeometriskā deformācija un neuzticama objektu izsekošana.
Šie kropļojumi kropļo robotikas cauruļvadus. VIO front-end, vizuālie SLAM algoritmi un imitācijas mācīšanās politikas nevar pieļaut neparedzamas starpkadru pazīmju nobīdes, kas krasi pasliktina modeļa vispārināšanu un reālās pasaules uzdevumu veiktspēju.
Ego kameras globālais slēdža sensors vienlaikus eksponē visus pikseļus vienā uzņemšanas logā. Katrs kadrs atbilst nepārprotamai stingra ķermeņa pozai bez ģeometriskiem kropļojumiem — obligāts standarts stingriem robotikas pētījumiem un komerciālo modeļu apmācībai.
Tā kā nozare tiecas pēc arvien lielākiem egocentriskiem datu kopumiem (piemēram, EgoLive vairāku tūkstošu stundu gariem augstas precizitātes stereoierakstu arhīviem, kas aptver reālas mājsaimniecības un rūpnieciskās darbības), pieprasījums pēc kropļojumiem nesaturošas, kadru ziņā precīzas uztveršanas aparatūras turpina pieaugt.
Aparatūras sinhronizācija: atšķirība starp zemas kvalitātes un ražošanas līmeņa apmācības datiem
Kad cilvēki veic manipulāciju secības — sniedzas, satver, novieto objektus —, robotu politikas prasa precīzu laika saskaņošanu starp vizuālo rokas kustību un inerciālo ķermeņa kustību. Pat dažas milisekundes desinhronizācijas starp kameras kadriem un IMU rādījumiem piesārņo visas apmācības datu kopas. Programmatūras laika zīmoga saskaņošana (mīkstā sinhronizācija) uzkrāj nobīdi ierakstīšanas sesiju laikā un neatbilst augstas precizitātes VIO un imitācijas mācību cauruļvadu precizitātes standartiem.
Ego kamera izmanto īpašu GPIO impulsu, lai vienlaikus iedarbinātu gan binokulāros sensorus, gan IMU, nodrošinot sinhronizācijas precizitāti, kas ir labāka par 10 mikrosekundēm. Katram attēla kadram un inerciālajam paraugam ir koplietots aparatūras laika zīmogs, kas atbilst stingrajām galveno VIO ietvaru, tostarp VINS-Fusion un OpenVINS, laika prasībām.
Flagmaņa anotētie egocentriskie datu kopumi, piemēram, Open-AoE, paļaujas uz šo aparatūras sinhronizācijas līmeni, lai piegādātu sinhronizētas teksta etiķetes, uz MANOS balstītu rokas pozas novērtējumu, kameras trajektorijas žurnālus un laika ziņā lokalizētas atomu darbības atzīmes — visus galvenos rezultātus, kurus Ego kamera ir paredzēta, lai atbalstītu dabiski.
Rūpnīcas iepriekšēja kalibrēšana: novēršiet laikietilpīgu kalibrēšanu uz vietas
Manuālā kalibrēšana ir viens no resursietilpīgākajiem šķēršļiem vairāku kameru datu uztveršanas darbplūsmās. Objektīva iekšējo parametru, stereo ārējo nobīžu un kameras-IMU transformācijas matricu regulēšanai ir nepieciešams specializēts optiskais aprīkojums, tehniskās zināšanas un darba stundas katrai ierīcei.
Ego kamera pilnībā novērš šo darbplūsmu. Katra ierīce pirms rūpnīcas atstāšanas tiek pilnībā kalibrēta. Visi kritiskie parametri — fokusa attālums, galvenā punkta koordinātas, deformācijas koeficienti, stereo ārējie parametri un kameras-IMU transformācijas — tiek neatgriezeniski ierakstīti iebūvētajā zibatmiņā.
Pētnieku komandas un datu piegādātāji var sākt ierakstīt derīgus videoierakstus piecu minūšu laikā pēc izpakošanas, neizmantojot šaha galdiņa mērķus, kalibrēšanas platformas vai pusdienas kalibrēšanas sesijas. Mūsdienu augsta līmeņa egocentriskiem datu kopumiem ir nepieciešama rūpnīcā iepriekš kalibrēta kameras aparatūra — specifikācija, kas ir tieši iebūvēta katrā Ego kameras ierīcē.
Divi izvietošanas režīmi, viena vienota aparatūras platforma
1. USB vadu režīms
Izveidojiet savienojumu ar klēpjdatoriem vai darbstacijām, lai veiktu tiešraides priekšskatījumu reāllaikā un ierakstītu ar zemu latentumu. Optimizēts kontrolētām laboratorijas vidēm, kur pētnieki pēc pieprasījuma apstiprina datu kvalitāti. Pilnībā atbalsta starpplatformu SDK, kas ir saderīgi ar Windows, Linux un ROS robotikas ietvariem.
2. Wi-Fi + MicroSD kartes bezsaistes režīms
Nepiesaistīta ierakstīšana liela mēroga izkliedētai datu vākšanai. Visi uzņemtie materiāli vispirms tiek ierakstīti lokālajā MicroSD atmiņā, lai novērstu datu zudumu tīkla pārtraukumu laikā; kad savienojums ir atjaunots, faili tiek automātiski sinhronizēti ar attāliem mākoņserveriem vai lokālām datu noliktavām. Ideāli piemērots vairāku ainu ierakstīšanai virtuvēs, ražošanas darbnīcās, birojos un citās reālās pasaules vidēs, lai ģenerētu tūkstošiem stundu demonstrācijas materiālu.
Strukturētu neapstrādātu datu izvade (bez iebūvētas mākslīgā intelekta apstrādes)
Ierīce izvada nemainītus, tīrus, neapstrādātus sensoru datus bez iebūvētas attēlu izlīdzināšanas, automātiskās anotācijas vai ierīcē iebūvētas mākslīgā intelekta secināšanas, saglabājot pilnīgu neapstrādāto datu precizitāti integrācijai pielāgotos apmācību procesos:
kreisais_video.mp4/labais_video.mp4Sinhronizētas stereo binokulārās video plūsmasimu_6axis.csv6 asu inerciālo mērījumu žurnāli (akselerometrs + žiroskops), kas atzīmēti ar aparatūras laika zīmogiemlaika zīmogi_ns.txtVienoti nanosekundes aparatūras laika zīmogi visiem attēlu kadriem un IMU paraugiemkalibrēšanas_parametri.yamlRūpnīcā ceptas iekšējās, ārējās un kameras-IMU kalibrēšanas transformācijas
Mērķauditorijas lietotāju segmenti
Iemiesotas mākslīgā intelekta un imitācijas mācīšanās akadēmiskās pētniecības laboratorijas
Humanoīdu robotu un veiklo manipulācijas robotikas ražotāji
Specializēti datu pakalpojumu sniedzēji, kas ģenerē apmācības datu kopas fiziskām mākslīgā intelekta klientiem
Pētniecības un attīstības komandas izstrādā VIO un vizuālos SLAM algoritmus
Robotikas komandas mērogo liela mēroga egocentriskas demonstrācijas datu vākšanas darbplūsmas
Publicēšanas laiks: 2026. gada 11. augusts
