Ego kamera – ant galvos tvirtinamas stereoskopinio matymo įrankis robotų mokymosi duomenų rinkimui
Ant galvos tvirtinamas binokulinis kameros modulis, sukurtas išskirtinai žmonių demonstraciniams duomenims fiksuoti. Jis teikia aparatinės įrangos sinchronizuotus, gamykloje iš anksto sukalibruotus egocentrinius neapdorotus jutiklių duomenis, skirtus imitaciniam mokymuisi ir įkūnyto dirbtinio intelekto sistemoms.
Duomenų kliūtis, kamuojanti fizinį dirbtinį intelektą
Iki 2026 m. visoje robotikos pramonėje susiformavo visuotinis sutarimas: duomenys yra pagrindinė kliūtis, trukdanti diegti keičiamo mastelio fizinį dirbtinį intelektą. Dideli kalbos modeliai mokomi trilijonais teksto žetonų, tačiau įkūnytos dirbtinio intelekto sistemos turi prieigą prie mažiau nei dešimt tūkstantosios dalies šio kiekio realaus pasaulio fizinės sąveikos vaizdo įrašuose.
Šis skirtumas yra didžiulė kliūtis pažangai. Pirmaujančios robotikos laboratorijos apskaičiavo, kad per ateinančius 2–3 metus pažangių manipuliavimo politikų mokymui reikia nuo 100 milijonų iki 1 milijardo valandų egocentriškos pirmojo asmens filmuotos medžiagos. Net ir vienai atskirai manipuliavimo užduočiai mokymo duomenų rinkiniams reikia nuo 100 000 iki 1 milijono valandų įrašytos žmogaus veiklos.
Pramonės specialistai sutinka, kad egocentriškas duomenų rinkimas užtikrina didžiausią mastelio keitimą. Užuot pasikliovę brangiomis nuotolinio valdymo platformomis, kurių vienetas kainuoja dešimtis tūkstančių JAV dolerių, tyrėjų komandos ir duomenų tiekėjai dabar naudoja lengvas, ant galvos tvirtinamas kameras, kad užfiksuotų demonstracinę medžiagą, kol žmonės atlieka natūralias kasdienes užduotis.
Šis pokytis jau matomas realiame pasaulyje. 2026 m. balandžio mėn. virusiniu būdu išplitusiame vaizdo įraše matyti tūkstančiai tekstilės darbuotojų visame Indijos Delio NCR regione, dėvintys kompaktiškas, ant galvos tvirtinamas kameras, pagamintas „Egolab.AI“. Šie operatoriai dabar generuoja didžiulius egocentriškus vaizdo duomenų rinkinius, kad apmokytų naujos kartos humanoidinius robotus.
Kodėl egocentriniai pirmojo asmens duomenys yra būtini
Robotai turi tiksliai suvokti tą pačią vizualinę informaciją, kurią mato žmonės, kad tiksliai atkartotų žmogaus motorinius įgūdžius. 2025–2026 m. paskelbtų tyrimų banga patvirtina egocentrinių duomenų rinkinių transformacinę vertę:
1.
ŽmogausEgo Vos 30 minučių trukmės žmogaus egocentriško vaizdo įrašo kiekvienai užduočiai pasiekiamas vidutinis 92,5 % sėkmės rodiklis atliekant realaus pasaulio manipuliavimo užduotis, o tai leidžia be jokio bandymo perduoti įgūdžius iš žmonių robotams.
2.
EgoMimic Žmonių demonstracinių duomenų integravimas padidina užduočių našumą 34–228 %, palyginti su tik robotų mokymo duomenimis. Viena valanda papildomų žmogaus rankų filmuotų vaizdo įrašų užtikrina daug didesnį modelio patobulinimą nei viena valanda papildomų roboto savarankiškai surinktų duomenų. Hibridiniai žmogaus ir roboto duomenų rinkiniai taip pat užtikrina geresnius mokymo ir diegimo našumus, įskaitant filmuotą medžiagą iš tolimojo nuotolio nuotolinių operacijų darbo eigų.
3.
EgoSkalė Šią „NVIDIA“ tyrėjų sukurtą sistemą sudaro 20 854 valandų žmogaus egocentriškos filmuotos medžiagos ir ji panaudoja įvairų duomenų rinkinį, kad būtų galima pritaikyti miklaus manipuliavimo galimybes atliekant bendras užduotis.
4.
Atviras AoE Išleidžia 2000 valandų egocentrinį vaizdo įrašų rinkinį, susietą su sinchronizuotomis rankos kinematikos ir atominių veiksmų anotacijomis.
5.
Pažangiausios sistemos Pažangiausios sistemos, įskaitant „EgoGuide“ ir „EgoLive“, dar labiau supaprastina demonstracinių duomenų rinkimą be robotų ir didelio masto egocentriškų duomenų rinkinių generavimą.
Nepaisant šio pramonės pagreičio, aukštos kokybės egocentriško fiksavimo aparatinės įrangos sprendimai išlieka fragmentiški. Tyrėjai ir duomenų komandos yra priverstos derinti vartotojams skirtas veiksmo kameras, papildytosios realybės akinius ir pagal užsakymą pagamintas platformas, o tai kenkia sinchronizavimo tikslumui, kalibravimo nuoseklumui ir ilgalaikiam patogumui.
„Ego Camera“ produkto apžvalga
„Ego Camera“ yra ant galvos tvirtinamas binokulinis stereo kameros modulis, sukurtas nuo nulio egocentriniam duomenų rinkimui robotų mokymosi, įkūnyto dirbtinio intelekto ir imitacinio mokymosi procesuose.
Skirtingai nuo perdirbtų vartotojų veiksmo kamerų, pritaikytų moksliniams tyrimams, „Ego Camera“ yra specialiai sukurta akademinių ir pramoninių robotų projektams. Ji iš karto pateikia švarius, aparatine įranga sinchronizuotus, gamykloje iš anksto sukalibruotus neapdorotus jutiklių duomenis, nereikalaujant jokio papildomo apdorojimo.
Pagrindinės techninės specifikacijos
| Specifikacija | Išsami informacija |
|---|---|
| Vaizdo jutikliai | Dvigubi 2 MP globalaus užrakto CMOS jutikliai |
| Horizontalus matymo laukas (HFOV) | 60–65°, atitinkantis natūralų žmogaus regėjimo diapazoną |
| Užrakto technologija | „Global Shutter“; pašalina riedančio užrakto iškraipymus greitaeigių judesių metu |
| IMU modulis | 6 ašių ICM-26888-P (3 ašių akselerometras + 3 ašių giroskopas), 200–500 Hz diskretizavimo dažnis |
| Sinchronizavimo mechanizmas | Aparatinės įrangos GPIO paleidiklis; kadro ir IMU sinchronizavimo klaida < 10 mikrosekundžių |
| Laiko žymėjimas | Aparatinės įrangos lygio suvienodinti nanosekundiniai laiko žymės kiekvienam vaizdo kadrui ir IMU rodmenims |
| Laidinė sąsaja | USB 2.0 Type-C, suderinamas su UVC; kelių platformų SDK palaikymas „Windows“, „Linux“ ir ROS sistemoms |
| Belaidžio ryšio diegimas | Integruotas „Wi-Fi“ + „MicroSD“ kortelės saugykla; filmuota medžiaga pirmenybę teikia vietinei saugyklai, automatinis įkėlimas į debesį, kai vėl prisijungiama prie tinklo |
| Montavimo standartas | 1/4″-20 srieginės tvirtinimo angos, suderinamos su neoriginaliais galvos dirželiais ir nestandartiniais tvirtinimo elementais |
| Kalibravimas | Gamykloje iš anksto sukalibruoti stereo vidiniai/išoriniai parametrai ir kameros-IMU transformacijos, nuolat saugomos vidinėje „flash“ atmintyje |
Kodėl „Global Shutter“ yra neginčijamas robotų mokymosi aspektas?
Vartotojams skirtos kameros veikia su riedančio užrakto jutikliais, kurie nuosekliai eksponuoja pikselių eilutes. Greiti žmogaus rankų judesiai – nuolatinis elementas demonstracinėje medžiagoje – sukuria ryškius riedančio užrakto artefaktus, vadinamus „želė efektu“: iškreiptus objektų kraštus, geometrinį iškraipymą ir nepatikimą elementų sekimą.
Šie iškraipymai sutrikdo robotikos procesus. VIO sąsajos, vizualiniai SLAM algoritmai ir imitacinio mokymosi politikos negali toleruoti nenuspėjamų tarpkadrinių požymių poslinkių, kurie smarkiai pablogina modelio apibendrinimą ir realaus pasaulio užduočių atlikimą.
„Ego Camera“ globalus užrakto jutiklis vienu metu viename fiksavimo lange eksponuoja visus pikselius. Kiekvienas kadras atitinka nedviprasmišką standaus kūno pozą be geometrinių iškraipymų – tai privalomas standartas griežtiems robotikos tyrimams ir komercinių modelių mokymui.
Kadangi pramonė siekia vis didesnių egocentrinių duomenų rinkinių (pvz., „EgoLive“ kelių tūkstančių valandų archyvai su aukštos kokybės stereo filmuota medžiaga, apimančia realias namų ūkių ir pramonės užduotis), iškraipymų neturinčios, tikslios kadrų fiksavimo įrangos paklausa toliau auga.
Aparatinės įrangos sinchronizavimas: skirtumas tarp žemos kokybės ir gamybinės klasės mokymo duomenų
Kai žmonės vykdo manipuliavimo sekas – siekia, suima, deda objektus – robotų politika reikalauja tikslaus laiko suderinimo tarp vizualių rankos judesių ir inercinių kūno judesių. Net kelios milisekundės kameros kadrų ir IMU rodmenų desinchronizavimo užteršia visus mokymo duomenų rinkinius. Programinės įrangos pagrindu veikiantis laiko žymų suderinimas (minkštasis sinchronizavimas) kaupia poslinkį įrašymo seansų metu ir neatitinka tikslumo standartų, keliamų aukštos kokybės VIO ir imitacinio mokymosi srautams.
„Ego Camera“ naudoja specialų GPIO impulsą, kad vienu metu suaktyvintų abu binokulinius jutiklius ir IMU, užtikrindama geresnį nei 10 mikrosekundžių sinchronizacijos tikslumą. Kiekvienas vaizdo kadras ir inercinis pavyzdys turi bendrą aparatinės įrangos laiko žymą – tai atitinka griežtus pagrindinių VIO sistemų, įskaitant VINS-Fusion ir OpenVINS, laiko reikalavimus.
Pagrindiniai anotuoti egocentriniai duomenų rinkiniai, tokie kaip „Open-AoE“, remiasi šiuo aparatinės įrangos sinchronizavimo lygiu, kad pateiktų sinchronizuotas teksto etiketes, MANOS pagrįstą rankos pozos įvertinimą, kameros trajektorijų žurnalus ir laike lokalizuotas atominių veiksmų žymas – visus pagrindinius rezultatus, kuriuos „Ego Camera“ yra sukurta palaikyti natūraliai.
Gamyklinis išankstinis kalibravimas: panaikinkite daug laiko reikalaujantį kalibravimą vietoje
Rankinis kalibravimas yra viena iš daugiausiai išteklių reikalaujančių kliūčių kelių kamerų duomenų fiksavimo darbo eigoje. Vidinių objektyvo parametrų, stereoskopinių išorinių poslinkių ir kameros bei IMU transformacijos matricų derinimas reikalauja specializuotos optinės įrangos, techninių žinių ir darbo valandų kiekvienam įrenginiui.
„Ego Camera“ visiškai panaikina šį darbo eigą. Kiekvienas įrenginys prieš išvežant jį iš gamyklos yra visiškai kalibruojamas. Visi svarbiausi parametrai – židinio nuotolis, pagrindinio taško koordinatės, iškraipymo koeficientai, stereoskopiniai išoriniai parametrai ir kameros bei IMU transformacijos – yra visam laikui įrašomi į integruotą „flash“ atmintį.
Mokslininkų komandos ir duomenų tiekėjai gali pradėti įrašyti tinkamą filmuotą medžiagą per penkias minutes nuo išpakavimo, nereikalaujant jokių šachmatų lentos formos taikinių, kalibravimo stendų ar pusės dienos kalibravimo sesijų. Šiuolaikiniai aukšto lygio egocentriniai duomenų rinkiniai reikalauja gamykloje iš anksto sukalibruotos kameros įrangos – specifikacijos, integruotos tiesiai į kiekvieną „Ego Camera“ įrenginį.
Du diegimo režimai, viena vieninga aparatinės įrangos platforma
1. USB laidinis režimas
Prijunkite prie nešiojamųjų kompiuterių arba darbo stočių, kad galėtumėte peržiūrėti duomenis realiuoju laiku ir įrašyti su maža delsa. Optimizuota kontroliuojamoms laboratorinėms aplinkoms, kuriose tyrėjai pagal poreikį patvirtina duomenų kokybę. Visiškai palaiko kelių platformų SDK, suderinamus su „Windows“, „Linux“ ir ROS robotikos sistemomis.
2. „WiFi“ + „MicroSD“ kortelės neprisijungus režimas
Nepririštas įrašymas didelio masto paskirstytam duomenų rinkimui. Visi užfiksuoti kadrai pirmiausia įrašomi į vietinę „MicroSD“ atmintinę, kad būtų išvengta duomenų praradimo tinklo sutrikimų atveju; atkūrus ryšį, failai automatiškai sinchronizuojami su nuotoliniais debesies serveriais arba vietiniais duomenų saugyklomis. Idealiai tinka kelių scenų įrašymui virtuvėse, gamybos cechuose, biuruose ir kitose realiose aplinkose, siekiant sukurti tūkstančius valandų demonstracinės filmuotos medžiagos.
Struktūrizuotų neapdorotų duomenų išvestis (nereikia integruoto dirbtinio intelekto apdorojimo)
Įrenginys išveda nepakeistus, grynus neapdorotus jutiklių duomenis be integruoto vaizdo išlyginimo, automatinio anotavimo ar įrenginyje esančių dirbtinio intelekto išvadų, išsaugant visišką neapdorotų duomenų tikslumą integravimui į individualius mokymo srautus:
kairė_vaizdo_nuotrauka.mp4/dešinysis_vaizdo_įrašas.mp4Sinchronizuoti stereo žiūronų vaizdo srautaiimu_6axis.csv6 ašių inercinių matavimų žurnalai (akselerometras + giroskopas), pažymėti aparatinės įrangos laiko žymomislaiko žymos_ns.txtVieningi nanosekundiniai aparatinės įrangos laiko žymės visiems vaizdo kadrams ir IMU pavyzdžiamskalibravimo_parametrai.yamlGamykloje sukurtos vidinės, išorinės ir kameros-IMU kalibravimo transformacijos
Tiksliniai vartotojų segmentai
Įkūnytos dirbtinio intelekto ir imitacinio mokymosi akademinės tyrimų laboratorijos
Humanoidinių robotų ir vikrių manipuliavimo robotų gamintojai
Specializuoti duomenų paslaugų teikėjai, generuojantys mokymo duomenų rinkinius fiziniams dirbtinio intelekto klientams
Mokslinių tyrimų ir plėtros komandos kuria VIO ir vizualinius SLAM algoritmus
Robotų komandos, pritaikančios didelio masto egocentrinius demonstracinius duomenų rinkimo procesus
Įrašo laikas: 2026 m. rugpjūčio 11 d.
