Robotų mokymuisi plečiantis iš kontroliuojamų laboratorijų į realaus pasaulio aplinką, nuolat iškyla viena kliūtis: duomenų rinkimas.
Teleoperacija tiksli, bet lėta. Trečiojo asmens kameros nepastebi operatoriaus požiūrio taško. Vartotojams skirtose veiksmo kamerose trūksta jutiklių sinchronizacijos, kurios reikalauja šiuolaikinis imitacinis mokymasis ir VIO kanalai.
Į šią sritį skinasi kelią nauja aparatinės įrangos parinktis. Mūsų „Ego Camera“ – tai ant galvos nešiojama binokulinė stereo kamera, specialiai sukurta egocentriškam duomenų rinkimui įkūnytoje dirbtinio intelekto ir robotų manipuliavimo tyrimuose.
Požiūris, atitinkantis robotą
Modulis nešiojamas ant žmogaus galvos – kaip lengvas galvos raištis – ir tiksliai įrašo tai, ką operatorius mato užduoties metu. Ši pirmojo asmens (egocentrinė) perspektyva tapo pagrindiniu dėmesio objektu pastaruoju metu atliekant robotikos tyrimus.
Didelio masto 2025–2026 m. atlikti tyrimai, įskaitant „HumanEgo“, „EgoMimic“ ir „EgoScale“, parodė, kad robotų politika, apmokyta naudojant žmogaus egocentrišką vaizdo įrašą, gali prilygti arba pranokti nuotolinių operacijų duomenimis apmokytą politiką, o tai kainuoja daug mažiau nei surinkimo išlaidos. Svarbus yra požiūris: dislokuotas robotas pasaulį mato per savo paties jutiklius, o ne nuo lubų ar trikojo laikiklio.
Mūsų „Ego Camera“ sukurta tam, kad užpildytų šią spragą, teikdama mokymo duomenis, kurie atitinka tikrąjį roboto išvadų požiūrį, pašalindama perspektyvos neatitikimą modelio mokymo metu.
Jutiklių projektavimas tyrimų vamzdynams
„Global-Shutter“ stereo jutikliai
Kameros modulyje naudojami du 2 MP globalinio užrakto jutikliai su 60–65° horizontaliu matymo lauku, atitinkančiu standartinį humanoidinių robotų galvų regėjimo modulių matymo lauką. Globalus užraktas yra sąmoningas pagrindinio dizaino pasirinkimas: kiekvienas pikselis eksponuojamas vienu metu, visiškai pašalinant riedančio užrakto drebučių iškraipymą, kuris dinaminio įrašymo metu iškreipia greitus rankų ir kūno judesius.
Neapdorotų duomenų išsaugojimas (be EIS)
Mes sąmoningai pašalinome integruotą EIS elektroninį vaizdo stabilizavimą. EIS apkerpa pradinį matymo lauką ir modifikuoja gamykloje sukalibruotus vidinius ir išorinius parametrus, o tai sutrikdytų stereoskopinį atitikimą ir kameros bei IMU kalibravimo nuoseklumą. Neapdoroti viso kadro pradiniai duomenys skirti roboto algoritmo apdorojimui.
Mikrosekundinė aparatinės įrangos sinchronizacija
Integruotas ICM-2688 6 ašių IMU (akselerometras + giroskopas, diskretizavimas 200–500 Hz dažniu) sinchronizuojamas per specialų GPIO trigerio signalą. Vieningas impulsinis signalas, siunčiamas per GPIO kontaktus, vienu metu suaktyvina stereo kameras ir IMU diskretizavimą. Sinchronizavimo paklaida yra mažesnė nei 10 mikrosekundžių, o kiekvienas vaizdo kadras ir IMU pavyzdys turi vieningą aparatinės įrangos laiko žymą.
Šis sinchronizacijos lygis yra privalomas standartas pagrindiniams VIO kanalams, tokiems kaip VINS-Fusion ir OpenVINS, kur programinės įrangos laiko žymų derinimas sukaupia akivaizdų trajektorijos poslinkį ilgų įrašymo sekų metu.
Borto kalibravimo saugykla
Pilnas gamyklinis kalibravimas apima stereo vidinius ir išorinius stereofoninius signalus bei kameros ir IMU transformacijas. Visi kalibravimo parametrai saugomi integruotoje „Flash“ atmintyje ir yra visiškai nuskaitomi naudojant kelių platformų SDK – po įrangos paleidimo nereikia pakartotinio kalibravimo vietoje.
Diegimo lankstumas
Palaikomi du veikimo režimai, kad būtų galima atlikti visus tyrimų scenarijus.
Standartinė kelių formatų duomenų išvestis
1. Vietinis įrašymas į integruotą TF kortelę (įrašymas neprisijungus)
- Sinchronizuoti kairiojo ir dešiniojo žiūronų MP4 vaizdo failai greitai peržiūrai
- Nepriklausomi CSV žurnalai, kuriuose saugomi neapdoroti IMU duomenys, susieti su mikrosekundžių laiko žymomis
2. Įrašymas į pagrindinį kompiuterį per SDK (USB jungtis ROS/ROS2 aplinkoje)
Palaiko pilnų sinchronizuotų ROSbag ir lengvų MCAP jutiklių duomenų rinkinių eksportavimą, visiškai suderinamą su pagrindinėmis robotikos kūrimo ekosistemomis.
Visos aparatinės įrangos laiko žymos yra įterptos kiekvienam kadrui ir IMU pavyzdiui. Visus gamyklinio kalibravimo parametrų failus galima pasiekti per oficialų SDK.
Pažymėtina, kad modulis neturi integruotų dirbtinio intelekto apdorojimo ar automatinio anotavimo funkcijų. Pagrindinė jo funkcija – išvesti švarius, laiku suderintus neapdorotus jutiklių duomenis, paliekant modelio mokymą, taikinio aptikimą ir algoritmo išvadų kūrimą nepriklausomiems tyrėjų kūrimo procesams.
Pritaikymas ir komercinis prieinamumas
„Ego Camera“ dabar prieinama pasaulinėms tyrimų laboratorijoms, robotikos startuoliams ir humanoidinių robotų gamintojams. Masiniams ODM projektams palaikomos pritaikomos stereofoninės bazinės linijos atstumo ir objektyvo regos lauko konfigūracijos.
Kiekvienam užsakymui pateikiamas pilnas techninis SDK, veikimo dokumentacija ir pavyzdiniai bandymų kodai, siekiant sumažinti aparatinės įrangos integravimo išlaidas.
Susisiekite
Jei jums reikia produktų pavyzdžių, SDK dokumentacijos, techninių parametrų konsultacijos ar pritaikytų techninės įrangos sprendimų jūsų robotų mokymosi projektui, siųskite užklausą el. paštu. Mūsų inžinierių komanda teikia individualią techninę pagalbą SLAM, VIO ir įkūnyto dirbtinio intelekto duomenų rinkinių rinkimo projektams.
Įrašo laikas: 2026 m. liepos 29 d.
