Thaum kev kawm ntawm neeg hlau nce qib los ntawm qhov chaw tswj hwm hauv chav kuaj mus rau qhov chaw nyob tiag tiag, muaj ib qho teeb meem tshwm sim tas li: kev sau cov ntaub ntawv.
Kev ua haujlwm hauv xov tooj yog qhov tseeb tab sis qeeb. Cov koob yees duab thib peb tsis nkag siab txog tus neeg teb xov tooj lub tswv yim. Cov koob yees duab ua haujlwm ntawm cov neeg siv khoom tsis muaj qhov sib dhos ntawm lub sensor uas kev kawm ua raws li niaj hnub no thiab cov kav dej VIO xav tau.
Ib qho kev xaiv kho vajtse tshiab tab tom nkag mus rau hauv qhov chaw. Peb lub koob yees duab Ego yog lub koob yees duab binocular stereo uas hnav lub taub hau uas tsim tshwj xeeb rau kev ntes cov ntaub ntawv egocentric hauv kev tshawb fawb txog AI thiab kev tswj hwm neeg hlau.
Ib Lub Zeem Muag Uas Sib Xws Li Robot
Lub module no hnav rau ntawm tib neeg lub taub hau - zoo li lub headband uas tsis hnyav - thiab sau cia qhov uas tus neeg teb xov tooj pom thaum ua haujlwm. Lub zeem muag thawj tus neeg (egocentric) no tau dhau los ua qhov tseem ceeb hauv kev tshawb fawb txog robotics tsis ntev los no.
Cov kev tshawb fawb loj loj txij li xyoo 2025 txog 2026 — suav nrog HumanEgo, EgoMimic, thiab EgoScale — tau qhia tias cov cai ntawm cov neeg hlau uas tau kawm txog kev yees duab uas tsom mus rau tib neeg tus kheej tuaj yeem sib phim lossis ua tau zoo dua li cov uas tau kawm txog kev ua haujlwm hauv xov tooj, ntawm ib feem me me ntawm tus nqi sau. Lub zeem muag tseem ceeb: tus neeg hlau, thaum xa mus, pom lub ntiaj teb los ntawm nws cov sensors onboard, tsis yog los ntawm lub qab nthab lossis lub tripod mount.
Peb lub koob yees duab Ego tau tsim los txuas qhov sib txawv ntawd, muab cov ntaub ntawv kev cob qhia uas phim lub zeem muag tiag tiag ntawm tus neeg hlau, tshem tawm qhov tsis sib xws ntawm lub zeem muag rau kev cob qhia qauv.
Tsim Qauv Sensor rau Cov Kav Dej Tshawb Fawb
Cov Sensors Stereo Thoob Ntiaj Teb
Lub koob yees duab module siv ob lub global-shutter 2MP sensors nrog lub 60–65° kab rov tav teb ntawm kev pom, sib xws nrog tus qauv FOV ntawm humanoid robot lub taub hau pom modules. Global shutter yog qhov kev xaiv tsim tseem ceeb: txhua pixel nthuav tawm tib lub sijhawm, tshem tawm tag nrho cov jelly distortion uas ua rau puas tsuaj tes thiab lub cev txav ceev thaum lub sijhawm kaw dynamic.
Kev Khaws Cov Ntaub Ntawv Raw (Tsis Muaj EIS)
Peb txhob txwm tshem tawm qhov kev ruaj khov duab hluav taws xob EIS uas nyob hauv lub cev. EIS txiav cov duab qub thiab hloov kho cov yam ntxwv sab hauv thiab sab nraud uas tau teeb tsa los ntawm lub Hoobkas, uas yuav ua rau kev sib phim ntawm lub stereo thiab kev teeb tsa lub koob yees duab-IMU tsis sib xws. Cov ntaub ntawv qub tag nrho yog khaws cia rau kev ua cov txheej txheem algorithm ntawm cov neeg hlau tom qab.
Kev Sib Txuas Lus Kho Vaj Tse Microsecond
ICM-2688 6-axis IMU (accelerometer + gyroscope, sampling ntawm 200–500 Hz) uas ua rau hauv yog synchronized los ntawm GPIO trigger signal. Ib lub unified pulse signal xa los ntawm GPIO pins ua rau lub koob yees duab stereo thiab IMU sampling tib lub sijhawm. Qhov yuam kev sync yog nyob rau hauv 10 microseconds, thiab txhua lub video frame thiab IMU sample nqa ib lub unified hardware timestamp.
Qib kev sib dhos no yog tus qauv yuav tsum muaj rau cov kav dej VIO xws li VINS-Fusion thiab OpenVINS, qhov twg software-xwb timestamp sib dhos sib sau ua ke qhov kev hloov pauv ntawm cov kab ke ntev.
Kev Khaws Cia Kev Ntsuas Hauv Tsheb
Kev kho kom raug tag nrho los ntawm lub Hoobkas suav nrog kev hloov pauv stereo intrinsics, extrinsics, thiab kev hloov pauv ntawm lub koob yees duab mus rau IMU. Txhua qhov kev teeb tsa calibration tau khaws cia rau hauv onboard Flash thiab nyeem tau tag nrho los ntawm cross-platform SDK - tsis tas yuav rov kho dua tom qab pib siv cov khoom siv.
Kev Yooj Yim Rau Kev Xa Mus
Muaj ob hom kev ua haujlwm uas txhawb nqa los npog txhua qhov xwm txheej tshawb fawb.
Cov Ntaub Ntawv Tso Tawm Ntau Hom Ntawv Txheem
1. Muaj TF card hauv zos (offline capture)
- Cov ntaub ntawv video MP4 binocular sab laug thiab sab xis sib dhos ua ke rau kev saib ua ntej sai
- Cov ntaub ntawv CSV ywj pheej khaws cov ntaub ntawv raw IMU ua ke nrog cov cim sijhawm microsecond
2. Tswj hwm PC cov ntaub ntawv kaw ntawm SDK (Kev sib txuas USB hauv qab ROS / ROS2 ib puag ncig)
Txhawb kev xa tawm cov ntaub ntawv ROSbag thiab cov ntaub ntawv sensor MCAP sib dhos ua ke, sib xws nrog cov ecosystem tsim kho robotics loj.
Txhua lub sijhawm siv kho vajtse tau muab tso rau hauv txhua lub thav duab thiab IMU qauv. Cov ntaub ntawv ntsuas kev teeb tsa ntawm lub Hoobkas tiav lawm tuaj yeem nkag mus tau los ntawm SDK raug cai.
Qhov tseem ceeb, lub module tsis muaj kev ua haujlwm AI lossis kev sau ntawv tsis siv neeg. Nws qhov chaw tseem ceeb yog tso tawm cov ntaub ntawv sensor raw huv si, raws sijhawm, tawm hauv kev cob qhia qauv, kev nrhiav lub hom phiaj thiab kev xav txog algorithm rau cov kws tshawb fawb txoj kev loj hlob ywj pheej.
Kev Kho Kom Haum & Kev Muaj Lag Luam
Lub Koob Yees Duab Ego tam sim no muaj rau cov chaw soj nstuam tshawb fawb thoob ntiaj teb, cov tuam txhab tsim khoom siv robotics thiab cov chaw tsim khoom siv neeg hlau humanoid. Kev teeb tsa stereo baseline thiab lens FOV configurations uas tuaj yeem hloov kho tau rau cov haujlwm ODM ntim ntau.
Cov SDK kev siv tshuab tag nrho, cov ntaub ntawv ua haujlwm thiab cov lej kuaj qauv tau muab rau txhua qhov kev txiav txim kom txo cov nqi sib koom ua ke kho vajtse.
Tiv Tauj Peb
Yog tias koj xav tau cov qauv khoom, cov ntaub ntawv SDK, kev sab laj txog kev teeb tsa lossis cov kev daws teeb meem kho vajtse rau koj qhov project kawm neeg hlau, thov xa lus nug los ntawm email. Peb pab neeg engineering muab kev txhawb nqa ib leeg rau SLAM, VIO thiab cov haujlwm sau cov ntaub ntawv AI.
Lub sijhawm tshaj tawm: Lub Xya Hli-29-2026
