独立站轮播图 ၁

သတင်းများ

မင်္ဂလာပါ၊ ကျွန်ုပ်တို့၏ ထုတ်ကုန်များကို တိုင်ပင်ဆွေးနွေးရန် ကြိုဆိုပါတယ်။

Ego Stereo ကင်မရာ- Egocentric Data Collection အတွက် ထပ်တူပြုထားသော Stereo RGB + IMU

ထုတ်ကုန်ခြုံငုံသုံးသပ်ချက်

ကမ္ဘာလုံးဆိုင်ရာ ရှပ်တာ အာရုံခံကိရိယာ နှစ်ခု၊ မျက်လုံးတစ်လုံးလျှင် 30 fps တွင် 1080p နှင့် နာရီတစ်ခုတည်းကို မျှဝေအသုံးပြုသည့် 6-axis IMU။ ဗားရှင်းနှစ်မျိုး- သီးခြား WiFi recorder တစ်ခုနှင့် headset ပေါင်းစပ်ရန်အတွက် USB module တစ်ခု။

၂၀၂၆ ခုနှစ်၊ နိုဝင်ဘာလ ၁၁ ရက်

ကျွန်ုပ်တို့ရဲ့ အပ်ဒိတ်လုပ်ထားတဲ့အီဂို စတီရီယို ကင်မရာပထမလူဗီဒီယိုများ စုဆောင်းသည့် အဖွဲ့များအတွက် ကျွန်ုပ်တို့တည်ဆောက်သော ခေါင်းစွပ်ကိရိယာ- ရိုဘော့တစ်ဓာတ်ခွဲခန်းများ လေ့ကျင့်ရေး ကိုင်တွယ်မှုပုံစံများ၊ ထုတ်လုပ်သူများ လိုင်းလုပ်ငန်းကို မှတ်တမ်းတင်ခြင်းနှင့် တစ်ကိုယ်ကောင်းဆန်သော အချက်အလက်စုများကို စုစည်းသည့် သုတေသနအဖွဲ့များ။

အတိုချုံးဗားရှင်း

global-shutter sensor နှစ်ခုသည် stereo RGB ကို 1080p/30fps အထိ မှတ်တမ်းတင်ပေးသည်။ 6-axis IMU တစ်ခုသည် ၎င်းတို့နှင့်အတူ လည်ပတ်သည်။ stereo frame တိုင်းနှင့် IMU sample တိုင်းတွင် hardware timestamp ပါရှိသောကြောင့် stream နှစ်ခုသည် post တွင်ဖွင့်လိုက်သောအခါ တူညီသော time base တွင် ဆင်းသက်သည် — track အတွက် လက်ဖြင့်တိုင်းတာထားသော offset မရှိပါ။

ဘာကြောင့် sync ကို hardware ထဲ ရွှေ့လိုက်တာလဲ

ကိုယ်ရည်ကိုယ်သွေးဗဟိုပြုဒေတာစုများသည် များသောအားဖြင့် နေရာနှစ်ခုအနက် တစ်ခုခုတွင် ပျက်ကွက်လေ့ရှိသည်။ ဘယ်ဘက်နှင့် ညာဘက်ဘောင်များသည် ရှည်လျားသော session တစ်ခုအတွင်း ကွဲထွက်သွားသည်။ သို့မဟုတ် လက်တစ်ဖက်သည် workspace ကို ဖြတ်ကျော်သွားသည့်အချိန်နှင့်ပတ်သက်၍ IMU နှင့် ဗီဒီယိုတို့ သဘောထားကွဲလွဲကြသည်။

ဆော့ဖ်ဝဲလ် ထပ်တူပြုခြင်းက ဒါကို အများစုကိုင်တွယ်ပြီးတာနဲ့ ရပ်သွားပါတယ်။ frame ပြုတ်ကျသွားတာ၊ ပြန်လည် encode လုပ်တာ၊ session အလယ်မှာ ပြန်လည်ညှိနှိုင်းတဲ့ hub တစ်ခုနဲ့ မနက်ခင်းမှာ သင်တိုင်းတာခဲ့တဲ့ offset က နေ့လယ်ပိုင်းမှာ မှားယွင်းနေပါတယ်။ သုံးပတ်အကြာမှာ data ပေါ်မှာ လေ့ကျင့်ထားတဲ့ မူဝါဒတစ်ခုက ထူးဆန်းစွာ ပြုမူနေတာကို သင်တွေ့ရပါမယ်။

ဖမ်းယူမှုတွင် တံဆိပ်တုံးထုခြင်းသည် ထိုပျက်ကွက်မှုမုဒ်ကို ဖယ်ရှားပေးသည်။ အချိန်တံဆိပ်တုံးများသည် မှတ်တမ်းတင်ခြင်းနှင့်သက်ဆိုင်ပြီး နောက်ပိုင်းတွင်ဖတ်သည့်စက်နှင့်မသက်ဆိုင်သောကြောင့် ကလစ်တစ်ခုသည် ဖမ်းယူစက်တွင်ဖြစ်စေ၊ အစုအဝေးတွင်ဖြစ်စေ အလားတူပြုမူသည်။

ဗားရှင်းနှစ်မျိုး၊ အလုပ်အမျိုးမျိုး

အင်္ဂါရပ် WiFi ဗားရှင်း USB ဗားရှင်း
မှတ်တမ်းတင်ခြင်း စက်ပေါ်ရှိ SD ကတ်သို့ ရေးသားသည် ဒေတာသည် USB မှတစ်ဆင့် သင့်ကိုယ်ပိုင်ကွန်ပျူတာသို့ ရောက်သွားသည်
ပါဝါ တပ်ဆင်ထားသော ဘက်ထရီ ဆွဲအားနိမ့်၊ ရှည်လျားသောဂီယာများအတွက် ဖြတ်တောက်ထားသည်
အစည်းအဝေး PC ဒါမှမဟုတ် ဖုန်းနဲ့ ချိတ်ဆက်မထားဘူး ကေဘယ်လ်ဖြင့် ချည်နှောင်ထားသည်
ကိုက်ညီမှုများ စက်ရုံတွင်း လမ်းညွှန်ချက်များ၊ လက်တွေ့သင်တန်းများ၊ လက်တော့ပ်ကို ကြိုးဖြင့် မချိတ်ဆက်နိုင်သော မည်သည့်နေရာတွင်မဆို စိတ်ကြိုက်နားကြပ်များ၊ ပြုပြင်ထားသော rigs များ၊ နာရီပေါင်းများစွာ လည်ပတ်သော အဆိုင်းများ

WiFi ဗားရှင်းကတော့ အော်ပရေတာဆီ လွှဲပေးရမယ့် ဗားရှင်းပါ။ မှတ်တမ်းတင်ပြီး ဆက်လုပ်နေရုံပါပဲ။ တစ်ဖက်မှာ ဘာမှဖွင့်ထားစရာ မလိုပါဘူး။ USB ဗားရှင်းကတော့ သင်ဒီဇိုင်းဆွဲနေတဲ့ ဟာ့ဒ်ဝဲထဲမှာ ထည့်သွင်းရမယ့် ဗားရှင်းဖြစ်ပြီး ကြိုးနဲ့ ကွန်ပျူတာက အစိတ်အပိုင်းတစ်ခု ဖြစ်ပါတယ်။

ပို့ဆောင်ခြင်းမပြုမီ ချိန်ညှိခြင်းပြုလုပ်သည်

ကင်မရာတစ်လုံးချင်းစီကို ကျွန်ုပ်တို့ဆီ မထွက်ခွာမီ ချိန်ညှိပေးပါသည်။ ချိန်ညှိဖိုင်ကို ထုတ်ယူပြီး ယူနစ်နှင့်အတူ လွှဲပြောင်းပေးသောကြောင့် သင်သည် intrinsics နှင့် extrinsics များကို သင်၏ pipeline ထဲသို့ တိုက်ရိုက်ထည့်သွင်းနိုင်ပါသည်။

၎င်းကို အဘယ်အရာအတွက် အသုံးပြုခဲ့သည်

ဤလိုင်းမှ ယူနစ်များသည် ယခုအချိန်အထိ ဆက်တင်များသုံးမျိုးဖြင့် လည်ပတ်ပြီးဖြစ်သည်-

  • [•] စက်ရုံကြမ်းပြင်များ-ထရိုင်ပေါ့ဒ်ပေါ်တွင် တပ်ဆင်ထားမည့်အစား အော်ပရေတာမှ ဝတ်ဆင်၍ တပ်ဆင်ခြင်းနှင့် စစ်ဆေးခြင်းလုပ်ငန်းကို ကွင်းဆင်းမှတ်တမ်းတင်ခြင်း။
  • [•] လူသားကိုင်တွယ်မှုဒေတာ-လက်ကောက်ဝတ်နှင့် လက်ချောင်းလှုပ်ရှားမှုသည် စတီရီယိုအတွဲမြင်တွေ့ရသည့်အရာနှင့် ကိုက်ညီရမည့် ကိုင်တွယ်မှုဒေတာစုများတည်ဆောက်သည့် အဖွဲ့များအတွက် လက်ဗဟိုပြုရိုက်ကူးခြင်း။
  • [•] တစ်ကိုယ်ကောင်းဆန်သော အမြင်အာရုံ သုတေသန-မှန်ကန်အောင်ပြုပြင်ထားသော မြင်ကွင်းကျယ်နှင့် ပုံပျက်မှုနည်းခြင်းသည် ပကတိ resolution ထက် ပိုအရေးကြီးသည့် ပထမလူ dataset များ။

ဘယ်မှာရပ်နေလဲ

၎င်းသည် ထိပ်ဆုံးတွင် ရှိသည်ကင်မရာတစ်လုံးလျှင် 1080p/30။ သင့်အလုပ်သည် မျက်လုံးတစ်လုံးလျှင် 4K လိုအပ်ပါက ဤယူနစ်မဟုတ်ပါ။

ထိုUSB ဗားရှင်းသည် host တစ်ခု လိုအပ်သည်။ ၎င်းသည် မော်ဂျူးတစ်ခုဖြစ်ပြီး အသံဖမ်းစက်မဟုတ်ပါ။

ထိုWiFi ဗားရှင်းကို ကတ်သို့ မှတ်တမ်းတင်သည်ဒါကြောင့် အစည်းအဝေးတွေကြားမှာ တစ်ယောက်ယောက်က ကတ်တွေကို ဆွဲထုတ်ပြီး လွှဲပြောင်းပေးရပါတယ်။

မှာယူခြင်း

အနည်းဆုံး မှာယူမှု အရေအတွက် မရှိပါ။ စမ်းသပ်မှာယူမှုများသည် ယူနစ် ၅ ခုမှ စတင်ပြီး ၎င်းသည် တကယ့်စုဆောင်းမှုကို လုပ်ဆောင်ရန်နှင့် ယခုသင်အသုံးပြုနေသည့်အရာနှင့် နှိုင်းယှဉ်ရန် လုံလောက်ပါသည်။ ထိုမှစ၍ ပိုမိုကြီးမားသော ဖြန့်ကျက်မှုများအတွက် ထုတ်လုပ်မှုပမာဏများအထိ ကျွန်ုပ်တို့ တိုးချဲ့ပါသည်။

နည်းပညာဆိုင်ရာ အကဲဖြတ်မှုအတွက် နမူနာယူနစ်များကို ယခုရရှိနိုင်ပါပြီ။ datasheet၊ raw recording (stereo pair နှင့် IMU၊ unprocessed) နှင့် pilot ဈေးနှုန်းကို မေးမြန်းပါ။ commit မလုပ်မီ သင့်ကိုယ်ပိုင် pipeline ရှိ raw file ကိုဖွင့်ပါ - ၎င်းသည် သင့်အခြေအနေအောက်တွင် sync နှင့် calibration သည် တည်မြဲမှုရှိမရှိကို ပြောပြသည့် တစ်ခုတည်းသော စမ်းသပ်မှုဖြစ်သည်။

သတ်မှတ်ချက်များ

အာရုံခံကိရိယာများ ၂ × ကမ္ဘာလုံးဆိုင်ရာ ရှပ်တာ
ရုပ်ထွက်/ဖရိမ်နှုန်း ကင်မရာတစ်လုံးလျှင် 30 fps တွင် 1080p အထိ
စတီရီယို ချိန်ကိုက်မှု ရိုက်ကူးချိန်တွင် ဘယ်နှင့်ညာဖရိမ်များကို အချိန်နှင့်တစ်ပြိုင်တည်းချိန်ကိုက်ထားသည်
IMU ၆-ဝင်ရိုး၊ ဟာ့ဒ်ဝဲ-အချိန်တံဆိပ်တုံး၊ စတီရီယိုဖရိမ်များနှင့် ထပ်တူပြုထားသည်
အလင်းပညာ မြင်ကွင်းကျယ်ပြီး ပုံပျက်မှုနည်းသည်
ချိန်ညှိခြင်း ChArUco; ယူနစ်တစ်ခုလျှင် စံကိုက်ညှိဖိုင် တင်ပို့သည်
သိုလှောင်မှု (WiFi ဗားရှင်း) SD ကတ်
ပါဝါ (WiFi ဗားရှင်း) တပ်ဆင်ထားသော ဘက်ထရီ
ပါဝါ (USB ဗားရှင်း) သုံးစွဲမှုနည်းပြီး ကြာရှည်စွာ အသုံးပြုရန် ရည်ရွယ်ပါသည်
အနည်းဆုံး မှာယူမှု မရှိပါ
ရရှိနိုင်မှု နမူနာယူနစ်များ ယခုရရှိနိုင်ပါပြီ

အမြဲမေးလေ့ရှိသောမေးခွန်းများ

မှတ်တမ်းတင်ဖို့ laptop ဒါမှမဟုတ် ဖုန်း လိုအပ်ပါသလား။

WiFi ဗားရှင်းနဲ့တော့ မရပါဘူး။ SD ကတ်နဲ့ မှတ်တမ်းတင်ရမှာဖြစ်ပြီး power bank နဲ့ သုံးရပါမယ်။ USB ဗားရှင်းကတော့ host machine တစ်ခု လိုအပ်ပါတယ်။

stereo frame တွေနဲ့ IMU တွေကို ဘယ်လို sync ဖြစ်နေအောင်ထားလဲ။

နှစ်ခုစလုံးကို hardware တွင် ဖမ်းယူချိန်တွင် အချိန်တံဆိပ်တုံးများဖြင့် ဖော်ပြထားသည်။ အချိန်တံဆိပ်တုံးများသည် ဒေတာနှင့်အတူ ရွေ့လျားနေသောကြောင့် alignment သည် အခြားစက်တစ်ခုတွင် ကူးယူခြင်း၊ ပြန်လည် encoding လုပ်ခြင်းနှင့် လုပ်ဆောင်ခြင်းတို့ကို ပြုလုပ်သော်လည်း ရှင်သန်နေပါသည်။

ချိန်ညှိပြီး ရောက်လာပါသလား။

ဟုတ်ကဲ့။ ယူနစ်တစ်ခုစီကို ပို့ဆောင်ခြင်းမပြုမီ ChArUco ပစ်မှတ်တွင် ချိန်ညှိပေးထားပြီး ထိုယူနစ်အတွက် ချိန်ညှိဖိုင်လည်း ပါဝင်ပါသည်။

ထုတ်လုပ်မှုအော်ဒါမတင်ခင် အကဲဖြတ်လို့ရပါသလား။

ဟုတ်ကဲ့။ စမ်းသပ်မှာယူမှုများသည် အနည်းဆုံး ၁ ယူနစ်မှစတင်ပြီး ၎င်းထက်ကျော်လွန်၍ နမူနာယူနစ်များကို ချက်ချင်းရရှိနိုင်ပါသည်။ ဒေတာစာရွက်နှင့်အတူ raw recording ကို တောင်းဆိုပြီး stereo alignment နှင့် IMU အပြုအမူကို သင်ကိုယ်တိုင် စစ်ဆေးပါ။

ဈေးနှုန်းသိရှိရန် ကျွန်ုပ်ဘာများ ပေးပို့ရန် လိုအပ်ပါသလဲ။

စမ်းသပ်ကိရိယာအတွက် ယူနစ်အရေအတွက်၊ ဘယ်ဗားရှင်း (WiFi သို့မဟုတ် USB) နှင့် သင်မှတ်တမ်းတင်ရန် ရည်ရွယ်ထားသည့် အကြမ်းဖျင်းပမာဏ။ ဈေးနှုန်းနှင့် အချက်အလက်စာရွက်အတွက် ၎င်းသည် လုံလောက်ပါသည်။


ပို့စ်တင်ချိန်: ၂၀၂၆ ခုနှစ်၊ နိုဝင်ဘာလ ၁၁ ရက်