ရိုဘော့တစ်နည်းပညာသည် အလိုအလျောက်စနစ်မှ အထွေထွေဉာဏ်ရည်သို့ အရှိန်အဟုန်ဖြင့် တိုးတက်လာသည်နှင့်အမျှ “EGO robot” ဟုလူသိများသော အမျိုးအစားအသစ်တစ်ခုသည် စက်များသည် ၎င်းတို့၏ပတ်ဝန်းကျင်နှင့် မည်သို့အပြန်အလှန် ဆက်ဆံပုံကို ပြန်လည်အဓိပ္ပာယ်ဖွင့်ဆိုနေပါသည်။ ရိုးရာစက်မှုလက်များ၏ အော့ဖ်လိုင်းပရိုဂရမ်းမင်း သို့မဟုတ် ဝန်ဆောင်မှုရိုဘော့များ၏ passive sensing နှင့်မတူဘဲ၊ EGO (egocentric) စက်ရုပ်သည် ပထမလူမြင်ကွင်းကို ၎င်း၏သိမြင်မှုဆိုင်ရာဇာစ်မြစ်အဖြစ်ယူထားပြီး မိုက်ခရိုစက္ကန့်၊ လက်ဟန်ခြေဟန်ညီခြင်း၊ မျက်လုံးညှိနှိုင်းမှုနှင့် တက်ကြွသောလေ့လာတွေ့ရှိချက်တို့ကို ရရှိစေသည်။ဒီတော်လှန်ရေးကို ဖြစ်ပေါ်စေတဲ့ အဓိကဟာ့ဒ်ဝဲ-မှန်ဘီလူးကင်မရာတည်ငြိမ်နေတဲ့ “အီလက်ထရွန်းနစ်မျက်လုံး” ကနေ စက်ရုပ်ရဲ့ကိုယ်ပွားအဖြစ် ပြောင်းလဲလာနေပါတယ်-အသိအမြင် interface။ မြင့်မားသော အရည်အသွေး စတီရီယိုကင်မရာမော်ဂျူး ၎င်းသည် ရုပ်ပုံဖမ်းယူသည့် ကိရိယာတစ်ခုမျှသာ မဟုတ်တော့ပါ။ ၎င်းသည် စစ်မှန်သော ၃ ခု တည်ဆောက်ရန်အတွက် အခြေခံအုတ်မြစ်ဖြစ်သည်။D စက်ရုပ်အတွက် ကင်မရာမော်ဂျူး။
၁။ စက်ရုပ်အမျိုးအစားသုံးမျိုး၊ “ကမ္ဘာကြီးကိုမြင်ခြင်း” နည်းလမ်းသုံးမျိုး
ရိုးရာစက်ရုပ် (ဥပမာ၊ စက်မှုလုပ်ငန်းသုံးလက်၊ AGV): အော့ဖ်လိုင်း-မျက်စိစုံမှိတ်ပြီး လုပ်ဆောင်ချက်များကို ထပ်ခါတလဲလဲလုပ်ဆောင်သော ပရိုဂရမ်ရေးဆွဲထားသော executor။ ကင်မရာသည် ပုံသေဖြစ်ပြီး ရိုးရှင်းသော အချက်ပြမှုများကိုသာ ထုတ်လွှတ်ပေးသည်။, စက်ရုပ်သည် ၎င်း၏လမ်းကြောင်းကို အချိန်နှင့်တပြေးညီ ချိန်ညှိနိုင်မည်မဟုတ်ပါ။ခန္ဓာကိုယ်ပါရှိသော စက်ရုပ် (ဥပမာ၊ ဝန်ဆောင်မှုစက်ရုပ်၊ ခြေလေးချောင်းထောက်): ကင်မရာကို စက်ရုပ်၏ကိုယ်ပိုင်ခန္ဓာကိုယ်ပေါ်တွင် တပ်ဆင်ထားသည်။ အာရုံခံစားမှုကို ပိတ်ခြင်း-လုပ်ဆောင်ချက် ကွင်းဆက်။ သို့သော် “မြင်” ၏ နှောင့်နှေးမှုတစ်ခု ရှိနေဆဲဖြစ်သည်→တွက်ချက်→ရွေ့လျားပါ" ပြီးတော့ တက်ကြွတဲ့ မြင်ကွင်း ပျောက်ဆုံးနေပါတယ်။ စက်ရုပ်ကင်မရာတစ်လုံးဟာ အနက်အချက်အလက်နဲ့ frame rate မြင့်မားဖို့ လိုအပ်လာပါတယ်။
EGO စက်ရုပ် (ကိုယ်ကျိုးရှာစက်ရုပ်): ကင်မရာ'သူ့ရဲ့အမြင်က စက်ရုပ်ရဲ့အမြင်ပါ ကိုယ်တိုင်-မူလအစ။ ၎င်း ၎င်း၏ မြင်ကွင်းကို ပိုမိုကောင်းမွန်စေရန်အတွက် ၎င်း၏ ဦးခေါင်း သို့မဟုတ် ခန္ဓာကိုယ် အနေအထားကို တက်ကြွစွာ ပြောင်းလဲသည် ကြိုက်တယ်စောင်းနေသည်၊ နီးကပ်လာသည်၊ ဘေးတိုက်ရွေ့လျားနေသည်။ ရုပ်ပုံဘောင်တိုင်းသည် အဆစ်ထောင့်များ၊ အလျင်များနှင့် တိကျစွာ ကိုက်ညီပါသည်။ နှင့် ထိုအချိန်တွင် ရေစီးကြောင်းများသည် ပြီးပြည့်စုံသော အခြေအနေကို ဖန်တီးပေးသည် ကိုယ်တိုင်-မှတ်ဉာဏ်။ သီးသန့် ego robot ကင်မရာမော်ဂျူးတစ်ခုသည် synchronization နှင့် dynamic range အတွက် တင်းကျပ်သော hardware လိုအပ်ချက်များနှင့် ကိုက်ညီရမည်။
၂။ ကင်မရာ၏ အခန်းကဏ္ဍတွင် ခြေလှမ်းသုံးဆင့်- ကိရိယာမှ အင်တာဖေ့စ်သို့
အဆင့် ၁ (ရိုးရာစက်ရုပ်) : ပုံသေစောင့်ကြည့်သူ-နည်းပညာပိုင်းဆိုင်ရာ လိုအပ်ချက်နည်းပါးခြင်း (မိုနိုကူလာ၊ လိပ်ရှပ်တာ၊ ဒိုင်နမစ်အကွာအဝေးနိမ့်ခြင်း)။
အဆင့် ၂ (ခန္ဓာကိုယ်ပါ စက်ရုပ်) : ခန္ဓာကိုယ်၏ အစိတ်အပိုင်း- အနက်အချက်အလက် လိုအပ်သည်၊ ၃0-60 တစ်စက္ကန့်လျှင် ဖရိမ်စက္ကန့် ကမ္ဘာလုံးဆိုင်ရာ ရှပ်တာနှင့် HDR ကို တောင်းဆိုလာပါသည်။
အဆင့် ၃ (EGO စက်ရုပ်) : ကိုယ်တိုင်-အသိပညာပေး အင်တာဖေ့စ် ဖြည့်ဆည်းရမည်- မိုက်ခရိုစက္ကန့် အဆင့်စတီရီယို ချိန်ကိုက်မှု, ရောင်စုံr ကမ္ဘာလုံးဆိုင်ရာ ရှပ်တာ၊ HDR >90dB၊ ultra-တုန်ခါမှုနည်းခြင်း, ကျယ်ပြန့်သော-ထောင့်မှန်ဘီလူး နှင့် စက်ရုံထုတ်စတီရီယိုချိန်ညှိခြင်း။ ဤအင်္ဂါရပ်များသည် ပြီးပြည့်စုံသော စတီရီယိုကင်မရာမော်ဂျူးနှင့် ကမ္ဘာလုံးဆိုင်ရာရှပ်တာကင်မရာမော်ဂျူးတစ်ခု ပေးစွမ်းသင့်သည့်အရာများဖြစ်သည်။
၃။ EGO စက်ရုပ်များအတွက် စိတ်ကြိုက်ပြုလုပ်ထားသော မှန်ဘီလူးမော်ဂျူး၏ အဓိကအင်္ဂါရပ်များ
ဒီ မှန်ဘီလူးကင်မရာ မော်ဂျူး မော်ဒယ် ၃၂၉၀ စံပြ ၃ ခုလည်း ဖြစ်ပါတယ်D စက်ရုပ်နှင့် ရိုဘော့တစ်အမြင်ကင်မရာမော်ဂျူးအတွက် ကင်မရာမော်ဂျူး။ ၎င်း၏ အဓိကအင်္ဂါရပ်များတွင် အောက်ပါတို့ ပါဝင်သည်-
နှစ်ထပ် ၁/၂.၆''ကော်လိုr ကမ္ဘာလုံးဆိုင်ရာ ရှပ်တာ CMOS: ပစ်ဇယ်အားလုံးကို တစ်ပြိုင်နက်တည်း ဖော်ထုတ်ပေးခြင်းဖြင့် လိမ့်ခြင်းကို ရှောင်ရှားနိုင်ပါသည် ဦးခေါင်းကို မြန်မြန်လှုပ်ရှားသည့်အခါ ရှပ်တာပုံပျက်ခြင်း၊ ပစ်ဇယ်ကြီးများ (၃.၀)μm) အလွန်ကောင်းမွန်သော အနိမ့်ဆုံးအဆင့်ကို သေချာစေသည်-ပေါ့ပါးသော SNR-ကမ္ဘာလုံးဆိုင်ရာ ရှပ်တာ ကင်မရာ မော်ဂျူးရဲ့ အနှစ်သာရ။
၃၈၄၀×1080P @ 30 တစ်စက္ကန့်လျှင် ဖရိမ်စက္ကန့်：မျက်လုံးတစ်လုံးလျှင် လွတ်လပ်သော 1080P ချန်နယ်များ၊ ဟာ့ဒ်ဝဲ အဆင့် frame ထပ်တူပြုခြင်း (<50μs) လက်တွေ့ကျကျ လုပ်ဆောင်နိုင်စေခြင်း-အချိန်အနက် ခန့်မှန်းခြင်း။ ဤ resolution သည် မော်ဂျူးကို စစ်မှန်သော ai robot vision ကင်မရာဖြစ်စေသည်။
၉၁.၅၆dB HDR (၆၁.၅၆dB linear)：အလင်းရောင် အလွန်အမင်း ပြောင်းလဲမှုအောက်တွင် (100) highlight နှင့် shadow အသေးစိတ်အချက်အလက်များကို ထိန်းသိမ်းထားသည် အိမ်တွင်း lux ၁၀၀,၀၀၀ အထိ lux နေရောင်ခြည်)၊ အယ်လဂိုရီသမ်ကို မဖြစ်စေရန် တားဆီးပေးသည် မျက်စိကွယ်သွားသည်။
ဒဘယ် ၁၂၅°အစွန်းရောက် ကျယ်ပြန့်သော, ထောင့် အစွန်းရောက်, တုန်ခါမှုနည်းခြင်း: ကျယ်ပြန့်သော မြင်ကွင်းကို လွှမ်းခြုံထားသည် ကြမ်းပြင်ကနေ ဦးခေါင်းအထက်အထိ တီဗီပုံပျက်ခြင်း <3% ဖြင့်။ ၎င်းသည် epipolar ကန့်သတ်ချက်များကို တိုးတက်ကောင်းမွန်စေပြီး VR teleoperation အတွက် သက်တောင့်သက်သာရှိသော stereo အတွေ့အကြုံကို ပေးစွမ်းပြီး ego robot ကင်မရာမော်ဂျူး၏ optical လိုအပ်ချက်များကို အပြည့်အဝ ဖြည့်ဆည်းပေးပါသည်။
စက်ရုံထုတ် စတီရီယို ချိန်ညှိမှု: မော်ဂျူးတစ်ခုစီသည် intrinsic parameters၊ distortion coefficients၊ stereo rectification matrices များကို ပေးစွမ်းသည် နှင့် projection matrices။ အသုံးပြုသူများသည် triangulation၊ depth map generation ကို တိုက်ရိုက်လုပ်ဆောင်နိုင်သည်။ နှင့် 3D point cloud ပြန်လည်တည်ဆောက်ခြင်း-တကယ့် ပလပ်g and ၃ ကစားပါD စက်ရုပ်အတွက် ကင်မရာမော်ဂျူး။
USB 2.0 ပလပ် နှင့် ကစား + Windows/Linux လိုက်ဖက်ညီမှု: UVC ယာဉ်မောင်း-အခမဲ့၊ အပြည့်အဝ SDK နှင့် ROS/ROS2 node များ။ ပြင်ပ IMU ပံ့ပိုးမှုနှင့် native ROS2 drivers များဖြင့် ၎င်းသည် robot vision အတွက် imu နှင့် ros2 ပံ့ပိုးထားသော ကင်မရာ module တစ်ခုလည်း ဖြစ်သည်။, ခန္ဓာကိုယ်တည်ဆောက်ထားသော ai, ဆူညံသံစနစ်များ, အမြင်အာရုံအတွက် အသင့်ဖြစ်နေပါပြီ inertial odometry (VIO) နှင့် အစစ်အမှန် အချိန်မြေပုံရေးဆွဲခြင်း။
၄။ ပုံမှန်အသုံးချမှုအခြေအနေများ
EGO စက်ရုပ်များအတွက် တုပသင်ယူမှု: မော်ဂျူး (ego robot ကင်မရာမော်ဂျူးအဖြစ်) ကို စက်ရုပ်လက်ကောက်ဝတ် သို့မဟုတ် ဦးခေါင်းပေါ်တွင် တပ်ဆင်ပါ။ အရင်ဆုံးစုဆောင်းရန် ဟောင်းနွမ်းနေသော ကွင်း လူသားလုပ်ဆောင်စရာများ၏ လူဗီဒီယိုများ။ ဗီဒီယိုစီးကြောင်းတွင် တိကျသောအနက်နှင့် အချိန်တံဆိပ်များ ပါရှိသောကြောင့် မူဝါဒသင်ယူမှု အယ်လဂိုရီသမ်များသည် ပူးတွဲအမိန့်များကို တိုက်ရိုက်ထုတ်ပေးနိုင်စေပါသည်။
VR တယ်လီအော်ပရေတာနှင့် ဒစ်ဂျစ်တယ်အမွှာ: မော်ဂျူး စတီရီယိုကင်မရာမော်ဂျူးနှင့် စက်ရုပ်အတွက် 3D ကင်မရာမော်ဂျူးအဖြစ် ဘယ်/ညာ ဗီဒီယို stream များကို VR headset သို့ latency နည်းပါးစွာ ထုတ်လွှတ်ပေးပါသည်။ ဦးခေါင်းလှုပ်ရှားမှုကို စက်ရုပ်ထံ ပြန်လည်ပေးပို့ပြီး အဝေးထိန်းစနစ်ဖြင့် "ကြည့်ရှု" နိုင်စေပါသည်။-ပတ်လည် "ထိန်းချုပ်မှု" သိမ်မွေ့သော စစ်ဆေးမှု သို့မဟုတ် ဆေးဘက်ဆိုင်ရာ လုပ်ထုံးလုပ်နည်းများအတွက်ပင် အရေးကြီးပါသည်။
မြင့်မားသော လုံခြုံရေး ဝင်ရောက်ခွင့် ထိန်းချုပ်မှု နှင့် အသက်ဝင်မှု ထောက်လှမ်းခြင်း: ဓာတ်ပုံ/ဗီဒီယို တိုက်ခိုက်မှုများနှင့် မျက်နှာအစစ်အမှန်များကို ခွဲခြားရန် အနက်အချက်အလက်ကို အသုံးပြုသည် နောက်ထပ် အတည်ပြုချက်အတွက် 3D မျက်နှာပုံစံကို ထုတ်ပေးပါတယ်။ ဒီနေရာမှာ မော်ဂျူးဟာ ai robot vision camera အဖြစ် လုပ်ဆောင်ပါတယ်။
ဝန်ဆောင်မှုရိုဘော့များအတွက် အတိမ်အနက်ကို သိမြင်နိုင်ခြင်းနှင့် အတားအဆီးရှောင်ရှားခြင်း: ဟိုတယ်များ၊ ဆေးရုံများ၊ စားသောက်ဆိုင်များတွင် မော်ဂျူးသည် အဓိက အမြင်အာရုံ အာရုံခံကိရိယာ (ရိုဘော့တစ် အမြင်အာရုံ ကင်မရာ မော်ဂျူး) အဖြစ် ဆောင်ရွက်ပြီး ၀.၂ မှစတင်၍ ယုံကြည်စိတ်ချရသော အနက်ကို ပေးစွမ်းသည်။ မီတာမှ ၅ အထိ VSLAM နှင့် အစစ်အမှန်အတွက် m အချိန်အတားအဆီးရှောင်ရှားခြင်း။ ၁၂၅°ကျယ်ပြန့်သော FOV သည် မျက်မမြင်နေရာများကို လျှော့ချပေးသည် နှင့် HDR သည် မှန်ကာရံနံရံများ သို့မဟုတ် တိုက်ရိုက်နေရောင်ခြည်အနီးတွင် တည်ငြိမ်သောလည်ပတ်မှုကို သေချာစေသည်။ ဤအခြေအနေသည် ရိုဘော့မြင်ကွင်းအတွက် imu & ros2 အထောက်အပံ့ပေးထားသော ကင်မရာမော်ဂျူးမှ ပေးဆောင်သော တင်းကျပ်သောချိတ်ဆက်မှုမှလည်း အကျိုးကျေးဇူးရရှိသည်, ခန္ဓာကိုယ်တည်ဆောက်ထားသော ai, slam စနစ်များ။
၅။ အနာဂတ်အလားအလာ- “မျက်လုံး” မှ “ဦးနှောက်” အထိ-မျက်လုံးပေါင်းစပ်ခြင်း”
edge computing နှင့် neuromorphic chips များတွင် တိုးတက်မှုများနှင့်အတူ၊ အနာဂတ် EGO စက်ရုပ်များသည် sensor အနီးတွင် vision processing ကို တိုက်ရိုက်လုပ်ဆောင်မည်ဖြစ်ပြီး microsecond ကို ရရှိမည်ဖြစ်သည်။ အဆင့် "ပစ်ဇယ်" to action” ပြောင်းလဲခြင်း။ ကျွန်ုပ်တို့၏ မှန်ဘီလူးမော်ဂျူးသည် ဟာ့ဒ်ဝဲ trigger input များနှင့် multi ကင်မရာ ထပ်တူပြု အင်တာဖေ့စ်များ၊ မတူညီသော ကွန်ပျူတာ ပလက်ဖောင်းများ (FPGA၊ GPU၊ AI အရှိန်မြှင့်ကိရိယာများ) အတွက် အသင့်ဖြစ်နေပါပြီ။ ဦးစွာ အစုလိုက်အပြုံလိုက် စုဆောင်းထားသည်။ EGO စက်ရုပ်များမှ လူမြင်မှန်ပြောင်းဖြင့် ရိုက်ကူးထားသော ဗီဒီယိုများကို သက်ဆိုင်ရာ လုပ်ဆောင်ချက် အမိန့်ပေးချက်များဖြင့် မှတ်ချက်ပြုထားပြီး ယေဘုယျအမြင်အာရုံကို လေ့ကျင့်ပေးမည်ဖြစ်သည် လုပ်ဆောင်ချက်အခြေခံပုံစံများ စာသားအတွက် ကြီးမားသော ဘာသာစကားမော်ဒယ်များနှင့် ဆင်တူသည်။ မြင့်မားသော အရည်အသွေးမြင့် မှန်ဘီလူးကင်မရာများသည် ဤဒေတာ၏ ပထမခြေလှမ်းဖြစ်သည် မောင်းနှင်သော တော်လှန်ရေး။
မင်းရဲ့ ရိုဘော့ကို အရင်ပေးပါ လူမျက်လုံးများ ကျွန်ုပ်တို့ရဲ့ မှန်ဘီလူး မော်ဂျူးနဲ့ စတင်ပါ။
အသေးစိတ်သိရှိလိုပါက ကျွန်ုပ်တို့ထံ ဆက်သွယ်ပါ။
ပို့စ်တင်ချိန်: ၂၀၂၆ ခုနှစ်၊ မေလ ၂၉ ရက်
