Dron Autonome me Kamera Infra të Kuqe për të Ndihmuar Reaguesit e Parë: 7 Hapa

2024 Autor: John Day | [email protected]. E modifikuara e fundit: 2024-01-30 12:17

Sipas një raporti të Organizatës Botërore të Shëndetësisë, çdo vit fatkeqësitë natyrore vrasin rreth 90,000 njerëz dhe prekin afro 160 milionë njerëz në të gjithë botën. Fatkeqësitë natyrore përfshijnë tërmetet, cunamet, shpërthimet vullkanike, rrëshqitjet e tokës, uraganet, përmbytjet, zjarret, valët e nxehtësisë dhe thatësira. Koha është thelbësore pasi mundësia e mbijetesës fillon të ulet me çdo minutë që kalon. Personat e parë që përgjigjen mund të kenë probleme në gjetjen e të mbijetuarve në shtëpitë që janë dëmtuar dhe vënë në rrezik jetën e tyre gjatë kërkimit të tyre. Të kesh një sistem që mund të lokalizojë njerëzit në distancë do të rriste shumë shpejtësinë me të cilën përgjigësit e parë do të ishin në gjendje t'i evakuonin ata nga ndërtesat. Pas hulumtimit të sistemeve të tjera, zbulova se disa kompani kanë krijuar robotë me bazë tokësore ose kanë krijuar dronë që mund të gjurmojnë njerëzit, por që funksionojnë vetëm jashtë ndërtesave. Kombinimi i kamerave të thellësisë së bashku me kamerat speciale me rreze infra të kuqe mund të lejojnë përcjelljen e saktë të zonës së brendshme dhe zbulimin e ndryshimeve të temperaturës që përfaqësojnë zjarrin, njerëzit dhe kafshët. Duke zbatuar sensorë me një algoritëm të personalizuar në një mjet ajror pa pilot (UAV), do të jetë e mundur të inspektoni në mënyrë autonome shtëpitë dhe të identifikoni vendndodhjen e njerëzve dhe kafshëve për t'i shpëtuar ato sa më shpejt të jetë e mundur.

Ju lutem votoni për mua në konkursin e Optikës!

Hapi 1: Kërkesat e projektimit

Pas hulumtimit të teknologjive në dispozicion, diskutova zgjidhjet e mundshme me ekspertët e shikimit të makinerisë dhe një përgjigës të parë për të gjetur metodën më të mirë për të zbuluar të mbijetuarit në zona të rrezikshme. Informacioni më poshtë rendit karakteristikat më të rëndësishme të kërkuara dhe elementët e projektimit për sistemin.

• Përpunimi i Vizionit - Sistemi duhet të sigurojë një shpejtësi të shpejtë të përpunimit për informacionin e shkëmbyer midis sensorëve dhe përgjigjes së Inteligjencës Artificiale (AI). Për shembull, sistemi duhet të jetë në gjendje të zbulojë muret dhe pengesat për t'i shmangur ato, ndërsa gjithashtu të gjejë njerëz që janë në rrezik.
• Autonome - Sistemi duhet të jetë në gjendje të funksionojë pa kontributin e përdoruesit ose operatorit. Personeli me përvojë minimale me teknologjinë UAV duhet të jetë në gjendje të shtypë një ose disa butona që sistemi të fillojë të skanojë vetë.
• Gama - Gama është distanca midis sistemit dhe të gjitha objekteve të tjera në afërsi. Sistemi duhet të jetë në gjendje të zbulojë korridoret dhe hyrjet nga të paktën 5 metra larg. Gama minimale ideale është 0.25 m në mënyrë që objektet e afërta të mund të zbulohen. Sa më i madh diapazoni i zbulimit, aq më e shkurtër është koha e zbulimit për të mbijetuarit.
• Navigimi dhe Saktësia e Zbulimit - Sistemi duhet të jetë në gjendje të gjejë me saktësi të gjitha hyrjet dhe të mos godasë asnjë objekt, ndërsa zbulon edhe shfaqjen e papritur të objekteve. Sistemi duhet të jetë në gjendje të gjejë ndryshimin midis njerëzve dhe objekteve jo të gjalla përmes sensorëve të ndryshëm.
• Kohëzgjatja e funksionimit - Sistemi duhet të jetë në gjendje të zgjasë 10 minuta ose më shumë në varësi të sa dhomave i nevojiten për të skanuar.
• Shpejtësia - Duhet të jetë në gjendje të skanojë të gjithë ndërtesën në më pak se 10 minuta.

Hapi 2: Përzgjedhja e pajisjeve: Metoda e Lëvizshmërisë

Kuadikopteri u zgjodh mbi një makinë me telekomandë sepse megjithëse kuadopteri është i brishtë, është më e lehtë të kontrollosh dhe të ndryshosh lartësinë për të shmangur pengesat. Quadcopter mund të mbajë të gjithë sensorët dhe t'i stabilizojë ato në mënyrë që ata të jenë më të saktë gjatë lëvizjes në dhoma të ndryshme. Helikat janë bërë nga fibra karboni të cilat janë rezistente ndaj nxehtësisë. Sensorët drejtpërsëdrejti nga muret për të parandaluar aksidentet.

• Automjet tokësore me telekomandë

  • Pro - Mund të lëvizë shpejt pa rënë dhe nuk ndikohet nga temperatura
  • Disavantazhet - Automjeti do t'i ulte sensorët në tokë duke mbuluar më pak zonë në të njëjtën kohë dhe mund të bllokohet nga pengesat

• Kuadikopter

  • Pro - Ngrin sensorët në ajër për të marrë një pamje 360 ° të rrethinës
  • Kundër - Nëse bie në mur, mund të bjerë dhe të mos shërohet

Hapi 3: Përzgjedhja e pajisjeve: Mikrokontrolluesit

Dy kërkesat kryesore për mikrokontrolluesit janë madhësia e vogël për të zvogëluar ngarkesën në kuadopter dhe shpejtësia për të përpunuar informacionin me shpejtësi. Kombinimi i Rock64 dhe DJI Naza është kombinimi perfekt i mikrokontrolluesve pasi Rock64 ka fuqi të mjaftueshme përpunuese për të zbuluar shpejt njerëzit dhe për të mos lejuar që kuadopteri të futet në mure dhe pengesa. DJI Naza e komplimenton mirë duke bërë të gjithë stabilizimin dhe kontrollin motorik që Rock64 nuk mund ta bëjë. Mikrokontrolluesit komunikojnë përmes një porte serike dhe lejojnë kontrollin e përdoruesit nëse është e nevojshme. Raspberry Pi do të kishte qenë një alternativë e mirë, por meqenëse Rock64 kishte një procesor më të mirë dhe lidhje më të mirë me sensorët e listuar në tabelën tjetër, Pi nuk u zgjodh. Intel Edison dhe Pixhawk nuk u zgjodhën për shkak të mungesës së mbështetjes dhe lidhjes.

• Mjedër Pi

  • Pro - Mund të zbulojë mure dhe objekte fikse
  • Disavantazhet - Lufton për të vazhduar me të dhënat nga të gjithë sensorët, kështu që nuk mund t'i shihni hyrjet mjaft shpejt. Nuk mund të nxjerrë sinjale motorike dhe nuk ka sensorë stabilizues për kuadopterin

• Rock64

  • Pro - Në gjendje të zbulojë mure dhe hyrje me pak vonesë.
  • Disavantazhet - Gjithashtu në gjendje të drejtojë sistemin në të gjithë shtëpinë pa hasur në asgjë duke përdorur të gjithë sensorët. I paaftë për të dërguar sinjale mjaft shpejt për të kontrolluar shpejtësinë e motorit dhe nuk ka ndonjë sensor stabilizues për kuadopterin

• Intel Edison

  • Pro - Në gjendje të zbulojë mure dhe hyrje me një vonesë
  • Kundër - Teknologjia më e vjetër, shumë nga sensorët do të kishin nevojë për biblioteka të reja, të cilat kërkojnë shumë kohë për t'u krijuar
• DJI Naza
  • Pro - Ka xhiroskop, akselerometër dhe magnetometër të integruar, për të lejuar që kuadopteri të jetë i qëndrueshëm në ajër me mikro rregullime të shpejtësisë së motorit
  • Kundër - Nuk mund të bëni asnjë lloj përpunimi të vizionit

• Pixhawk

  • Pro - Kompakt dhe kompatibil me sensorët e përdorur në projekt duke përdorur Outputin e Qëllimit të Përgjithshëm (GPIO)
  • Kundër - Nuk mund të bëni asnjë lloj përpunimi të vizionit

Hapi 4: Përzgjedhja e pajisjeve: Sensorë

Një kombinim i disa sensorëve përdoret për të marrë të gjithë informacionin e kërkuar për të gjetur njerëz në zona të rrezikshme. Dy sensorët kryesorë të përzgjedhur përfshijnë kamerën stereo infra të kuqe së bashku me Navigacionin dhe Shkallëzimin SOund (SONAR). Pas disa testimeve, kam vendosur të përdor kamerën Realsense D435 sepse është e vogël dhe është në gjendje të gjurmojë me saktësi distancat deri në 20 metra larg. Shkon me 90 korniza për sekondë e cila lejon që të merren shumë matje para se të merrni një vendim se ku janë objektet dhe në cilin drejtim të drejtoni kuadopterin. Sensorët SONAR janë vendosur në pjesën e sipërme dhe të poshtme të sistemit për të lejuar kuadopterin të dijë se sa e lartë ose e ulët lejohet të shkojë para se të kontaktojë me një sipërfaqe. Ekziston edhe një e vendosur përballë për të lejuar sistemin të zbulojë objekte si xhami të cilat sensori stereo infra të kuqe nuk mund t'i zbulojë. Njerëzit dhe kafshët zbulohen duke përdorur algoritme të njohjes së lëvizjes dhe objektit. Kamera FLIR do të zbatohet për të ndihmuar kamerën stereo infra të kuqe të gjurmojë se çfarë jeton dhe çfarë nuk është për të rritur efikasitetin e skanimit në kushte të pafavorshme.

• Kinect V1

  • Pro - Mund të gjurmojë lehtësisht objektet 3D deri në 6 metra larg
  • Kundër -Ka vetëm 1 sensor infra të kuqe dhe është shumë i rëndë për kuadopter

• Realsense D435

  • Pro - Ka 2 kamera infra të kuqe dhe një aparat të kuq, jeshil, blu, thellësi (RGB -D) për zbulimin e objekteve 3D me saktësi të lartë deri në 25 metra larg. Isshtë 6 cm e gjerë duke lejuar përshtatje të lehtë në kuadopter
  • Disavantazhet - Mund të nxehet dhe mund të ketë nevojë për një tifoz ftohës

• LIDAR

  • Pro - Rreze që mund të gjurmojë vende deri në 40 metra larg në vijën e saj të shikimit
  • Kundër - Nxehtësia në mjedis mund të ndikojë në saktësinë e matjes

• SONAR

  • Pro - Trare që mund të gjurmojë 15 m larg, por është në gjendje të zbulojë objekte transparente si qelqi dhe akriliku
  • Disavantazhet - Vetëm pikat në një vijë të shikimit, por mund të zhvendosen nga kuadopteri për të skanuar zonën

• Tejzanor

  • Pro - Ka një rreze deri në 3 m dhe është shumë e lirë
  • Disavantazhet - Vetëm pikat në një vijë të shikimit dhe mund të jenë jashtë kufijve të distancës që ndiejnë shumë lehtë

• Kamera FLIR

  • Pro - Në gjendje për të marrë fotografi të thella përmes tymit pa ndërhyrje dhe mund të zbulojë njerëz të gjallë përmes nënshkrimeve të nxehtësisë
  • Kundër - Nëse diçka ndërhyn me sensorët, llogaritjet e distancës mund të llogariten gabimisht

• Sensor PIR

  • Pro - Në gjendje të zbulojë ndryshimin e temperaturës
  • Kundër - Nuk mund të përcaktohet saktësisht se ku është ndryshimi i temperaturës

Hapi 5: Përzgjedhja e pajisjeve: Softuer

Kam përdorur SDK -në Realsense së bashku me Sistemin Operativ Robot (ROS) për të krijuar një integrim pa probleme midis të gjithë sensorëve me mikrokontrolluesin. SDK siguroi një rrjedhë të qëndrueshme të të dhënave cloud cloud e cila ishte ideale për gjurmimin e të gjitha objekteve dhe kufijve të kuadopterit. ROS më ndihmoi të dërgoja të gjitha të dhënat e sensorit në programin që krijova i cili zbaton Inteligjencën Artificiale. AI përbëhet nga algoritme të zbulimit të objekteve dhe algoritme të zbulimit të lëvizjes të cilat lejojnë kuadopterin të gjejë lëvizje në mjedisin e tij. Kontrolluesi përdor Modulimin e Gjerësisë së Pulsit (PWM) për të kontrolluar pozicionin e kuadopterit.

• Freenect

  • Pro - Ka një nivel më të ulët aksesi për të kontrolluar gjithçka
  • Kundër - Mbështet vetëm Kinect V1

• SDK e vërtetë

  • Pro - Mund të krijojë me lehtësi të dhënat e cloud pikë nga rryma e informacionit nga Kamera Realsense
  • Kundër - Mbështet vetëm kamerën Realsense D435

• Shofer Linux FLIR

  • Pro - Mund të tërheqë rrjedhën e të dhënave nga kamera FLIR
  • Kundër - Dokumentacioni është shumë i kufizuar

• Sistemi operativ robot (ROS)

  • Pro - Sistemi operativ ideal për programimin e funksioneve të kamerës
  • Disavantazhet - Duhet të instalohet në një kartë SD të shpejtë për mbledhjen efikase të të dhënave

Hapi 6: Zhvillimi i sistemit

"Sytë" e pajisjes janë sensori stereo infra të kuqe Realsense D435 i cili është një sensor jashtë raftit i përdorur kryesisht për aplikime robotike siç është harta 3D (Figura 1). Kur ky sensor është i instaluar në kuadopter, kamera infra të kuqe mund të drejtojë dhe lejojë kuadopterin të lëvizë në mënyrë autonome. Të dhënat e krijuara nga kamera quhen një re pikë e cila përbëhet nga një seri pikash në një hapësirë që kanë informacion në lidhje me pozicionin e një objekti të caktuar në vizionin e kamerës. Kjo re pikë mund të shndërrohet në një hartë të thellësisë që tregon ngjyrat si thellësi të ndryshme (Figura 2). E kuqja është më larg, ndërsa bluja është metra më afër.

Për të siguruar që ky sistem të jetë i qetë, u përdor një sistem operativ me burim të hapur i quajtur ROS, i cili zakonisht përdoret në robotë. Mundëson kryerjen e kontrollit të pajisjes të nivelit të ulët dhe qasjen në të gjithë sensorët dhe përpilimin e të dhënave që do të përdoren nga programet e tjera. ROS do të komunikojë me Realsense SDK e cila lejon ndezjen dhe fikjen e kamerave të ndryshme për të gjetur se sa larg janë objektet nga sistemi. Lidhja midis të dyjave më lejon të hyj në rrjedhën e të dhënave nga kamera e cila krijon një re pikë. Informacioni i reve të pikës mund të përcaktojë se ku janë kufijtë dhe objektet brenda 30 metrave dhe një saktësi prej 2 cm. Sensorët e tjerë siç janë sensorët SONAR dhe sensorët e ngulitur në kontrolluesin DJI Naza lejojnë një pozicionim më të saktë të kuadopterit. Softueri im përdor algoritme AI për të hyrë në renë e pikës dhe përmes lokalizimit, të krijojë një hartë të të gjithë hapësirës që rrethon pajisjen. Sapo sistemi të fillojë dhe të fillojë skanimin, ai do të udhëtojë nëpër korridore dhe do të gjejë hyrje në dhoma të tjera ku më pas mund të bëjë një spastrim të dhomës në mënyrë specifike duke kërkuar njerëz. Sistemi e përsërit këtë proces derisa të gjitha dhomat të skanohen. Aktualisht, kuadopteri mund të fluturojë për rreth 10 minuta që është e mjaftueshme për të bërë një spastrim të plotë, por mund të përmirësohet me aranzhime të ndryshme të baterisë. Përgjigësit e parë do të marrin njoftime kur njerëzit të dallohen në mënyrë që ata të mund të përqëndrojnë përpjekjet e tyre në ndërtesa të zgjedhura.

Hapi 7: Diskutim dhe Përfundim

Pas shumë provave, unë kisha krijuar një prototip pune që përmbushte kërkesat e listuara në Tabelën 1. Duke përdorur kamerën stereo infra të kuqe Realsense D435 me SDK Realsense, u krijua një hartë e thellësisë me rezolucion të lartë të pjesës së përparme të kuadopterit. Në fillim kisha disa probleme me kamerën infra të kuqe që nuk isha në gjendje të zbuloja objekte të caktuara si xhami. Duke shtuar një sensor SONAR, unë kam qenë në gjendje ta kapërcej këtë problem. Kombinimi i Rock64 dhe DJI Naza ishte i suksesshëm pasi sistemi ishte në gjendje të stabilizonte kuadopterin ndërsa ishte në gjendje të zbulonte objektet dhe muret përmes algoritmeve të vizionit kompjuterik të krijuar me porosi duke përdorur OpenCV. Edhe pse sistemi aktual është funksional dhe i plotëson kërkesat, ai mund të përfitojë nga disa prototipe të ardhshme.

Ky sistem mund të përmirësohet duke përdorur kamera me cilësi më të lartë për të qenë në gjendje të zbulojë më saktë njerëzit. Disa nga kamerat më të shtrenjta FLIR kanë aftësinë për të zbuluar nënshkrimet e nxehtësisë të cilat mund të lejojnë zbulimin më të saktë. Sistemi gjithashtu mund të jetë në gjendje të funksionojë në mjedise të ndryshme siç janë dhomat me pluhur dhe të mbushura me tym. Me teknologjinë e re dhe izolimin nga zjarri, ky sistem mund të dërgohet në shtëpitë që digjen dhe zbulojnë shpejt se ku janë njerëzit, në mënyrë që personat e parë të përgjigjen të tërheqin të mbijetuarit nga rreziku.

Faleminderit per leximin! Mos harroni të votoni për mua në konkursin e Optikës!