Përdorimi i Sonar, Lidar dhe Vizioni Kompjuterik në Mikrokontrolluesit për të Ndihmuar Personat me Shikim: 16 Hapa

2024 Autor: John Day | [email protected]. E modifikuara e fundit: 2024-01-30 12:20

Unë dua të krijoj një ‘kallam’ inteligjent që mund të ndihmojë njerëzit me dëmtime të shikimit shumë më tepër sesa zgjidhjet ekzistuese. Shkopi do të jetë në gjendje të njoftojë përdoruesin për objektet para ose anash duke bërë një zhurmë në kufjet e tipit të zërit rrethues. Shkopi gjithashtu do të ketë një aparat të vogël dhe LIDAR (Zbulimi dhe Zhurma e Dritës) në mënyrë që të njohë objektet dhe njerëzit në dhomë dhe të njoftojë përdoruesin duke përdorur kufjet. Për arsye sigurie, kufjet nuk do të bllokojnë të gjithë zhurmën pasi do të ketë një mikrofon që mund të filtrojë të gjithë tingujt e panevojshëm dhe të mbajë boritë e makinës dhe njerëzit të flasin. Së fundmi sistemi do të ketë një GPS në mënyrë që të mund të japë udhëzime dhe t'i tregojë përdoruesit se ku të shkojë.

Ju lutem votoni për mua në konkurset e Mikrokontrolluesit dhe Fitnesit në natyrë!

Hapi 1: Vështrim i përgjithshëm i projektit

Sipas Qasjes Botërore për të Verbërit, lëvizja fizike është një nga sfidat më të mëdha për njerëzit e verbër. Udhëtimi ose thjesht ecja nëpër një rrugë të mbushur me njerëz mund të jetë shumë e vështirë. Tradicionalisht e vetmja zgjidhje ishte përdorimi i zakonshëm i "kallamit të bardhë" i cili përdoret kryesisht për të skanuar mjedisin duke goditur pengesat në afërsi të përdoruesit. Një zgjidhje më e mirë do të ishte një pajisje që mund të zëvendësojë asistentin me shikim duke siguruar informacion në lidhje me vendndodhjen e pengesave në mënyrë që personi i verbër të dalë jashtë në mjedise të panjohura dhe të ndihet i sigurt. Gjatë këtij projekti, u zhvillua një pajisje e vogël e operuar me bateri që plotëson këto kritere. Pajisja mund të zbulojë madhësinë dhe vendndodhjen e objektit me anë të sensorëve të cilët matin pozicionin e objekteve në raport me përdoruesin, e transmetojnë atë informacion në një mikrokontrollues dhe më pas e shndërrojnë atë në audio për t’i dhënë informacion përdoruesit. Pajisja është ndërtuar duke përdorur LIDAR komerciale (Zbulimi dhe Zhurma e Dritës), SONAR (Lundrimi dhe Zhurma e Zërit), dhe teknologjitë e shikimit kompjuterik të lidhura me mikrokontrolluesit dhe të programuara për të siguruar daljen e informacionit të kërkuar të dëgjimit duke përdorur kufje ose kufje. Teknologjia e zbulimit ishte ngulitur brenda një "kallami të bardhë" për t'u treguar të tjerëve gjendjen e përdoruesit dhe për të siguruar siguri shtesë.

Hapi 2: Kërkimi i historikut

Në vitin 2017, Organizata Botërore e Shëndetit raportoi se kishte 285 milionë njerëz me shikim të dëmtuar në të gjithë botën, nga të cilët 39 milionë ishin plotësisht të verbër. Shumica e njerëzve nuk mendojnë për çështjet me të cilat njerëzit me shikim përballen çdo ditë. Sipas Qasjes Botërore për të Verbërit, lëvizja fizike është një nga sfidat më të mëdha për njerëzit e verbër. Udhëtimi ose thjesht ecja nëpër një rrugë të mbushur me njerëz mund të jetë shumë e vështirë. Për shkak të kësaj, shumë njerëz të dëmtuar nga shikimi preferojnë të sjellin një mik apo anëtar të familjes me shikim për të ndihmuar në lundrimin në mjedise të reja. Tradicionalisht e vetmja zgjidhje ishte përdorimi i zakonshëm i "kallamit të bardhë" i cili përdoret kryesisht për të skanuar mjedisin duke goditur pengesat në afërsi të përdoruesit. Një zgjidhje më e mirë do të ishte një pajisje që mund të zëvendësojë asistentin me shikim duke siguruar informacion në lidhje me vendndodhjen e pengesave në mënyrë që personi i verbër të dalë jashtë në mjedise të panjohura dhe të ndihet i sigurt. NavCog, një bashkëpunim midis IBM dhe Universitetit Carnegie Mellon, janë përpjekur ta zgjidhin problemin duke krijuar një sistem që përdor fenerë Bluetooth dhe telefona inteligjentë për të ndihmuar udhëzuesin. Sidoqoftë, zgjidhja ishte e rëndë dhe rezultoi të ishte shumë e kushtueshme për zbatime në shkallë të gjerë. Zgjidhja ime e trajton këtë duke eleminuar çdo nevojë për pajisje të jashtme dhe duke përdorur një zë për të udhëzuar përdoruesin gjatë gjithë ditës (Figura 3). Avantazhi i futjes së teknologjisë brenda një "kallami të bardhë" është se ajo sinjalizon pjesën tjetër të botës për gjendjen e përdoruesit, e cila shkakton ndryshime në sjelljen e njerëzve përreth.

Hapi 3: Kërkesat e projektimit

Pas hulumtimit të teknologjive në dispozicion, unë diskutova zgjidhjet e mundshme me profesionistët e vizionit për qasjen më të mirë për të ndihmuar personat me dëmtim shikimi të lundrojnë në mjedisin e tyre. Tabela më poshtë rendit veçoritë më të rëndësishme të kërkuara që dikush të kalojë në pajisjen time.

Tipar - Përshkrimi:

• Llogaritja - Sistemi duhet të sigurojë një përpunim të shpejtë për informacionin e shkëmbyer midis përdoruesit dhe sensorëve. Për shembull, sistemi duhet të jetë në gjendje të informojë përdoruesin për pengesat përpara që janë të paktën 2m larg.
• Mbulimi - Sistemi duhet të ofrojë shërbimet e tij brenda dhe jashtë për të përmirësuar cilësinë e jetës së njerëzve me shikim të dëmtuar.
• Koha - Sistemi duhet të funksionojë si gjatë ditës ashtu edhe gjatë natës.
• Gama - Gama është distanca midis përdoruesit dhe objektit që do të zbulohet nga sistemi. Gama minimale ideale është 0.5 m, ndërsa distanca maksimale duhet të jetë më shumë se 5 m. Distancat e mëtejshme do të ishin edhe më të mira, por më sfiduese për t'u llogaritur.
• Lloji i objektit - Sistemi duhet të zbulojë shfaqjen e papritur të objekteve. Sistemi duhet të jetë në gjendje të tregojë ndryshimin midis objekteve në lëvizje dhe objekteve statike.

Hapi 4: Dizajni Inxhinierik dhe Zgjedhja e Pajisjeve

Pasi shikova shumë përbërës të ndryshëm, vendosa për pjesët e zgjedhura nga kategoritë e ndryshme më poshtë.

Çmimi i pjesëve të zgjedhura:

• Panther Zungle: 149.99 dollarë
• LiDAR Lite V3: 149.99 dollarë
• LV-MaxSonar-EZ1: 29,95 dollarë
• Sensor tejzanor - HC -SR04: 3.95 dollarë
• Raspberry Pi 3: 39.95 dollarë
• Arduino: 24,95 dollarë
• Kinect: $ 32.44
• Floureon 11.1v 3s 1500mAh: 19.99 dollarë
• LM2596HV: 9.64 dollarë

Hapi 5: Përzgjedhja e pajisjeve: Metoda e ndërveprimit

Vendosa të përdor kontrollin e zërit si metodë për të bashkëvepruar me pajisjen sepse të kesh butona të shumtë në një kallam mund të jetë sfiduese për një person me dëmtim të shikimit, veçanërisht nëse disa funksione kërkojnë një kombinim të butonave. Me kontrollin e zërit, përdoruesi mund të përdorë komanda të paracaktuara për të komunikuar me kallamin i cili zvogëlon gabimet e mundshme.

Pajisja: Pro --- Kundër:

• Butonat: Asnjë gabim komandimi kur shtypni butonin e djathtë --- Mund të jetë sfiduese të siguroheni që shtypen butonat e duhur
• Kontrolli i zërit: Lehtë sepse përdoruesi mund të përdorë komandat e paracaktuara --- Shqiptimi i pasaktë mund të shkaktojë gabime

Hapi 6: Përzgjedhja e pajisjeve: Mikrokontrollues

Pajisja përdori Raspberry Pi për shkak të kostos së ulët dhe fuqisë së mjaftueshme përpunuese për të llogaritur hartën e thellësisë. Intel Joule do të kishte qenë opsioni i preferuar por çmimi i tij do të kishte dyfishuar koston e sistemit i cili nuk do të ishte ideal kjo pajisje e cila është zhvilluar për të ofruar një opsion me kosto më të ulët për përdoruesit. Arduino u përdor në sistem sepse mund të marrë lehtësisht informacion nga sensorët. BeagleBone dhe Intel Edison nuk u përdorën për shkak të raportit të ulët të çmimit ndaj performancës, i cili është i keq për këtë sistem me kosto të ulët.

Mikrokontrolluesi: Pro --- kundër:

• Raspberry Pi: Ka fuqi të mjaftueshme përpunuese për gjetjen e pengesave dhe ka integruar WiFi/Bluetooth --- Nuk ka shumë mundësi për marrjen e të dhënave nga sensorët
• Arduino: Merrni me lehtësi të dhëna nga sensorë të vegjël. dmth. LIDAR, tejzanor, SONAR, etj --- Nuk ka fuqi të mjaftueshme përpunuese për gjetjen e pengesave
• Intel Edison: Mund të përpunojë pengesat shpejt me procesor të shpejtë --- Kërkon pjesë shtesë të zhvilluesit për të funksionuar për sistemin
• Intel Joule: Ka dyfishin e shpejtësisë së përpunimit të ndonjërit prej mikrokontrolluesve në tregun e konsumit deri më sot --- Kosto shumë e lartë për këtë sistem dhe e vështirë për të bashkëvepruar me GPIO për ndërveprimin e sensorit
• BeagleBone Black: Kompakt dhe i pajtueshëm me sensorët e përdorur në projekt duke përdorur Output Output për Qëllim të Përgjithshëm (GPIO) --- Nuk ka fuqi të mjaftueshme përpunuese për të gjetur në mënyrë efektive objektet

Hapi 7: Përzgjedhja e pajisjeve: Sensorë

Një kombinim i disa sensorëve përdoret për të marrë saktësi të lartë të vendndodhjes. Kinect është sensori kryesor për shkak të sasisë së sipërfaqes që mund të skanojë për pengesa në të njëjtën kohë. LIDAR i cili nënkupton LIght Detection and Ranging, është një metodë e sensimit në distancë që përdor dritën në formën e një lazeri pulsues për të matur distancat nga vendi ku ndodhet sensori në objekte me shpejtësi; ai sensor përdoret sepse mund të gjurmojë një zonë deri në 40 metra (m) larg dhe meqenëse mund të skanojë në kënde të ndryshme, mund të zbulojë nëse ndonjë hap po shkon lart ose poshtë. Sensorët SOND Navigation And Ranging (SONAR) dhe tejzanor përdoren si përcjellje rezervë në rast se Kinect humbet një shtyllë ose përplasje në tokë që do të përbënte një rrezik për përdoruesin. Sensori i 9 Shkallëve të Lirisë përdoret për të gjurmuar drejtimin me të cilin po përballet përdoruesi, në mënyrë që pajisja të ruajë informacionin me saktësi më të lartë, duke e drejtuar herën tjetër kur personi të ecë në të njëjtin vend.

Sensorë: Pro --- Kundër:

• Kinect V1: Mund të gjurmojë objekte 3D me --- Vetëm një aparat fotografik për të zbuluar mjedisin
• Kinect V2: Ka 3 kamera infra të kuqe dhe një aparat të kuq, jeshil, blu, thellësi (RGB-D) për zbulimin e objekteve 3D me saktësi të lartë --- Mund të nxehet dhe mund të ketë nevojë për një tifoz ftohës, dhe është më i madh se sensorët e tjerë
• LIDAR: Trare që mund të gjurmojë vende deri në 40 m larg --- Duhet të pozicionohet drejt objektit dhe mund të shikojë vetëm në atë drejtim
• SONAR: Trare që mund të gjurmojë 5 m larg, por në një distancë të largët --- Objekte të vogla si pendët mund të shkaktojnë sensorin
• Tejzanor: Ka një rreze deri në 3 m dhe është shumë e lirë --- Distancat nganjëherë mund të jenë të pasakta
• Sensori i 9 Shkallëve të Lirisë: I mirë për të ndjerë orientimin dhe shpejtësinë e përdoruesit --- Nëse diçka ndërhyn me sensorët, llogaritjet e distancës mund të llogariten gabimisht

Hapi 8: Përzgjedhja e pajisjeve: Softuer

Softueri i zgjedhur për prototipet e parë të ndërtuar me sensorin Kinect V1 ishte Freenect, por nuk ishte shumë i saktë. Kur kaluat në Kinect V2 dhe Freenect2, rezultatet e gjurmimit u përmirësuan ndjeshëm për shkak të përmirësimit të gjurmimit pasi V2 ka një aparat HD dhe 3 kamera infra të kuqe në krahasim me një aparat të vetëm në Kinect V1. Kur isha duke përdorur OpenNi2 me Kinect V1, funksionet ishin të kufizuara dhe unë nuk mund të kontrolloja disa nga funksionet e pajisjes.

Softueri: Pro --- kundër:

• Freenect: Ka një nivel më të ulët kontrolli për të kontrolluar gjithçka --- Mbështet vetëm Kinect V1
• OpenNi2: Mund të krijojë me lehtësi të dhënat e cloud pikë nga rryma e informacionit nga Kinect --- Mbështet vetëm Kinect V1 dhe nuk ka mbështetje për kontroll të nivelit të ulët
• Freenect2: Ka një nivel më të ulët të kontrollit për shiritin e sensorit --- Punon vetëm për Kinect V2
• ROS: Sistemi operativ ideal për programimin e funksioneve të kamerës --- Duhet të instalohet në një kartë SD të shpejtë në mënyrë që softueri të funksionojë

Hapi 9: Përzgjedhja e pajisjeve: Pjesë të tjera

Bateritë e litium -jonit u zgjodhën për shkak të dritës, kapacitetit të lartë të energjisë dhe rimbushjes. Varianti 18650 i baterisë litium -jon ka një formë cilindrike dhe përshtatet në mënyrë të përkryer në prototipin e kallamit. Prototipi i parë i kallamit është bërë nga tub PVC sepse është i zbrazët dhe zvogëlon peshën e kallamit.

Hapi 10: Zhvillimi i sistemit: Krijimi i pjesës 1 të harduerit

Së pari ne duhet të çmontojmë Kinect për ta bërë atë më të lehtë dhe në mënyrë që të përshtatet brenda kallamit. Fillova duke hequr të gjithë zorrën e jashtme nga Kinect pasi plastika e përdorur peshon SHUM. Pastaj më duhej të prisja kabllon në mënyrë që baza të mund të hiqet. I mora telat nga lidhësi i treguar në foto dhe i bashkova në një kabllo usb me tela sinjali dhe dy lidhjet e tjera ishin për fuqinë hyrëse 12V. Meqenëse doja që ventilatori brenda kallamit të funksiononte me fuqi të plotë për të ftohur të gjithë përbërësit e tjerë, unë e ndërpreva lidhësin nga ventilatori nga Kinect dhe lidhja 5V nga Raspberry Pi. Unë gjithashtu bëra një përshtatës të vogël për telin LiDAR në mënyrë që të lidhet drejtpërdrejt me Raspberry Pi pa ndonjë sistem tjetër në mes.

Unë bashkova aksidentalisht tela të bardhë në atë të zezë, kështu që mos shikoni imazhet për diagramet e instalimeve elektrike

Hapi 11: Zhvillimi i Sistemit: Krijimi i Pjesës 2 të Harduerit

Kam krijuar një pjesë rregullatore për të siguruar energji për të gjitha pajisjet që kërkojnë 5V si Raspberry Pi. Kam rregulluar rregullatorin duke vendosur një matës në dalje dhe duke rregulluar rezistencën në mënyrë që rregullatori të sigurojë 5.05V. E vendosa pak më të lartë se 5V sepse me kalimin e kohës, tensioni i baterisë zbret dhe ndikon pak në tensionin e daljes. Unë gjithashtu bëra një përshtatës i cili më lejon të furnizoj deri në 5 pajisje që kërkojnë 12V nga bateria.

Hapi 12: Zhvillimi i Sistemit: Programimi i Sistemit Pjesa 1

Një nga pjesët më sfiduese të këtij sistemi është programimi. Kur e kisha marrë për herë të parë Kinect për të luajtur me të, instalova një program të quajtur RTAB Map i cili merr rrjedhën e të dhënave nga Kinect dhe i konverton në një re pikë. Me renë pikë, ajo krijoi një imazh 3D që mund të rrotullohet, kështu që shihni thellësinë e vendit ku janë të gjitha objektet. Pasi luajta me të për një kohë dhe i rregullova të gjitha cilësimet, vendosa të instaloj disa softuerë në Raspberry Pi për të më lejuar të shikoj rrjedhën e të dhënave nga Kinect. Dy imazhet e fundit më sipër tregojnë atë që Raspberry Pi mund të prodhojë me rreth 15-20 korniza në sekondë.