Doreza e konvertimit të gjestit në të folur/tekst: 5 hapa

2024 Autor: John Day | [email protected]. E modifikuara e fundit: 2024-01-30 12:12

Ideja/shtytja pas zbatimit të këtij projekti ishte për të ndihmuar njerëzit që kanë vështirësi në komunikimin duke përdorur fjalimin dhe komunikojnë duke përdorur gjestet e duarve ose më të njohura si gjuha e nënshkruar amerikane (ASL). Ky projekt mund të jetë një hap drejt ofrimit të këtyre njerëzve një mundësi për të punuar me njerëz të tjerë, të cilët nuk mund ta kuptojnë gjuhën e shenjave, në një mjedis bashkëpunues. Gjithashtu, ky projekt do t'u mundësojë atyre të mbajnë fjalime publike pa përdorimin e një përkthyesi aktual njerëzor. Si fillim, unë vetëm po përpiqesha të zbuloja disa nga gjestet më të lehta si alfabetet A, B, I, etj dhe gjithashtu i kam caktuar gjeste të caktuara fjalëve/përshëndetjeve të zakonshme si 'Përshëndetje', 'Mirëmëngjes', etj.

Hapi 1: Asambleja e Qarkut

Hapi 2: Detajet e projektit

Ky projekt përfshin një dorezë të veshshme me 4 sensorë fleksibël të mbërthyer/ngulitur në dorezë - një secili për gishtat e vegjël, të mesëm, tregues dhe gishtin e madh. Sensori Flex nuk u përdor për gishtin e unazës për shkak të kufizimeve në disponueshmërinë e kunjave të hyrjes analoge në Arduino Uno R3 dhe në përgjithësi për shkak të mungesës së lëvizjes së pavarur të shfaqur nga gishti në gjuhët e shenjave. Përdoret gjithashtu një akselerometër MMA8452Q i cili është i mbërthyer në pjesën e pasme të pëllëmbës për të matur orientimin e dorës. Hyrja nga këta sensorë analizohet dhe përdoret për të kuptuar gjestin. Pasi gjesti të ndihet, karakteri/mesazhi përkatës ruhet në një ndryshore. Këta personazhe dhe mesazhe vazhdojnë të bashkohen derisa të bëhet një gjest i caktuar i paracaktuar që tregon përfundimin e fjalisë. Pasi të zbulohet ai gjest i veçantë, vargu i ruajtur i fjalisë i dërgohet Raspberry Pi përmes kabllit USB nga Arduino. Raspberry Pi pastaj dërgon vargun e marrë në Shërbimin Cloud të Amazon të quajtur Polly për të kthyer fjalinë e marrë në formatin e tekstit në formatin e të folurit dhe pastaj transmeton fjalimin e marrë në Kryetarin e lidhur me Raspberry Pi përmes kabllit AUX.

Ky projekt ishte vetëm një dëshmi e konceptit dhe me pajisje dhe planifikim më të mirë dhe i kalibruar më mirë për të zbuluar shumë gjeste të tjera dhe lëvizje të dorës. Aktualisht, vetëm funksionalitete të kufizuara janë programuar në këtë projekt, si për zbulimin bazë të gjesteve dhe daljen e tekstit në të folur.

Hapi 3: Kodi

Hapi 4: Hapat

1. Lidhni sensorët fleksibël dhe përshpejtuesin MMA8452Q me Arduino sipas diagramit të qarkut të dhënë.

2. Hidheni programin Final_Project.ino (gjendet në skedarin Arduino_code.zip) në Arduino.

3. Lidheni Arduino me Raspberry Pi përmes një kabllo USB. (Kabllo e tipit A/B).

4. Fuqizoni Raspberry Pi, kopjoni skedarin Raspberry_pi_code.zip në Raspberry Pi dhe nxirrni atë. Lidhni altoparlantin me Raspberry Pi.

5. Kopjoni kredencialet e llogarisë tuaj AWS dmth aws_access_key_id, aws_secret_access_key dhe aws_session_token në skedarin ~/.aws/kredencialet. Ky hap kërkohet për të komunikuar me cloud AWS dhe për të përdorur shërbimet AWS.

6. Drejtoni programin seria_test.py që gjendet brenda dosjes së nxjerrë në hapin 4.

7. Tani bëni gjestet për të formuar një fjali dhe më pas bëni gjestin special (Mbani gishtat dhe pëllëmbën drejt dhe në një vijë me pëllëmbën të kthyer nga ju, dhe pastaj rrotulloni kyçin e dorës duke i dhënë një kthesë poshtë, ashtu që tani pëllëmba juaj është përballë jush dhe maja e gishtërinjve tuaj është drejtuar poshtë drejt këmbëve tuaja.) për të sinjalizuar përfundimin e fjalisë.

8. Vazhdoni të kontrolloni terminalin për informacion të dobishëm.

9. Dhe dëgjoni fjalimin e konvertuar që transmetohet mbi folësin.

Hapi 5: Referencat

1.

2.

3.

4.