Kinema Biofeedback: 7 hapa

2024 Autor: John Day | [email protected]. E modifikuara e fundit: 2024-01-30 12:27

Autori i projektit

Jessica Ann

Bashkëpunëtorët

• Gregory Hough
• Salud Lopez
• Pedro Peira

Rreth

Një sistem eksperimental i kapjes së videove që lidh trurin e pjesëmarrësit me funksionet e kamerës përmes një kufje Neerosky Mindwave EEG Reader. Sistemi i Kinemasë Biofeedback funksionon në vend të një kinematografie tradicionale, në vend që t'i japë agjencinë e përbërjes vetë pjesëmarrësit përmes një ndërfaqeje të personalizuar BRAIN to CAMERA. Projekti u zhvillua në bashkëpunim me pjesëmarrësit e seminarit Gregory Hough, Salud Lopez dhe Pedro Peira. Ju mund të lexoni rezultatet e seminarit në:

Konfigurimi i Prototipit

Sistemi i Biofeedback Cinema i jep vetes shumë aplikacione të mundshme. Për këtë udhëzues, ne kemi përgatitur një demonstrim të sistemit që shikon nivelin e përqendrimit/vëmendjes së pjesëmarrësit (një numër i plotë i vetëm) dhe e përkthen atë në pozicionin e kamerës (përmes pjatës dhe pjerrësisë) dhe fokusin e kamerës (brenda përmes OpenCV). E gjithë kjo është bërë e mundur nga një lidhje bluetooth midis kufjeve Neurosky EEG Reader dhe Raspberry Pi.

Raspberry Pi është një kompjuter i vogël i pajisur me një kamerë në internet dhe skripte (të disponueshme më poshtë) që lidhin aktivitetin e trurit të pjesëmarrësit me cilësimet e kamerës dhe pozicionin e kamerës. Pozicioni dinamik i kamerës bëhet i mundur nëpërmjet një mikrokontrolluesi Arduino që merr sinjale nga Raspberry Pi. Ne mezi presim zhvillimin e mëtejshëm pasi synojmë të përfshijmë parametra shtesë të valës së trurit (frekuencat që lidhen me pulsimet e syve, etj.) Dhe funksionet e kamerës (p.sh. nuanca, ngopja, shkëlqimi, etj)

Më poshtë janë udhëzimet për të ndërtuar sistemin tuaj Biofeedback Cinema.

Gëzuar eksperimentet

Hapi 1: Furnizimet

Çdo gjë që ju nevojitet për të ndërtuar prototipin tuaj Biofeedback Cinema është e shënuar më poshtë.

1. Kufje Neurosky Mindwave Mobile EEG

2. Raspberry Pi B+ (b+ është më mirë, më shumë porte USB, por një model B është gjithashtu i mirë nëse keni një shpërndarës USB).

   1. Përshtatës i fuqisë Raspberry Pi ose Paketa e Baterisë
   2. Wifi Dongle -ose- Lidhja Ethernet (e nevojshme vetëm gjatë konfigurimit)
   3. Bluetooth Dongle shihni wiki për dongle të pajtueshëm
   4. Kartë SD (të paktën 8 GB) me NOOBS.

3. Arduino Çdo bord është mirë, duke përdorur Uno në këtë Udhëzues. Gjithashtu vini re, thjesht mund të përdorni I/O në Pi.

   1. Përshtatës i energjisë Arduino ose Paketa e Baterisë
   2. Kabllo USB A-B
4. Webcam USB
5. Mini Pan-Tilt Kit

6. Monitoroni hyrjen HDMI Ose përdorni VNC për të kontrolluar në distancë pi tuajin nga kompjuteri juaj [tutorial këtu]

   Kabllo HDMI

7. USB Keyboard & Mouse rekomandojnë tastierë dhe mi bluetooth për të minimizuar portat USB të përdorura.

Hapi 2: Konfiguroni Raspberry Pi

1. Setup Hardware

Lidhni tastierën, miun, dongle bluetooth, dongle wifi (ose ethernet), kamerën në internet, monitorin përmes kabllit HDMI dhe fuqinë në Raspberry Pi tuaj

2. Konfiguro Sistemin Operativ

• Ndizeni fuqinë dhe Pi juaj duhet të fillojë. Instaloni Rasbpian OS, udhëzimet këtu:
• Nëse aktivizohet dhe Raspian është instaluar siç duhet, duhet të shihni desktopin e shtëpisë [Image above].

K HSHILLA:

• Nëse raporti i aspektit të desktopit është i fikur, provoni të rindizni Raspberry Pi tuaj. Nëse është akoma i fikur, shikoni këtu për të përditësuar manualisht raportin e aspektit.
• Nëse hapni një redaktues teksti dhe karakteret speciale të tastierës tuaj janë të gabuara, shikoni këtu për të përditësuar konfigurimin e tastierës tuaj.
• Provoni lidhjen tuaj në internet (do t'ju duhet kjo për të instaluar bibliotekat gjatë konfigurimit). Shikoni këtu për ndihmë për konfigurimin e wifi.

Hapi 3: Lidhni kufjet Neurosky

1. Konfigurimi Bluetooth

Para se Pi të lidhet me Neurosky ne duhet të konfigurojmë bluetooth:

Në desktop hapni "LXTerminal" (i referuar si Terminal nga këtu e tutje). Drejtoni këtë komandë për të zgjidhur dhe azhurnuar mangësitë:

$ sudo apt-merrni përditësim

Instaloni bluetooth me këtë komandë:

$ sudo apt-get install bluetooth

Instaloni një mjet të dobishëm desktop-toolbar bluetooth:

$ sudo apt-get install -y bluetooth bluz-utils blueman

Rinisni Pi nga Terminali:

$ sudo rindezje

2. Provoni lidhjen Bluetooth

• Ndizni kufjet Neurosky
• Nga skanimi i terminalit për pajisjet:

hcitool scan

Kufjet Mindwave duhet të jenë të listuara, merrni parasysh adresën MAC të kufjeve [imazhi më sipër]

3. Instaloni Bibliotekat Neurosky

Tani ne jemi gati të instalojmë bibliotekat Neurosky Python dhe të fillojmë të marrim rrjedhën e të dhënave të saj me skriptin e testimit të bibliotekës:

Nga Terminali instaloni mjetin github:

sudo apt-get install git-core

Klononi depo github me bibliotekën Neurosky Python:

sudo git klon

Ne duhet të azhurnojmë skedarin MindwaveMobileRawReader.py me adresën MAC të kufjeve tuaja. FYI: Emrat e skedarëve janë të ndjeshëm ndaj shkronjave të mëdha

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Përditësoni adresën MAC të listuar në skedar. Ctrl-X për të përfunduar, Y për të ruajtur, Enter për të dalë.
• Çiftoni Neurosky dhe Pi dhe lejoni funksionin e lidhjes automatike, nëse kërkohet të përdorni një kod PIN "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-pajisje e besuar XX: XX: XX: XX: XX: XX po

Instaloni bibliotekën Python Bluetooth:

sudo apt-get install python-bluez

Drejtoni skriptin e testimit të bibliotekës për të siguruar që Pi është në gjendje të shikojë paraprakisht rrjedhën e të dhënave. Ju duhet të shihni transmetimin e të dhënave [imazhi më lart]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Hapi 4: Lidhni Webcam USB W/Hapni CV

1. Instaloni OpenCV

Nga Terminali:

$ sudo apt-get install libopencv-dev python-opencv

Kur të keni mbaruar, vazhdoni:

$ sudo apt -get -f install

Për masë të mirë:

$ sudo apt-get install libopencv-dev python-opencv

Provoni instalimin duke u përpjekur të importoni bibliotekën:

$ piton

> import cv2

2. Provoni OpenCV në Python me USB Webcam

• Në desktop hapni "IDLE" (mos e hapni IDLE3!)
• Nga menyja File zgjidhni New Window. Kopjoni skriptin tonë Cv-Blur-Test në dritaren e re dhe ruani. Skripti i disponueshëm këtu:
• Nga menyja Run, zgjidhni Modulin e ekzekutimit (ose shtypni F5). Mund të duhen disa sekonda për të filluar, por duhet të shihni një kornizë të vogël që shfaqet me burimin tuaj të drejtpërdrejtë të kamerës në internet dhe videoja duhet të jetë e paqartë. Urime, OpenCV u instalua dhe po punon me sukses me kamerën tuaj në internet [Imazhi më lart].

Hapi 5: Lidhni Arduino

1. Shkarkoni Arduino IDE

Nga Terminali:

sudo apt-get instaloni arduino

2. Lidhni Arduino & Load Sketch

• Lidheni arduinon në Pi me kabllon USB A-B.
• Nga menyja e fillimit të desktopit shkoni te Elektronikë dhe hapni Arduino IDE. Kopjoni skicën tonë arduino-serial-pi në IDE [Lidhja më poshtë]. Ky është një skicë shumë themelore që do të lëvizë servo motorët bazuar në hyrjen që vjen mbi serialin. Ne do të dërgojmë të dhëna mbi serinë bazuar në daljen e valës së trurit, duke përdorur një skicë Python në hapin e fundit kur të vendosim gjithçka së bashku.

Arduino-serial-pi skiconi në internet këtu:

Në Arduino IDE, shkoni te menyja Tools, zgjidhni Portin Serial dhe zgjidhni portin Arduino të listuar, ndoshta diçka si /dev /ttyACM0. Bëni shënim portin

3. Çaktivizo Serial Console

Shkarkoni dhe ekzekutoni një skenar për të çaktivizuar tastierën serike në mënyrë që lidhja serike me USB të funksionojë pa probleme:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./konfigurimi

$ sudo rindezje

FYI:

Nëse jeni duke përdorur B+ mund të ketë mjaft I/O për të mbështetur servos, (shikoni këtu për të konfiguruar dhe përdorur GPIO). Sidoqoftë, unë jam i interesuar të shtoj përbërës shtesë për eksperimentet e ardhshme të trurit në elektronikë. Pra, vendosja e prototipit fillestar me një arduino siguron shumë mundësi elektronike të shpërthimit.

Hapi 6: Vendosja e të gjitha së bashku

1. Skenari përfundimtar Python

Para se të shtojmë skriptin përfundimtar të python në dosjen "python-mindwave-mobile", duhet të ndryshojmë lejet e dosjes. Nga Terminali:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Hapni IDLE dhe ekzekutoni skriptin tonë përfundimtar Python, të disponueshëm në internet këtu: https://github.com/PrivateHQ/biofeedback-cinema/ Sigurohuni që është i vendosur në dosjen python-mindwave-mobile. FYI: Ju do të duhet të azhurnoni skriptin tonë Python me adresën tuaj aktuale të portit Arduino.
• Kur drejtoni këtë skenar tre gjëra që duhet të ndodhin: 1) Niveli i vëmendjes suaj do të jetë i shënuar në Python Shell, 2) Një kuadër i vogël shfaqet që tregon burimin e drejtpërdrejtë të kamerës me turbullimin që ndryshon në bazë të nivelit të vëmendjes, 3) motorin (s) lëvizni pasi niveli i vëmendjes po kalohet tek arduino përmes serialit [Video më sipër].

Hapi 7: Përmirësimet dhe Zhvillimi

Raspberry Pi ka fuqi të kufizuar përpunimi dhe lufton për të drejtuar funksionet e OpenCV pa probleme. Kjo është diçka që do të vazhdoj ta zhvilloj dhe përmirësoj. Për më tepër, kam në plan të përfshij parametra shtesë të valës së trurit (frekuencat që lidhen me pulsimet e syve, etj) dhe funksionet e kamerës (p.sh. ngjyrimi, ngopja, shkëlqimi, etj.) Në përsëritjet e ardhshme.