Lojtari Synesthesia Piano: 4 hapa

2024 Autor: John Day | [email protected]. E modifikuara e fundit: 2024-01-30 12:10

Ky piano luan muzikë duke përdorur një rrotë me ngjyra dhe një aparat fotografik! Imazhet kapen nga kamera, përpunohen dhe interpretohen si nota muzikore. Tani për tani është programuar të luajë rima të çerdhes që mund të ndryshohen duke ngarkuar një skicë të re arduino e cila specifikon se cilat shënime duhet të luhen (Cilat ngjyra duhet t'i shfaqen kamerës).

PC -ja në bord Linux fillon një shërbim në nisje që merr një fotografi me një aparat fotografik, llogarit një funksion të vlerave RGB në imazh dhe nxjerr një tingull bazuar në vlerën e kthimit të funksionit. Para se të luajë tingullin, ai dërgon një sinjal që i thotë një Arduino të rrotullojë një servo, duke paraqitur ngjyrën që korrespondon me notën tjetër që do të luhet. Pastaj lak fillon përsëri, bëhet një fotografi, rrota me ngjyra rrotullohet dhe një tingull luhet pafundësisht.

Ky projekt është një mënyrë argëtuese për të integruar muzikën, programimin e sistemeve moderne Linux, programimin e mikrokontrolluesve, zbardhjen me inkscape, prerjen me lazer dhe ri-qëllimin e disa kutive të kartonit të hedhurinave.

Të gjithë SVG -të e kodit dhe inkscape janë në dispozicion në github në:

github.com/melvyniandrag/pyMusic

Materialet e përdorura:

1. Etiketa të bardha të zbrazëta
2. Kuti kartoni
3. Webcam
4. Shkumësa me ngjyra
5. Arduino
6. Beagleboard-xM
7. Telat
8. Kabllo Seriale
9. Njohuri themelore të përpunimit të imazhit dhe muzikës

Hapi 1: Gjërat kompjuterike

Në bord do t'ju duhet një kompjuter i vogël i aftë për Linux siç është Raspberry Pi. Kam përdorur një BeagleBoard-xM të vjetër sepse më ndodhi që e kisha vendosur dhe kisha tashmë një sistem operativ në kartën SD. Ju mund të përdorni çdo gjë, për sa kohë që mund të trajtojë një kamerë në internet, mund të ekzekutojë OpenCV (biblioteka e vizionit kompjuterik që përdoret për të marrë dhe përpunuar imazhe të rrotës me ngjyra) dhe ka një fole dalëse audio.

Unë vendosa sistemin operativ për të ekzekutuar kodin python që kap imazhe gjatë nisjes pas një mësimi të sistemuar. Që skenari të ekzekutohet do t'ju duhet të sudo apt-get install python-pyaudio python-opencv për të marrë bibliotekat e treguara. Ju gjithashtu do të duhet të instaloni pip numpy pyserial për të marrë ato biblioteka. pyaudio përdoret për të luajtur tinguj, opencv përdoret për marrjen dhe përpunimin e imazhit, numpy përdoret gjithashtu për përpunimin e imazhit, dhe pyserial është i nevojshëm për komunikimin me Arduino.

Arduino përdoret për të rrotulluar servo motorin në të cilin është montuar rrota me ngjyra. Nëse do të kishit një Raspberry Pi, mund të përdorni kunjat GPIO atje dhe të lini jashtë Arduino, por do t'ju duhet të modifikoni kodin Python.

Në imazhe mund të shihni guximin teknologjik të operacionit dhe disa fragmente të kodit.

Hapi 2: Piano

Unë bëra pianon nga kartoni nga disa kuti të vjetra që kisha. Unë kam fatin e mirë të jetoj pranë një hapësire krijuese që ka një prestar lazer. Për një vit të tërë po pyes se për çfarë dreqin do të donte një prestar lazer, dhe rezultoi se më në fund gjeta një përdorim për të.

Unë mata kompjuterin, arduino dhe servo kështu që e dija se sa hapësirë më duheshin, vizatova pjesët e pianos në inkscape dhe i preva në prestarin lazer. (Ndrysho: më mbaroi kartoni për ta bërë mbylljen të mbajë kompjuterin dhe arduinon dhe kështu nuk i futa. Ato janë në pjesën e jashtme të kasës. Nuk ka rëndësi, mund të kem marrë një kuti tjetër nga diku, por nuk e bëri nuk ka rëndësi në fund.)

Pjesët u vendosën së bashku me epoksi.

Hapi 3: Montimi

Këtu janë disa imazhe të pianos që mblidhet dhe ngjyroset. Printeri ishte pa bojë, kështu që nuk mund t'i printoja ngjyrat në etiketat e bardha siç e kisha planifikuar. Kështu që unë përdor shkumësa me ngjyra të vajzës sime. Dhe nuk gjeta një thikë xacto për të prerë etiketën në formën e kartonit, kështu që unë thjesht përdor një thikë bifteku dhe vendosa diçka mbrojtëse në banakun e kuzhinës. Përdorni atë që keni!

Hapi 4: Sfidat teknike dhe konsideratat e ardhshme

Një pjesë sfiduese e këtij projekti ishte marrja e vlerave të duhura të RGB për t'u lexuar nga kamera. Kamera në internet që kam ka disa LED tepër të ndritshme në të që nuk di si t’i fik në Linux. Unë mendoj se ekziston një drejtues Windows që ju lejon t'i aktivizoni dhe fikni ato. Eksperimentova me ngjitjen e LED -ve me shirit elektrik dhe lënien e tyre. Unë gjithashtu testova softuerin për qëndrueshmërinë duke mos treguar vetëm letër me ngjyrë, por edhe duke shkruar një faqe në internet që tregon ngjyrat.

Tingujt e prodhuar nga kompjuteri ndonjëherë kanë kërcitje dhe kërcitje në to, dhe kjo vjen nga fakti se kam shumë pak përvojë në programimin audio Linux. Biblioteka pyaudio nxjerr një mori të tërë ankesash për mos instalimin e JACK në PC, por si parazgjedhje JACK nuk dëshiron të funksionojë pa kokë (pa një desktop gui dhe një monitor). Kjo është një detyrë programimi që mendova se ishte një përmirësim, por nuk ishte e nevojshme për të shprehur thelbin e pianos së lojtarit që kisha në mendje.

Unë kisha konsideruar përdorimin e një fiksimi dore për të ndryshuar ngjyrat, dhe ndoshta për t'i pasur ato në një kunj, por kjo sjell ndërlikimet e veta. Servo është pak e zhurmshme, por punon mirë tani për tani.

Lojtari piano aktualisht është programuar vetëm për të luajtur 4 nota. Kjo ndodh sepse servo lëviz vetëm 180 gradë, shumica e rimave të çerdhes mund të luhen me vetëm 3-4 nota, dhe unë nuk doja që rrota e ngjyrave të ngatërrohej me zonat e ngjyrave, ndoshta duke ngatërruar kamerën. Pra, përmes një kombinimi të fatit muzikor dhe kufizimeve teknike, 4 shënime janë mirë.