Vizualizimi i të dhënave nga Magicbit në AWS: 5 hapa

2024 Autor: John Day | [email protected]. E modifikuara e fundit: 2024-01-30 12:10

Të dhënat e mbledhura nga sensorët e lidhur me Magicbit do të publikohen në AWS IOT core përmes MQTT për tu vizualizuar në mënyrë grafike në kohë reale. Ne po përdorim magicbit si bordin e zhvillimit në këtë projekt i cili bazohet në ESP32. Prandaj, çdo bord zhvillimi ESP32 mund të përdoret në këtë projekt.

Furnizimet:

Magicbit

Hapi 1: Histori

Ky Projekt ka të bëjë me lidhjen e pajisjes tuaj Magicbit me AWS Cloud përmes MQTT. Të dhënat e dërguara përmes MQTT analizohen dhe vizualizohen në cloud duke përdorur shërbimet AWS. Pra, le të fillojmë

Së pari ju duhet të shkoni në tastierën AWS dhe të regjistroheni. Për qëllime mësimi mund të përdorni opsionin e nivelit falas të ofruar nga AWS. Do të jetë e mjaftueshme për këtë projekt.

Për ta bërë më të thjeshtë, do ta ndaj projektin në dy pjesë.

Kjo do të jetë faza e parë e projektit tonë. Në fund të fazës së parë të dhënat do të ruhen në kovat S3.

Shërbimet AWS që do të përdoren në pjesën e parë,

• Kinesis Firehose
• Ngjitës AWS
• AWS S3

Fillimisht lundroni te shërbimi AWS Kinesis.

Zgjidhni Kinesis Data Firehose siç tregohet më poshtë dhe klikoni Krijo

Pastaj do të drejtoheni në Hapin 1 të krijimit të një shërbimi Firehose. Futni një emër të rrjedhës së shpërndarjes dhe zgjidhni Direkt Put ose Burime të tjera. Kliko Next.

Në dritaren e Hapit 2 lini gjithçka si parazgjedhje dhe klikoni tjetër. Pas krijimit të Shërbimit AWS Glue do të kthehemi për të redaktuar këtë hap.

Në Hapin 3 zgjidhni një kovë S3 nëse e keni krijuar më parë. Përndryshe, klikoni në krijimin dhe krijoni një kovë. Në pjesën e parashtesës S3 përdorni dest/ dhe në parashtesën e gabimit futni gabimin/. Mund të futni çdo emër për dy të mësipërmet. Por për lehtësinë ne do të vazhdojmë me një emër të zakonshëm. Sigurohuni që të krijoni një dosje të quajtur dest brenda kovës që keni zgjedhur. Kliko Next.

Në hapin 4 zgjidhni madhësinë minimale të tamponit dhe intervalin tampon për transferimin e të dhënave në kohë reale. Në seksionin e Lejeve zgjidhni Krijoni ose azhurnoni rolin e IAMKinesisFirehoseServiceRole. Mbani gjithçka të paracaktuar. Kliko tjetër.

Në pjesën tjetër do të shfaqet një përmbledhje e ndryshimeve që keni bërë. Kliko OK. Atëherë do të keni një Firehose Kinesis funksionale.

Nëse keni krijuar me sukses shërbimin Firehose, do të merrni diçka të tillë.

Hapi 2: Testimi i Firehose dhe S3 Bucket

Për të provuar që tubi i zjarrit dhe kova S3 po funksionojnë siç duhet, zgjidhni bërthamën IOT në tastierë. Do të drejtoheni në një faqe si kjo. Zgjidhni Rregulla dhe krijoni një rregull.

Çfarë është rregulli AWS IOT?

Përdoret për të përcjellë çdo të dhënë të marrë nga MQTT në një shërbim të veçantë. Në këtë shembull ne do t'i përcjellim Kinesis Firehose.

Zgjidhni një emër për Rregullën. Lëreni Deklaratën e Rregullit dhe Pyetjes ashtu siç është. Kjo na tregon se çdo gjë e botuar në temën iot/temë do t'i përcillet kinesis Firehose përmes këtij rregulli.

Nën seksionin Vendosni një ose më shumë veprime klikoni shtoni veprim. Zgjidhni Dërgo një mesazh te Amazon Kinesis Firehose Stream. Zgjidhni konfigurimin. Pastaj zgjidhni emrin e rrjedhës së zjarrit të krijuar më parë. Pastaj klikoni Krijo një rol dhe krijoni një rol. Tani ju keni krijuar me sukses një rol në AWS.

Çdo mesazh që publikoni do të përcillet përmes Kinesis Firehose në kovat S3.

Mbani në mend Firehose dërgon të dhëna kur mbushet tamponi i tij ose kur arrihet intervali tampon. Intervali minimal i tamponit është 60 sekonda.

Tani mund të kalojmë në pjesën e dytë të projektit. Ky do të jetë diagrami ynë i rrjedhës së të dhënave.

Hapi 3: Konfigurimi i AWS Glue

Pse na duhen AWS Glue dhe AWS Athena?

Të dhënat e ruajtura në kova S3 nuk mund të përdoren drejtpërdrejt si hyrje në AWS Quicksight. Së pari ne duhet të sistemojmë të dhënat në formën e tabelave. Për këtë ne përdorim dy shërbimet e mësipërme.

Shkoni te AWS Glue. Zgjidhni Crawler në shiritin e veglave anësore. Pastaj zgjidhni Shto zvarritës.

Në hapin e parë futni një emër për ju zvarritës. Kliko tjetër. Në hapin tjetër lëreni si parazgjedhje. Në hapin e tretë futni rrugën drejt kovës tuaj të zgjedhur S3. Lëreni dritaren tjetër si parazgjedhje. Në dritaren e pestë futni ndonjë rol IAM. Në hapin tjetër zgjodhi frekuencën e drejtimit të shërbimit.

Këshillohet që të zgjidhni porosinë në kutinë zbritëse dhe të zgjidhni një kohë minimale.

Në hapin tjetër klikoni Shto bazën e të dhënave dhe pastaj tjetër. Kliko Finish.

Tani ne duhet të integrojmë Kinesis Firehose tonë me Ngjitësin AWS që kemi krijuar.

Shkoni te firewose AWS Kinesis që krijuam dhe klikoni redakto.

Shkoni poshtë në seksionin Konvertoni formatin e regjistrimit dhe zgjidhni Enabled.

Zgjodhi formatin e daljes si Parket Apache. Për pjesën tjetër të detajeve plotësoni detajet e bazës së të dhënave të Ngjitësit që keni krijuar. Një tabelë duhet të krijohet në bazën e të dhënave dhe emri duhet të shtohet në këtë seksion. Kliko Ruaj.

Hapi 4: Konfigurimi i AWS Athena

Zgjidhni bazën e të dhënave dhe tabelën e të dhënave që keni krijuar. Në pjesën e pyetjeve ky kod duhet të shtohet.

emri i tabelës duhet të zëvendësohet me emrin aktual të tabelës Ngjitës që keni krijuar.

Kliko Run Query. Nëse funksionon, të dhënat e ruajtura në kovën AWS S3 duhet të shfaqen si një tabelë e të dhënave.

Tani jemi gati të vizualizojmë të dhënat që kemi marrë.

Hapi 5: Konfigurimi i QuickSight

Shkoni te AWS Quicksight

Klikoni Analiza e Re në këndin e sipërm të djathtë dhe pastaj klikoni Re Dataset.

Zgjidhni Athena nga lista. Vendosni çdo emër burimi të të dhënave në kartën që shfaqet.

Zgjidhni bazën e të dhënave Ngjitës nga kutia zbritëse dhe tabela përkatëse. Kjo do t'ju lundrojë në këtë faqe.

Zvarritni dhe lëshoni çdo fushë nga lista e fushave dhe zgjidhni çdo lloj vizual.

Tani mund të vizualizoni çdo të dhënë të dërguar nga MagicBit tuaj duke përdorur shërbimet AWS !!!

Mos harroni të lejoni qasje për shpejtësi në kovat përkatëse S3 në mënyrë që të vizualizoni të dhënat në to.