Visualisera data från Magicbit i AWS: 5 steg

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:36

Data som samlas in från sensorer anslutna till Magicbit kommer att publiceras i AWS IOT -kärnan genom MQTT för att visualiseras grafiskt i realtid. Vi använder magicbit som utvecklingskort i detta projekt som är baserat på ESP32. Därför kan alla ESP32 -utvecklingskort användas i detta projekt.

Tillbehör:

Magicbit

Steg 1: Berättelse

Detta projekt handlar om att ansluta din Magicbit -enhet till AWS Cloud via MQTT. Data som skickas via MQTT analyseras och visualiseras i molnet med hjälp av AWS -tjänster. Så låt oss komma igång

Först bör du gå till AWS -konsolen och logga in. För inlärningsändamål kan du använda alternativet gratis nivå som erbjuds av AWS. Det kommer att räcka för detta projekt.

För att göra det enklare delar jag projektet i två delar.

Detta kommer att bli den första etappen av vårt projekt. I slutet av första etappen kommer data att lagras i S3 -skoporna.

AWS -tjänsterna som kommer att användas i det första avsnittet,

• Kinesis brandslang
• AWS -lim
• AWS S3

Navigera först till AWS Kinesis -tjänsten.

Välj Kinesis Data Firehose enligt nedan och klicka på Skapa

Därefter kommer du att ledas till steg 1 för att skapa en Firehose -tjänst. Ange ett leveransflödesnamn och välj Direct Put eller andra källor. Klicka på Nästa.

I steg 2 -fönstret lämnar du allt som standard och klickar på nästa. Efter att ha skapat AWS Lim Service kommer vi tillbaka för att redigera detta steg.

I steg 3 väljer du en S3 -hink om du har skapat den tidigare. Klicka annars på skapa och skapa en hink. I S3 -prefixavsnittet använder du dest/ och vid felprefixet anger du fel/. Du kan ange valfritt namn för de två ovanstående. Men för enkelhetens skull kommer vi att fortsätta med ett vanligt namn. Var noga med att skapa en mapp med namnet dest inuti hinken du valde. Klicka på Nästa.

I steg 4 väljer du minsta buffertstorlek och buffertintervall för dataöverföring i realtid. I avsnittet Tillstånd väljer du Skapa eller uppdatera IAM roleKinesisFirehoseServiceRole. Behåll allt som standard. Klicka på nästa.

I nästa avsnitt visas en genomgång av de ändringar du gjort. Klicka på OK. Då har du en fungerande Kinesis Firehose.

Om du lyckades skapa Firehose -tjänsten får du något liknande.

Steg 2: Testa eldslangen och S3 -skopan

För att testa att eldslangen och S3 -skopan fungerar korrekt, välj IOT -kärna i konsolen. Du kommer att ledas till en sida som denna. Välj Regel och skapa en regel.

Vad är AWS IOT -regeln?

Den används för att vidarebefordra all data som tas emot från MQTT till en viss tjänst. I detta exempel kommer vi att vidarebefordra till Kinesis Firehose.

Välj ett namn för regeln. Lämna regel- och frågeförklaringen som den är. Detta berättar att allt som publiceras till ämnet iot/ämne kommer att vidarebefordras till kinesis Firehose genom denna regel.

Under avsnittet Ange en eller flera åtgärder klickar du på lägg till åtgärd. Välj Skicka ett meddelande till Amazon Kinesis Firehose Stream. Välj konfigurera. Välj sedan namnet på eldslangströmmen som skapades tidigare. Klicka sedan på Skapa en roll och skapa en roll. Nu har du framgångsrikt skapat en roll i AWS.

Alla meddelanden du publicerar kommer att vidarebefordras via Kinesis Firehose till S3 -skopor.

Tänk på att Firehose skickar data när dess buffert fylls eller när buffertintervallet uppnås. Minsta buffertintervall är 60 sekunder.

Nu kan vi gå vidare till den andra delen av projektet. Detta kommer att vara vårt dataflödesdiagram.

Steg 3: Konfigurera AWS -lim

Varför behöver vi AWS Lim och AWS Athena?

Data som lagras i S3 -skopor kan inte direkt användas som inmatning till AWS Quicksight. Först måste vi ordna data i form av tabeller. För detta använder vi ovanstående två tjänster.

Gå till AWS Lim. Välj Crawler i verktygsfältet på sidan. Välj sedan Lägg till sökrobot.

I det första steget anger du ett namn för din sökrobot. Klicka på nästa. I nästa steg lämna det som standard. I det tredje steget anger du sökvägen till din valda S3 -hink. Lämna nästa fönster som standard. I det femte fönstret anger du vilken IAM -roll som helst. I nästa steg väljer du frekvensen för att köra tjänsten.

Det är lämpligt att välja anpassad i listrutan och välja en minsta tid.

Klicka på Lägg till databas i nästa steg och sedan på nästa. Klicka på Slutför.

Nu bör vi integrera vår Kinesis Firehose med det AWS -lim vi skapade.

Gå till AWS Kinesis brandslang som vi skapade och klicka på redigera.

Rulla ner till avsnittet Konvertera postformat och välj Aktiverat.

Valde utmatningsformat som Apache Parkett. För resten av detaljerna fyller du i detaljerna för Lim -databasen du skapade. En tabell bör skapas i databasen och namnet ska läggas till i detta avsnitt. Klicka på Spara.

Steg 4: Konfigurera AWS Athena

Välj databasen och datatabellen du skapade. Denna kod bör läggas till i frågesektionen.

tabellnamn bör ersättas med det faktiska namnet på den limtabell du skapade.

Klicka på Kör fråga. Om det fungerar bör data som lagras i AWS S3 -skopan visas som en datatabell.

Nu är vi redo att visualisera data vi fick.

Steg 5: Konfigurera QuickSight

Navigera till AWS Quicksight

Klicka på Ny analys i det övre högra hörnet och klicka sedan på Ny datauppsättning.

Välj Athena från listan. Ange valfritt datakällnamn på popup -kortet.

Välj Lim -databasen i listrutan och den relevanta tabellen. Detta kommer att navigera dig till den här sidan.

Dra och släpp valfritt fält från fältlistan och välj vilken visuell typ som helst.

Nu kan du visualisera all data som skickas från din MagicBit med hjälp av AWS -tjänster !!!

Kom ihåg att tillåta åtkomst för snabbsyn för respektive S3 -skopor för att visualisera data i dem.