Hand Motion Recognizer: 5 steg

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:39

Översikt

I det här projektet kommer vi att göra en handske som kan känna igen några grundläggande handrörelser med hjälp av en MicroBit och några sensorer. Vi kommer att använda Bluetooth -funktionerna på MicroBit, tillsammans med en Android -app och en webbserver för att träna en maskininlärningsmodell för att identifiera handrörelser.

Komma igång

En majoritet av ansträngningarna i detta projekt är på mjukvarusidan, och all kod som behövs för att köra detta projekt är tillgänglig på GitHub. Kodbasen omfattar tre komponenter, koden för att generera en HEX -fil för MicroBit, Android App -kodbasen som är starkt baserad på MicroBit Foundations MicroBit Blue -app, med modifieringar gjorda för detta specifika användningsfall och en webbserver med kod för utbildning av en Tensorflow -baserad modell för att identifiera handrörelser.

Vi får se hur man bygger handsken och kopplar den med appen och webbservern nästa.

Tillbehör

• 1 BBC Microbit
• 1 batterihållare med 2 AAA -batterier
• 1 handske
• En uppsättning bygeltrådar, krokodilklämmor
• En flexsensor
• En kraftsensor
• Kardborre
• Eltejp
• En Android -telefon
• En dator/bärbar dator

Steg 1: Steg 1: Konfigurera MicroBit och batteri

• Börja med att fästa batterihållaren på en kardborrebit som visas på den första bilden. Använd eltejp för att fästa batterihållaren ordentligt på kardborrebandet.
• Gör sedan en slinga med eltejp så att den är klibbig på båda sidor och sätt den ovanpå batteripaketet.
• Fäst MicroBit på tejpens slinga för att fästa MicroBit ordentligt i batterihållaren som visas i den andra bilden.

Steg 2: Anslut sensorer

• Följ kretsschemat som visas på bilden för att ansluta din flex -sensor till Pin 1 på MicroBit och tvinga sensorn till Pin 0 på MicroBit.
• Säkra sensorerna på handsken med hjälp av tejp som visas på bilderna.

Steg 3: Slutföra maskinvaran

• Använd ändarna på kardborrebanden för att bilda en ögla och skjut öglan över handskens fingrar, som visas på bilden.
• Du kan använda trådband för att fästa trådarna på handsken så att de inte rör sig för mycket.

I nästa avsnitt tittar vi på hur du installerar programvaran.

Steg 4: Programvaruinstallation

Para ihop din telefon med din MicroBit

1. För att para ihop din telefon, se först till att Bluetooth är på din telefon.
2. Slå på din MicroBit och håll ned både A- och B -knapparna. Samtidigt trycker du på och släpper återställningsknappen medan du fortfarande håller A- och B -knapparna. Mikrobiten ska nu gå in i parningsläge.
3. På din telefon hittar du din MicroBit under listan över Bluetooth -enheter där du vanligtvis lägger till en ny Bluetooth -enhet och börjar parkoppla. På din MicroBit ser du en pil som pekar på A -knappen. När du trycker på detta kommer MicroBit att visa en serie nummer som är parningskoden som du måste ange på din telefon. När du har angett koden på din telefon och valt par bör en bock visas på MicroBit.
4. Tryck på återställningsknappen på din MicroBit.

Konfigurera programvaran

Följ ReadMe -guiderna i varje undermapp i GitHub -förvaret för att konfigurera Android App -projektet i Android Studio, för att bygga och flasha HEX -filen till din MicroBit och köra webbservern för att köra maskininlärningsmodeller.

Steg 5: Användning

Webbserver

Öppna en terminal i webbserverens projektkatalog och kör `python server.py` för att starta servern efter att ha följt instruktionerna i ReadMe för att installera beroenden

Android App

1. Skapa och skapa en APK för Android -appen från Android Studio. Kör appen efter att du har kopplat ihop din telefon med MicroBit (se föregående steg).
2. På accelerometer -sidan kan du ställa in webbserverns webbadress med hjälp av inställningsmenyn i det övre högra hörnet. Se till att du ändrar detta till din webbservers IP.
3. Vänta tills accelerometeravläsningarna börjar fyllas i från MicroBit. Du kommer att se avläsningarna förändras med olika frekvens. För att ändra frekvensen, tryck på B på MicroBit. Helst kan du använda ett frekvensvärde på 10 (som tar avläsningar var 10: e ms)
4. När avläsningarna har fyllts ut, namnge din gest med textrutan märkt 'Gest:' och tryck på inspelningsknappen. Så snart du trycker på inspelningsknappen, rör din hand flera gånger tills knappen aktiveras igen.
5. Upprepa steg 3 för att spela in flera gester.
6. Tryck på tågknappen för att starta modellträningen på servern. När träningen är klar (cirka 15 sekunder) kan du fortsätta att göra förutsägelser.
7. Tryck på knappen förutse och gör din rörelse/gest. Appen kommer att försöka matcha den till en av de tränade rörelserna så bra som möjligt.