IoT: Kontrollera HoloLens med dina ögonbryn (EMG): 5 steg

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:44

Detta projekt var en del av University of Colorado Boulders NASA SUITS -projekt som presenterades och testades på NASA JSC i april 2019. För det årets projekt var jag projektledare för hårdvaruutveckling och detta var ett av mina bidrag. Läs mer om NASA SUITS -utmaningen här.

Med det här projektet ville jag tillåta alla (i detta fall EVA Astronauts) att ansluta till en Heads-Up-Display (HUD) som används i Microsoft HoloLens utan att använda de inbyggda handgesterna eller röstingångarna. Jag tog itu med detta mål ur en tillgänglighetssynpunkt, jag ville utveckla en kringutrustning/bärbar som skulle göra det möjligt för EVA -astronauter att interagera med deras display utan att uppta kommunikation med markkontroll, och på grund av deras högt tryckade handskar är gest -gränssnitt orimligt. Även om detta är en domän som jag är lite obekant med, kan jag också se att denna kringutrustning är användbar för personer med funktionsnedsättning, så att de kan använda HoloLens eller andra AR/VR -enheter och avstå från gränssnittsingångarna som är uteslutande eller skrämmande.

Objektlistan för detta projekt är exklusiv i sig (HoloLens är väldigt dyr!), Men kringutrustningen kan användas med andra AR/VR -enheter.

Om du har några frågor, vill hänga med i mitt arbete eller bara slänga idéer, vänligen gör det på min Twitter: @4Eyes6Senses.

Tillbehör

Microsoft HoloLens (eller annan AR/VR -enhet)

Partikelfoton

MyoWare -muskelsensor - MyoWare -sensorn kan ersättas med andra EMG -utbrottskort. Om du inte är säker på vad EMG är föreslår jag att du läser mer om det här

Biomedicinska sensorkuddar

Enhet (gratis)

Någon erfarenhet av att skapa projekt i enhet

Tråd

Steg 1: Anslutning av MyoWare med partikelfoton

Att ansluta Particle Photon till MyoWare -kortet är ganska enkelt. För detta steg måste du löda anslutningarna mellan Particle Photon och MyoWare -kortet. Se till att du har starka anslutningar så att kablarna inte går sönder när du bär enheten. För att undvika pauser rekommenderar jag att man flätar kablarna innan de löds in i fotonet.

- Löd en tråd i "+" - porten på MyoWare -kortet och löd sedan den andra änden av kabeln i Photons "3v3" - stift.

- Löd en tråd i "-"- porten på MyoWare-kortet och löd sedan den andra änden av kabeln i Photons "GND" -stift.

- Löd en tråd i "SIG" -porten på MyoWare -kortet och löd sedan den andra änden av kabeln i Photons "A0" -stift.

Steg 2: Ladda upp koden till Particle Photon

Ladda upp.ino -filen med hjälp av Particle Photons IDE. Placera MyoWare -kortet på en muskelgrupp och kontrollera värdena för att se till att din enhet fungerar. När du tittar på koden märker du att det redan finns en "tröskel" -variabel, denna variabel är det minsta värde som MyoWare läser från min muskel när jag höjer ögonbrynet helt. Jag ställde också in variabeln till "600" eftersom det tillät mig att ha normala konversationer medan jag hade MyoWare utan att skapa några falska positiva (oavsiktlig utlösning). Du kanske vill leka med värdena tills du hittar önskad tröskel för dina användningsområden.

Steg 3: Placering av MyoWare

För vårt NASA SUITS -projekt valde jag att placera MyoWare Board ovanför ögonbrynet. Jag blev inspirerad att placera MyoWare där efter att ha tittat på "" Sup Brows "-projektet som gjorts av Adafruit. Efter några tester blev det klart att ögonbrynen är en bra plats för detta specifika projekt. Det är en bra plats eftersom sensorerna inte skulle påverkas av de konstanta muskelrörelserna genom armarna, benen och bålen som EVA -astronauter gör under rymdpromenader.

Steg 4: Ansluta MyoWare med enhet

Nu är det dags för det sista steget, låt oss ansluta MyoWare till Unity! Inkluderat i denna instruktionsbok är skriptet som du måste inkludera i ditt Unity -projekt. Men först måste du ändra några saker i koden. Först måste du lägga till JSON Object Unity -plugin i ditt projekt. Därefter måste du lägga till ditt eget enhets -ID och åtkomsttoken till rad 19: particleURI = "https://api.particle.io/v1/devices/phiaIset your device id]/Next? Access_token = [Infoga ditt åtkomsttoken] ". Du kan hämta ditt enhets -ID från Particle IDE, enligt figur 2, klicka på fliken Enheter (röd ruta) och titta under enhetsnamnet för att hitta ditt id (blå ruta). Klicka sedan på fliken Inställningar i IDE för att hitta din åtkomsttoken.

Steg 5: Klar

När du har avslutat ditt Unity -projekt kommer du att ha ett EMG -kontrollerat HoloLens!

Om du har några fördjupade frågor, vill lära dig om mänsklig förstärkning, vill hänga med i mitt arbete eller bara slänga med idéer, gör det på min Twitter:

Om du är intresserad av att arbeta med vårt team för NASA SUITS -utmaningen 2019-2020, skicka ett e -postmeddelande till mig på:

Särskilt tack till modellen på den första bilden, Darren, som också testade designen på NASA. Ännu ett tack till min programmeringspartner för projektet AJ, som gjorde mycket av detta möjligt.