Poor Man's Google Glass/Aid för dem med tunnelsyn: 5 steg (med bilder)

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:41

Abstrakt:

Detta projekt strömmar livevideo från en fish-eye-kamera till en bärbar head-up-skärm. Resultatet är ett bredare synfält inom ett mindre område (skärmen är jämförbar med en 4 "skärm 12" från ditt öga och utgångar vid 720p). Det primära syftet är att ge mer spacial medvetenhet till dem med Retinitis Pigmentosa (förkortat som RP), en degenerativ ögonsjukdom som resulterar i tunnelseende (det är jämförbart med att titta igenom en toalettpappersrulle hela tiden). Med detta sagt, eftersom projektet är baserat på en RPi, finns det ett stort utbud av möjliga applikationer (av vilka några kommer att diskuteras i slutet).

Materiallista:

• (1) Raspberry Pi Zero ($ 5) (Raspberry Pi Zero W fungerar också)

• (1) Micro SD -kort för Raspberry Pi ($ 8) (bara ett vanligt Micro SD -kort, inget speciellt. Rekommenderas minst 8 GB lagringsutrymme)

  • RPi Externals: (du behöver inte dessa om du redan äger dem eller om du har en annan RPi -modell)

    • (1) USB -adapter ($ 5)
    • (1) Mini HDMI till HDMI -kabel ($ 6) (med tillräckligt bra syn kan Vufine användas som en bildskärm, vilket eliminerar behovet av denna kabel)
• (1) Vufine bärbar display ($ 200)

• (1) Micro to Mini HDMI Ribbon Cable ($ 10) (Har avbrutits, se kulor nedan)

  • HDMI -adaptrar

    (C -typ och D -typ; kommer förhoppningsvis att ange modell senare i helgen (idag är 2018-03-22)) (Adafruit säljer också dessa kontakter, men de är dyrare)

  • HDMI -bandkabel
• (2) USB-mikrokabel (1-5 dollar styck) (bara 2 vanliga mikro-USB-kablar, inget speciellt)
• (1) Fish-Eye Camera för Raspberry Pi ($ 25)
• (1) Raspberry Pi kamerakabel ($ 8)
• (1) Pack med små dragkedjor ($ 3)

Total kostnad: ~ 265 USD (beror på vad du redan har och hur mycket du betalar för frakt)

Verktygslista:

• Avbitartång
• Wire Strippers (för trådstorlekar på cirka 26 awg)
• Hot-Lim Gun (och limpinne för hot-limpistolen)
• Tangentbord
• Skärm (måste ha HDMI -kapacitet, men igen, med tillräckligt bra syn kan Vufine användas som bildskärm)
• Lödkolv (och lödning)
• X-Acto Kniv

Personlig anmärkning:

Detta projekt var inspirerat av min mormor. Hon fick diagnosen RP för länge sedan och hennes syn har försämrats genom åren. Nyligen bestämde hon sig för att ge upp sin seende-hund, Ventura (smeknamnet Seymour, ordval), på grund av ålder. Även om detta kan ha gjort livet enklare i vissa aspekter, är jag säker på att det har gjort andra saker mer triviala (som att gå genom ett köpcentrum). Jag hade redan länge funderat på att göra en sådan enhet, men det fanns inga lättillgängliga (rimligt prissatta) skärmar. Det förändrades när jag hittade Vufine. Det är ett fantastiskt företag med en bra produkt, och nej, jag får inte betalt för att säga detta; det är ett riktigt bra företag. När det gäller min mormor har hon rapporterat att den här apparaten nästan har fördubblat sitt synfält (i diameter, inte yta).

Uppdatering:

Jag byggde detta med en Vufine -modul konfigurerad för vänster öga (min mormor är helt blind i höger öga), så det kan finnas några problem för dem som bygger detta för höger öga (inget stort, bara en ändrad orientering för några få delar). Med detta sagt har Vufine varit snäll nog att skicka mig en modul för höger öga så att jag kan fortsätta detta projekt och åtgärda dessa problem. Så snart jag gör det kommer jag att uppdatera denna instruerbara ytterligare.

Steg 1: Konfigurera Raspberry Pi

Konfigurera Pi: s hårdvara:

Obs! Om du har en annan Raspberry Pi än en RPi Zero (W eller vanlig) kan du göra nödvändiga programvaruändringar med den Pi och överföra SD -kortet till Pi Zero.

Andra noten: Jag köpte faktiskt inte en del av hårdvaran som ansluter till Pi; Jag har en bekväm hatt istället. Med detta sagt så ska bilden ovan se ut så här. Det är inte mitt och togs härifrån.

Först kopplar vi in tangentbordet. Eftersom ditt tangentbord har en typ A USB -kontakt (den allestädes närvarande rektangulära) och Pi Zero inte, måste vi använda USB -adaptern. Anslut USB -adaptern till USB -porten närmast mitten av kortet. Anslut sedan tangentbordet till USB -adaptern. Den andra USB -porten kommer att användas för ström. De två översta kablarna på bilden är USB -kablar med den översta kabeln som ger ström.

För det andra, anslut HDMI -kabeln till mini -HDMI -porten på Pi och HDMI -porten på skärmen (om du valde att använda Vufine -skärmen som skärm, använd HDMI -bandkabeln).

Konfigurera Pi: s programvara:

Denna process dokumenteras överallt, men den officiella guiden finns här. Det är viktigt att notera flera saker: du kommer att använda micro SD -kortet som du köpte (det jag valde har en adapter så att du kan blinka det med en vanlig dator), du kommer att installera Raspbian och du bör aktivera kameran i Raspberry Pi -konfigurationsmenyn. Följ dessutom INTE handledningen för att köra "startx". Om du gjorde det, ingen biggy, men du behöver en mus nu. Gå till kommandoraden (ska se ut som ett svart fönster i aktivitetsfältet) och använd det ("pi@raspberry ~ $" ska visas i det fönstret). Nu stänger vi av Raspberry Pi genom att köra:

sudo avstängning -h nu

Steg 2: Installera kameran

Fysiska anslutningar:

Låt mig först förklara hur bandkabelanslutningarna fungerar. För att ansluta och koppla bort bandkablar måste man först lyfta flikarna på sidan (för Pi Zero är detta en riktning utåt), vilket gör att kontakten kan vikas in och ut till viss del, så att bandkabeln kan komma in och ut. För att fästa bandkabeln på plats (och därmed slutföra anslutningsprocessen), måste du trycka kontaktens vikningsdel platt mot kabeln och sätta in flikarna igen. Kabeln ska nu vara säkrad i kontakten. För att se en officiell video om hur detta görs, klicka här.

Det är viktigt att notera att den vita kabeln som följer med kameran inte passar för Pi Zero; Se till att byta ut den mot en av de gyllene bandkablarna. Se också till att den exponerade sidan av kabeln är vänd nedåt, in i Pi och kamerakortet.

Programvara:

Kamerans installation är relativt enkel på programvarusidan. För att strömma video direkt från kameran till HDMI, kör helt enkelt följande rad i terminalen:

raspivid -t 0 -rot 0

Kameran ska nu strömma till din skärm. Stoppa nu strömmen genom att trycka på ctrl+c. Nu kommer vi att utföra samma kommando, men om du köpte en standard Vufine-modul (konfigurerad för höger öga) ändrar du 0 efter "-rot" till 90. På samma sätt, om du köpte en Vufine-skärm konfigurerad för vänster öga ändrar du 0 efter "-rot" till 270.

Om du håller kameran mot Vufine -skärmen på ett sätt som liknar det som visas på fotot, bör du se en upprätt bild (på din skärm, inte nödvändigtvis i Vufine). Om din bild är upp och ner, prova det andra numret (270 om du gjorde 90 tidigare och 90 om du gjorde 270 tidigare, du måste fortfarande trycka på ctrl+c för att komma ur strömmen).

När du väl har kamerans ström riktad (via programvara) vill vi se till att den startar när Raspberry Pi slås på. Det första steget är att utföra:

sudo nano /etc/rc.local

Skriv nu in ett kommando som liknar det du körde tidigare ("/usr/bin/raspivid -t 0 -rot 90/270") i raderna mellan "fi" och "exit 0" (håll det på en rad som sett på bilden). Om du vill ha en bild med lägre upplösning och högre bildhastighet, använd "/usr/bin/raspivid -t 0 -rot 90/270 -md 6" istället. När du har skrivit ut detta bör du spara det genom att trycka på ctrl+x, ange y (ja, du vill spara det) och sedan trycka på enter för att spara det under samma namn. Du bör nu vara tillbaka på kommandoraden ("pi@hallon ~ $"). Slutligen kan du testa för att se till att allt fungerar genom att starta om Raspberry Pi med:

sudo starta om

Om allt fungerar bör du se kameran strömma video till HDMI -utgången i slutet av startprocessen.

Anmärkningar:

• När allt ovanstående har slutförts kan du överväga att applicera en liten mängd varmt lim på bandkabeln/kontakten på både kameran och Pi för att se till att den sitter kvar. Detta är rent valfritt och är något jag faktiskt inte har gjort.
• Om du har en Vufine -skärm konfigurerad för höger öga och du väljer att orientera den annorlunda (det är mer bekvämt om Pi: s USB -portar finns på undersidan), kommer kamerans ovansida att vara till vänster när du bär den.
• Kameran på bilden är redan monterad. Vi kommer till det i ett senare steg.
• Jag ville lägga upp en bild på kamerakontakten på Pi, men jag vill inte ta av Pi om jag inte kan sätta på den igen och jag tappade alla mina dragkedjor (som du ser är nödvändiga för att montera det i ett senare steg) och jag är inte säker på när jag nästa gång ska kunna köpa mer, så jag har bestämt mig för att bara ladda upp nu och uppdatera senare.

Steg 3: Ladda Vufine -skärmen

Vufine -skärmen har ett eget batteri, men det varar bara 90 minuter, och även om detta kan räcka för Vufines avsedda användning är det otillräckligt för våra ändamål. Med detta sagt kan vi ladda Vufine medan den används och därmed förlänga batteriets livslängd. Vanliga USB -kablar är dock ganska stora och eftersom vi vill minimera vikten måste vi ändra en (vilket gör den mindre och lättare i processen); vi kommer att ta bort en USB -kabel till det minsta.

Obs! Resten av detta steg beskriver hur du får kontakten från en USB -kabel. Med detta sagt blev jag medveten om dessa billiga (i kostnad) USB -kontakter. Om du använder dem kan du hoppa över den farliga delen av att ta bort kontakten från tråden. Jag har ingen erfarenhet av dem, men jag kommer att uppdatera denna instruerbara om hur man använder dem när jag gör det.

Förbereda USB -kabeln

Obs! Detta är den överlägset farligaste delen av bygget. Extrem försiktighet bör iakttas kring vassa knivar

Det första steget i att "minimera" USB -kabeln är att klippa den ca 5 tum (jag skulle säga cirka 7 för en konfiguration av höger öga) upp från mikro -USB -änden. Fortsätt genom att ta bort kabeln ända ner till USB -mikroänden.

För den farliga delen måste du klippa av plasthöljet med X-Acto-kniven. Jag föreslår att du använder en tång eller en bordsskiva för att hålla kontakten medan du skär den för att minimera risken för att skära dig själv. Det bästa sättet att klippa av det är att klippa längs sömmarna på sidan (de ser ut som linjer) som på bilden. Du bör använda en anständig mängd kraft för att gräva kniven i höljet. Efter ett tag kan ena sidan kunna "svänga" utåt, och beroende på hur fri den är kan du välja att använda en tång för att riva av resten istället för att klippa av den.

Slutför USB -delen

När du bara har kvar metallstycket bör du ta bort de två mellersta trådarna (de icke röda och svarta). Du kan göra detta genom att antingen klippa av dem eller använda ett lödkolv för att avlödda deras anslutningar och helt enkelt ta av dem (jag föreslår avlödning om du har tillräckligt med erfarenhet). Lägg sedan lite varmt lim på basen av ledningarna (där de möter Micro USB -kontakten) för att tillhandahålla en isolator och för att hålla den säker. När du är klar ska bilden se ut ungefär som USB på bilden (vi har dock inte anslutit den till Pi än).

Ansluter den till Pi

Detta steg är ganska enkelt. Allt du behöver göra är att lödda den röda ledningen till 5V -porten och den svarta ledningen till jordstiftet (GND) på RPi. För att se exakt vilka portar, se bilden med den röda rektangeln på Pi. För att se en video om grundlödning, klicka här. Jag föreslår att du använder lite varmt lim på båda sidor av Pi (där du lödde) för att säkra trådarna och för att tillhandahålla en isolator.

Steg 4: Anslut allt

Säkra Pi

Vid denna tidpunkt placerar du Pi mot Vufine -modulen med kameraporten nära framsidan och USB -kontakterna (installerade på Pi) nedåt och inåt. Säkra den med hjälp av de två paren (ett par för varje sida) av dragkedjor. Gör detta genom att sätta en dragkedja genom ett av de övre hörnhålen på pajen, linda den runt Vufine (nedåt) och sätt den genom det nedre hörnhålet på samma sida av Pi. Ta sedan ytterligare en dragkedja och lås den på den första. Dra åt den så att Pi dras nära Vufine. Klipp av den återstående dragkedjestroppen för båda dragkedjorna (alla för den andra och den del som sticker ut från den andra dragkedjebindningen för den första). Upprepa detta steg på andra sidan Pi.

Plugga in saker

Detta är kanske det enklaste steget i hela bygget. Anslut USB -kabeln du lödde på Pi till Vufine -skärmen.

Varmlimning av kontakten

Magneten i Magnetic Docking Station är inte riktigt stark nog för våra ändamål, så vi lägger till lite hett lim för att stärka anslutningen. Anslut Vufine -modulen till den magnetiska dockningsstationen som den levereras med (inte plus) med remmen uppe (som visas på bilden). Se till att det är ungefär parallellt med den faktiska Vufine (du kommer fortfarande att kunna justera displayens position genom att flytta remmen runt glasögonen). Applicera en lagom mängd varmt lim på både ovansidan och botten. Låt det svalna innan du går vidare för att se till att det inte hamnar i en konstig position innan det stelnar.

Plugging Stuff in, Fortsättning

Även om den här delen inte är lika lätt som den första pluggningen, bör du inte kämpa för mycket. Anslut helt enkelt HDMI -bandkabeln till både Vufine och Pi (kampen är mer psykologisk än fysisk; du kan göra det. Jag tror på dig).

Ansluter kameran

Konfiguration av vänster öga:

Detta är en enkel del, men kamerans positionering gör det svårt att beskriva med ord. I huvudsak kommer du att fästa kameran så att den är i sidled med bandkabeln under den. Se bilden för att se vad jag menar. Tryck den mot Vufine -skärmen och säkra den i denna position genom att applicera varmt lim på både ovansidan och botten. Jag skulle inte lägga något på sidorna eftersom det bara räcker med toppen och botten för att säkra det och göra det på sidorna kan förhindra att sidobandet och Vufine -skärmen justeras i sidled.

Konfiguration av höger öga:

Jag har inte gjort rätt ögonkonfiguration tidigare (kommer tillbaka och redigerar när jag gör det), men i huvudsak måste du se till att kameran är i sidled och i en rimlig position ovanpå skärmen. Överdelen (sidan motsatt kontakten) ska vara vänd åt vänster (vänster när du bär den). Använd varmt lim för att fästa kameran på skärmstycket på Vufine -modulen. Dessutom kan du använda hett lim (eller dragkedjor) för att se till att eventuellt överskott av bandkabeln är säkrad (ge den lite läder för justerbarhet och försök att inte skrynkla bandet eftersom det inte är avsett att motstå höga rotationsgrader). Du kan också gå tillbaka till steg 2: Installera kameran om du måste omkonfigurera kameraströmmen till följd av en förändring av dess fysiska positionering.

Steg 5: Fin

Slår på den

För att slå på den, slå på Vufine -modulen genom att trycka på den grå knappen på baksidan. Den ska börja blinka blått. Anslut sedan Pi Zero med USB -porten längst till höger (på utsidan och märkt PWR IN). Du bör se nu se ett fast rött ljus tänd utöver den blinkande blå lysdioden på Vufine -modulen. Det betyder att Vufine debiteras. Dessutom ska skärmen starta och du ska se Pi gå igenom startprocessen med kameraströmmen som kommer upp i slutet. När skärmen kommer upp ska det blinkande blå ljuset på Vufine -knappen bli fast.

Obs! Om du slår på Pi först (följt av Vufine) kan skärmen bli konstig. För att åtgärda detta, stäng av Pi och slå sedan på den igen.

Stänger av den

Stäng av RPi genom att koppla ur USB -enheten som ger den ström. För att stänga av Vufine kan du antingen låta den stänga av sig själv (vilket den kommer att göra efter att inte ha fått en signal på en kort tid) eller så kan du hålla den grå knappen (med en blå lysdiod) intryckt tills Vufine den blå lysdioden släcks. Jag föredrar att låta det stänga av sig själv, men du gör det.

Ytterligare förbättringar

Som sagt i abstraktet, eftersom projektet är baserat på en Raspberry Pi, har projektet en enorm förmåga att utvecklas. Till att börja med, här är några idéer jag hade:

• Du kan ansluta den till ett trådlöst tangentbord för enkel användning som en head-up linux-dator. Jag skulle använda ett tangentbord (och mus) så här och jag skulle ansluta det i en process som liknar detta.

  Att lägga till ett handrörelsebaserat gränssnitt som det här skulle också vara coolt

• Lägg till knappar på sidan för att spara bilder och videor och för att zooma in och ut
• Lägg till en inbyggd strömbrytare (jag säger native eftersom vissa USB -kablar har switchar inbyggda)
• Gör ett 3D -tryckt fodral för allt.
• Lägg till en ljudutgång

• Lägg till en batterifäste

  Att sätta den på andra sidan glasögonen skulle vara ett bekvämt sätt att lägga till en motvikt (tyngden på glasögonen är för närvarande lite snedställd)

• Gör ett CNN (konvolutionellt neuralt nätverk) med TTS (text-till-tal) -utgång för en ljudbeskrivning av din miljö. Detta neurala nätverk kan köras på en Movidius Neural Compute Stick för mer beräkningskraft.

  Möjlig användning Galvanisk vestibulär stimulering för nödmanövrer

Du kan se några av dessa idéer implementeras på min github -sida.

Notera:

Jag kommer nog lägga till lite fler bilder senare. Om du vill ha någon speciell bild, vänligen meddela mig så ska jag göra mitt bästa. Detsamma gäller förklaringar; om du vill att jag ska gå in på något mer i detalj, meddela mig så ska jag försöka få det gjort.

Tack

• Jag lärde mig mycket av denna gemenskap; förhoppningsvis hjälper detta andra som så många här har hjälpt mig tidigare.
• Återigen, detta är min första instruerbara och all feedback skulle uppskattas mycket. Om någon gör något med detta, vänligen meddela mig; Jag skulle gärna se vart samhället tar detta.

Ett särskilt tack till min mormor för allt hon gjort för mig under hela mitt liv. Jag kommer aldrig att kunna betala tillbaka dig, men jag kommer att göra mitt bästa.

Första priset i Raspberry Pi Contest 2017