Personal English Trainer - AI Voice Assistant: 15 steg

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:44

Detta projekt kommer att hjälpa de studenter som förbereder sig för alla språkliga tentamen, där de kan utbildas genom att interagera med Snips AI.

Steg 1: Berättelse

Varför byggde vi detta?

Av min personliga erfarenhet har jag sett många människor förbereda sig för de olika språktesterna som GRE, TOEFL, IELTS. De behöver en person för att hjälpa dem att memorera och förstå orden. Generellt, när en person förbereder sig för sådana tentor, behöver de en person för att kontrollera och korrigera om de gör ett misstag. Med denna lösning kan vi minska arbetskraften genom att använda en röstassistent.

Steg 2: Bygga hårdvara

Först och främst vill jag tacka SNIPS och SEEED för att stödja detta projekt med det fantastiska Snips Voice Interaction Development Kit (Base Kit), jag kände mig verkligen informativ med detta kort och kunde uppnå några av de komplexa projekten som är integrerade i ett kretskort.

Du kan köpa Snips Voice Interaction Base Kit för $ 115 och Snips Voice Interaction Satellite Kit för $ 85

Steg 3: Komma igång med SNIPS

Innan vi börjar, låt oss granska vad du behöver.

• Raspberry Pi 3B/B+ (rekommenderas) eller Pi 2 modell B (stöds).
• Micro-USB-kabel och mikro-USB-strömadapter för Raspberry Pi.
• Micro SD -kort (minst 8 GB) - Ett operativsystem krävs för att komma igång. Du kan ladda ner Raspbian Stretch och använda guiderna för Mac OS, Linux och Windows på Raspberry Pi -webbplatsen.
• Ett USB -tangentbord och en mus och en extern HDMI -bildskärm - vi rekommenderar också att du har ett USB -tangentbord och en mus samt en HDMI -skärm till hands.
• Internetanslutning (Ethernet eller WiFi)

Snips Voice Interaction Base Kit

Snips Voice Interaction Development Kits gör det möjligt för användare att starta sin utveckling av röstgränssnitt och enkelt integrera Snips AI Voice Platform med hårdvara. Snips körs på enheten, vilket innebär att alla dina röstkommandon och data behandlas lokalt snarare än att skickas till molnet. Denna bearbetning på enheten resulterar i en helt säker offline röstassistent som håller dina personuppgifter privata, som de ska vara.

Med Voice Interaction Base Kit kan du köra hela Snips AI Voice Platform. Drivs av en Raspberry Pi 3 modell B+ och ReSpeaker 2-Mics Pi HAT, den kan fungera som din smarta högtalare i hemmet. Tillsammans med satsen kommer en högtalare, en Grove - temperatur- och luftfuktighetssensor (SHT31), en Grove - Relay och en pegboard för att hänga den på en vägg eller skapa ett snyggt stativ.

Men det är inte allt! Voice Interaction Satellite Kit kommer att utöka din basstation för att nå varje rum i ditt hus och låta dig interagera med hårdvaran baserat på var du utfärdar dina kommandon!

Detta kit innehåller ett Raspberry Pi3 B+ -kort, ReSpeaker 2 -Mics Pi HAT, Grove - Relay, Grove - Temperatur- och fuktsensor (SHT31), högtalare 6 Ohm 2W, MicroSD -kort, nätadapter med Micro USB -kontakt, Grove -kabel x 2, akrylbas panel.

Monteringssteg: (Innehåll från SNIPS) Följande bild är en översikt över monteringsdelarna.

Här monteras monteringsdelarna på baspanelen.

Sedan monteras alla elektroniska delar på kortet.

Montera därefter det akrylskyddande locket ovanpå Grove -reläet.

Dessa två delar används för att göra kitet till ett bordsställ.

Slutligen är du redo att spela med Snips.

Satsen ger två sätt att placera. Den kan antingen placeras på en horisontell yta som ett stativ eller kan hängas på en vägg med hjälp av trådar eller tråd. Var försiktig med reläet när satsen är påslagen eftersom arbetsspänningen blir hög.

OBS: Vi har också ett Snips Voice Interaction Satellite Kit som har en Raspberry Pi -noll istället för Raspberry Pi 3B+

Steg 4: Gränssnitt med Snips AI (Basic Project)

• Driv satsen med standardadaptern i satsen eller använd en 5V-2A DC-adapter med en Micro USB-kontakt.
• Nästa steg är att installera Snips -assistenten i Raspberry Pi. För att spara din installationstid har MicroSD -kortet i satsen blinkat med hela den funktionella systembilden, vilket innebär att Snips -assistenten är redo för dina triggerord.
• Vi föreslår starkt att du studerar installationsguiden steg för steg genom att besöka: https://docs.snips.ai/getting-started/quick-start… och lära dig sam-verktyget på kommandoraden.
• Utlös assistenten genom att säga "Hey-snips" och följ kommandot:

Du hittar videon av exemplet som är förinstallerat i baspaketet Snips Voice Interaction nedan.

Steg 5: Gränssnitt med Snips AI (Project AI)

Så här fungerar det. Först använder vi hotword för att initiera Snips igenkänning. Den förstår meningen med Snips NLU och bestämmer avsikten. Använd sedan avsikten och extrahera luckorna respektive. Med åtgärdskoden programmerar vi AI -svaret med respektive till platserna.

Steg 6: Skapa app och avsikter

• Skapa en assistent. I mitt fall hade jag skapat en assistent med namnet JARVIS och med ett hotword JARVIS.
• Skapa en anpassad applikation eller för nybörjare, använd programmet från biblioteket.
• Jag hade skapat ett program med namnet Words
• Skapa ett avsikt och börja träna AI. Detta spelar en viktig roll för att göra din AI robust. Träna den med alla möjliga ingångar.
• Skapa en plats för att identifiera orden. Placera platsen vid den förväntade frasen i meningen. I mitt exempel är givenword slotnamnet och det markeras med blått.
• När det är klart är din anpassade ASR klar. Prova med ingångarna. Vi hittar svaret till höger under assistenten. Detta ger dig extraktion av råvärde, avsiktens namn och platsen.
• Definiera slots med fler exempel enligt nedan
• Slutligen, Distribuera din assistent för att uppleva din personliga AI.

Steg 7: Bränn Raspbian till SD -kortet

Raspbian är den valda Linux -distributionen som körs på Raspberry Pi. I den här guiden kommer vi att använda Lite -versionen, men skrivbordsversionen (som levereras med en grafisk miljö) kan också användas.

• Ladda ner Etcher och installera det.
• Anslut en SD -kortläsare med SD -kortet inuti.
• Öppna Etcher och välj från din hårddisk den Raspberry Pi.img- eller.zip -fil du vill skriva till SD -kortet
• Välj det SD -kort du vill skriva din bild till.
• Granska dina val och klicka på "Flash!" för att börja skriva data till SD -kortet

Anslut enheten till ditt nätverk

• Aktivera SSH -åtkomst genom att lägga till tom fil ssh, igen placerad vid roten av startvolymen på ditt SD -kort.
• Sätt in SD -kortet i Raspberry Pi. Den startar om ungefär 20 sekunder. Du bör nu ha SSH -åtkomst till din Raspberry Pi. Som standard är dess värdnamn raspberrypi.local. Öppna ett terminalfönster på din dator och skriv följande:

ssh [email protected]

Standardlösenordet är hallon

Steg 8: Installera Snips -plattformen

Om du inte redan har gjort det, installera Sam Command Line Interface på din dator. Öppna ett terminalfönster och ange:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Hitta din Raspberry Pi i nätverket genom att köra:

sam -enheter

Upprätta sedan en anslutning till enheten. Du kommer att bli ombedd att ange användarnamn och lösenord (standard är pi respektive hallon):

sam connect

Vi är nu redo att installera Snips -plattformen på Raspberry Pi. Ange kommandot:

sam init

Steg 9: Konfigurera maskinvaran

Sam tillhandahåller några kommandon för att enkelt konfigurera och konfigurera hårdvarukomponenter. I det här avsnittet kommer vi att konfigurera en högtalare och en mikrofon. Beroende på din inställning måste vissa anpassade konfigurationer göras.

sam setup -ljud

Testa högtalaren

Kör för att kontrollera att högtalaren fungerar

sam testhögtalare

Om allt fungerar bra bör du höra en röst på din högtalare som säger några ord. Konfigurera mikrofonen Du kan kontrollera att din mikrofon fungerar:

sam testmikrofon

Förutsatt att du har en högtalare, om du tydligt kan höra vad du just sa, kan du gå vidare utan ytterligare mikrofonkonfiguration.

När du är säker på att din hårdvaruinstallation fungerar är du redo att gå vidare till nästa steg, där du kommer att distribuera din första assistent.

Steg 10: Importera AI -modell från konsolen

När du har skapat din assistent från föregående steg loggar du in på konsolen från terminalfönstret genom att köra:

sam inloggning

Du kommer att bli ombedd att ange dina Snips Console -referenser.

Installera sedan assistenten:

sam installationsassistent

Om du har skapat flera assistenter i konsolen kommer du att bli ombedd att välja vilken som ska installeras från en lista.

Steg 11: Handler & Action Code

För att Raspberry Pi ska svara måste vi skriva lite hanterarkod. Detta är en kod som körs när en viss händelse händer på Snips -plattformen, till exempel när avsikt har upptäckts.

Du har olika metoder för att skapa Handler beroende på funktion.

Skapa en mapp på din dator där du vill lagra din hanterarkod. Från terminalfönstret, ändra till den katalogen och ange:

npm init

Detta skapar en fil med namnet package.json som innehåller projektets beskrivning, beroenden och mer. Lägg sedan till mqtt -paketberoende:

npm installera mqtt --save

Skapa nu en fil som heter index.js och klistra in följande kod och ersätt värdnamnsvariabeln med värdnamnet för din Raspberry Pi (om den skiljer sig från standard raspberrypi):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var klient = mqtt.connect (värdnamn); client.on ('connect', function () {console.log ("[Snips Log] Connected to MQTT broker" + hostname); client.subscribe ('hermes/#');}); client.on ('meddelande', funktion (ämne, meddelande) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} annars om (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} annars ifall (topic.match (/hermes \/hotword / /.+ \/upptäckt/g)! == null) {onHotwordDetected ()} annars if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (meddelande));}}); function onIntentDetected (intention) {console.log ("[Snipplogg] Avsikt upptäckt:" + JSON.stringify (intention)); } funktion onHotwordDetected () {console.log ("[Snipplogg] Hotword upptäckt"); } funktion onListeningStateChanged (lyssnar) {console.log ("[Snipp Log]" + (lyssnar? "Start": "Stopp") + "lyssnar"); }

Kör den här koden med Node:

nod index.js

Du bör se ett meddelande om en lyckad anslutning till Snips MQTT -mäklaren. Som tidigare, utför en röstinteraktion med din Raspberry Pi:

Hej Snips, vad är vädret i Chennai

Du bör se loggarna uppdateras:

[Snipplogg] Ansluten till MQTT -mäklare mqtt: //raspberrypi.local

[Snipplogg] Hotword upptäckt [Snipplogg] Börja lyssna [Snipplogg] Sluta lyssna [Snipplogg] Avsikt upptäckt: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" vad är vädret i chennai "," intention ": {" intentionName ":" searchWeatherForecast "," probability ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "forecast_locality"}]}

Steg 12: Felsökning

Ta bort den tidigare assistenten om det finns en

$ sudo rm -rf/usr/share/snips/assistent/

För att ändra katalogen till assistenten

cd/var/lib/snips/skills/

För att klona innehållet i repon till lokalt

git klon

För att köra setup.sh -skript

./setup.sh

Aktivera virtuell miljö

källa venv/bin/aktivera

Kör åtgärdskoden

./action-.py

För att ge tillstånd till Python Script

chmod +x action-.py

Steg 13: Kapsling

• Jag hade använt en IP -klassad kapsling för detta projekt
• Först gjorde jag nödvändiga hål för att montera kretsar och kortplatser för nätsladd och HDMI -kabel.
• Sedan placerade jag alla Raspberry Pi inuti höljet och skruvar fast det ordentligt.
• Jag gjorde en liten öppning för högtalaren och mikrofonen och täckte den med en liten bit akrylark.
• Anslut högtalaren ordentligt till ReSpeaker -hatten.
• Slutligen är alla skruvar ordentligt monterade och strömkabeln sätts in via ett spår.
• Så här ser AI till slut ut: D

Steg 14: Arbetet med AI

Du kan hitta data som övervakas med Snips-watch

Nu är det visningstid. Jag började göra med Simple greetings AI. Ta en titt på det fungerar.

Trainer AI har programmerats för begränsade ord. Detta kan förlängas med små modifikationer. Detta hjälper eleverna att memorera betydelsen snabbare än den traditionella metoden.

Vänlig uppmärksamhet: Detta projekt är utbildat i cirka 25 ord. Det kan utökas ytterligare genom att göra mindre justeringar i åtgärdskoden.

Du hittar Action -skript på mitt Github -arkiv bifogat.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo för Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Länk till min ansökan:

Hela installationen kostar cirka $ 115 som kan köpas från SNIPS och denna lösning är mycket billig och effektiv jämfört med de traditionella metoderna. Ungefär mer än 100 000 tester gjordes i Indien och denna produkt kommer att vara det bästa tillskottet för GRE -tagare.

Ge tummen upp om det verkligen hjälpte dig och följ min kanal för intressanta projekt.:) Dela den här videon om du vill. Glad att du prenumererar: https://console.snips.ai/store/en/skill_xBKlxnE5K… Tack för att du läste!