AI med Grove Zero och Codecraft (Scratch 3.0): 5 steg (med bilder)

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:39

I den här artikeln ska vi bygga tre projekt som använder AI -funktioner i Codecraft, en grafisk programmeringsmiljö baserad på Scratch 3.0. Codecraft är utvecklad och underhålls av TinkerGen utbildning och är gratis att använda.

AI och dess delmängd, maskininlärning, har blivit en integrerad del av våra liv under de senaste 10 åren. Skolplaner i många länder inkluderar kunskap om AI och maskininlärning, men det kan vara svårt för en genomsnittlig lärare att skapa lektionsmaterial för att undervisa i detta ämne utan rätt verktyg. Att använda maskininlärningsbibliotek, även de mest användarvänliga, som Keras, för att bygga en applikation som eleverna kan interagera med, kan vara en tidskrävande och skrämmande uppgift. Det är här Codecraft kan hjälpa - den har en rik uppsättning maskininlärningsdrivna applikationer som läraren kan använda för att förklara och demonstrera begrepp relaterade till artificiell intelligens. Låt oss ta en titt på dem!

Steg 1: Översikt över AI -tillägg

Öppna Codecraft online -redaktör på

Klicka på scenläge och sedan på Lägg till tilläggsknapp längst ner på navigeringsfliken.

Du ser att det finns tre AI -tillägg tillgängliga:

- Kognitiva tjänster --- maskininlärningsmodeller för bearbetning av levande videoflöden och ljud

- Lärbar maskin --- kan användas för att träna en klassificeringsmodell med bilder tagna med din kamera

- Översätt --- använder maskininlärning för översättning

I den här artikeln kommer vi att fokusera på kognitiva tjänster och använda dessa funktioner för att styra Grove Zero -hårdvara. Trådlös kommunikation mellan dator och Grove Zero pågår fortfarande och jag uppdaterar artikeln så snart den blir tillgänglig. För tillfället kommer vi att använda kabelanslutning för att skicka meddelandena mellan Grove Zero -modulen och datorn.

Steg 2: Spela Space Invaders med din näsa

För den första uppgiften använder vi endast scenläge utan hårdvara. Codecraft har många exempel för att komma igång med programmering - ett av dessa exempel är att programmera det klassiska spelet Space Invaders i Codecraft Stage -läge. Vi kommer att utöka detta exempel och lägga till möjligheten att styra in-game-fightern med din näsa med hjälp av kognitiva tjänster.

Klicka på knappen Exempel. Öppna SpaceInvaders -exempel. Vi behöver bara ändra den del som är relevant för rörelse. För det kommer vi att få x-position av näsan i ansiktet som upptäcks i live videoflöde, spara det i variabel pos. Om värdet på pos är större än 50, flyttar vi vår rymdkämpe till höger, om det är mindre än -50, flyttar vi stridsflygplan till vänster. Detta är det. Testa! Om du tycker att jaktrörelsens hastighet är för snabb kan du ändra ändring x med … blockera till ett mindre antal.

Därefter kommer vi att utöka denna funktionalitet för att styra Grove Zero -bilen och få den att gå framåt/bakåt/vänster/höger.

Steg 3: Kontrollera Grove Zero -bilen med Codecraft AI

Låt oss börja med att skriva kod i scenläge - det här är delen som ansvarar för att analysera videoflöden och mata ut kommandon till Grove Zero.

1) Vi kör koden i den första skärmdumpen tills du trycker på mellanslagsknappen. Efter det skickar vi stoppkommando.

2) Inne repetera tills blocket kontrollerar x-pos och y-pos för näsan på ett upptäckt ansikte och sparar dem till motsvarande variabler.

3) Om det absoluta värdet för x-pos är mindre än 21 (vilket betyder att det är mellan -20 och 20, så nära bildens mitt), fortsätter vi med att kontrollera y-pos för att avgöra om bilen ska gå framåt eller bakåt

4) Annars kontrollerar vi om bilen ska gå åt vänster eller höger

Låt oss nu gå till fliken Enhet och skriva kort kod för Grove Zero -bilen. Vi kommer att använda När jag tar emot block, som är ansvarig för att ta emot interna sändningskommandon. Inte att förväxla med När radio tar emot, som används för Bluetooth -kommunikation. Se skärmdumpen för detaljer, koden är ganska enkel.

Anslut din monterade Grove Zero -bil till datorn och tryck på knappen Anslut i Codecraft. Byt till onlinefelsökningsläge - det gör att Grove Mainboard kan ta emot sändningskommandon över kabeln. Gå sedan till scenläge och tryck på flaggan. Bilen borde röra sig nu, försök att styra den med näsan:)

Steg 4: Linjeföljning med röststyrning

Det finns en karta i Grove Zero-bilsatsen, som ursprungligen är till för att spela Collect the Coins-minispel. Vi kan återanvända det för att använda röstigenkänning i Codecraft för att ge kommandon till bilen på vilket sätt man ska sätta på korsningen.

Scenlägesdelen här är mindre komplicerad än i föregående exempel. Vad vi gör är:

1) Vid mottagning av sändningsmeddelande, välj_riktning, känna igen talfragment och spara det i resultatvariabel.

2) Fortsätt känna igen tills resultatet INTE är okänt.

3) Jämför resultat med två strängar - "vänster" och "höger". Sänd motsvarande meddelande till Grove Zero -bilen.

Koden som körs i Grove Zero -bilen är lite mer komplicerad den här gången, men i huvudsak följer den denna logik:

1) Vid start, sänd meddelande framåt

2) När du har fått framåtmeddelandet börjar du följa raden. Om linjen tappas, stoppa motorerna och sänd

välj_riktning. Här körs koden i stegläget start.

3) Om meddelandet vänster mottaget börjar svänga till vänster och växlar sedan tillbaka till radföljningsläge.

Om meddelandet till höger tas emot börjar du svänga till höger och växlar sedan tillbaka till radföljningsläge.

Steg 5: Bakom kulisserna

De neurala nätverksmodeller som används i ovanstående applikation körs alla lokalt i din webbläsare, vilket har några distinkta fördelar jämfört med att skicka data till molnet för bearbetning: mindre latens och bättre integritet. Ett antal neurala nätverk används i kognitiva tjänster - ljudklassificering för talkommandon (, ansiktsmärkesdetektering, ansiktsuttrycksigenkänning och åldersuppskattning.

I den här artikeln utforskade vi den grundläggande funktionaliteten för ett av Codecraft AI -tillägg - kognitiva tjänster. Det finns flera sätt att bygga vidare på dessa exempel för att göra ännu roligare och mer spännande applikationer!

Om du bestämmer dig för att prova, vare sig det är med Grove Zero eller bara använder scenläge, dela i kommentarerna nedan. För mer information om Grove Zero -serien, Codecraft och annan hårdvara för tillverkare och STEM -lärare, besök vår webbplats, TinkerGen har skapat en Kickstarter -kampanj för MARK (Make A Robot Kit), en robotkit för att lära ut kodning, robotik, AI!