Multimodalt musikställ: 9 steg (med bilder)

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:47

Multimodal Music Stand (MMMS) är ett nytt sätt att styra ljudsyntes och effekter medan du spelar ett traditionellt instrument (sax, flöjt, fiol, you name it), och erbjuder en hel del extra möjligheter för utökade tekniker som kan användas medan du spelar ! Det finns redan en webbsida om vårt gruppprojekt vid UC Santa Barbara där vi utvecklade MMMS, så istället för att upprepa det här, lägger jag upp länken - kolla in den! Multimodal Music Stand Website Ett kort klipp av MMMS in action är här, men det finns bättre videor på webbplatsen ovan … Multimodal hänvisar till förmågan att känna av ingång i mer än en modalitet (ljudingång, videoingång och sensorbaserad ingång). Ljud- och videoingången är ganska enkel, med en vanlig mikrofon och en webbkamera ansluten till din dator, men sensoringången är lite mer komplex, därför är det instruerbart … Vi använder CREATE USB Interface, en enkel krets jag utvecklat för en klass Jag undervisar på UCSB, tillsammans med ThereminVision II-kit för E-field (även känt som kapacitiv avkänning) som visas här: SKAPA USB-gränssnittThereminVisionII-kit Om du inte vet vad en Theremin är, gör dig själv en tjänst och sök på Youtube, du vann bli inte besviken! MMMS motsvarar i princip 2 Theremins, eftersom det har 4 E-fältavkännande antenner, förutom ljud/videoingången naturligtvis. Om du är intresserad av att utöka dina prestationstekniker med ditt instrument genom att interagera med en dator, vill inte använda enkla fotpedaler, bygg dig ett multimodalt musikställ och börja träna med det!

Steg 1: Om CREATE USB -gränssnittet

CREATE USB Interface (CUI) är en enkel PIC-baserad programmerbar krets som antingen kan byggas helt DIY, eller så kan du få en förbyggd en direkt från mig för $ 50 (+ 5 för frakt), och du behöver inte för att köpa en PIC -programmerare sedan jag lade upp bootloader på den åt dig … se webbplatsen för detaljer, eller bara mejla mig för att begära en: SKAPA USB -gränssnittswebbplats CUI kan fungera så många olika saker och har nu använts i hundratals intressanta projekt över hela världen … några exempel från studenter vid UC Santa Barbara finns i detta konferenspapper (PDF). CUI kan programmeras om via USB -kabeln med hjälp av bootloader, vilket är anledningen till att den är så lätt att anpassa - ändra helt enkelt firmware och det är något annat. Till exempel är det enkelt att göra CUI till ett trådlöst sensorgränssnitt med hjälp av Bluetooth -modulerna från spark fun - om någon är intresserad av att göra detta, skriv en anteckning i kommentarerna och begär en annan instruerbar. CUI har 13 kanaler med 10-bitars analoga ingångar och 16 ingångs-/utgångsstift för allmänna ändamål. Standardprogramvaran som levereras med CUI v1.0-korten skickar dem alla som ingångar till värddatorn och fungerar bra med interaktiva konstmiljöer som Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck, etc. Jag använde en av CUI v1.0 -korten för att bygga Multimodal Music Stand i denna instruerbara. Vi använder Max/MSP/Jitter som en miljö, men anpassa för all del detta till Pd eller ditt val av programvara. Jag är ett stort fan av öppen källkod (CUI själv är öppen källkod), och det hjälper mycket om vi alla står på varandras axlar och förbättrar de saker vi gör!

Steg 2: Om ThereminVision II -kitet

ThereminVision II finns både som kit ($ 50) och förbyggd ($ 80) från leverantörens webbplats, RobotLand, och är också öppen källkod - ThereminVision II -manualen (PDF) innehåller kretsscheman. För MMMS köpte jag satsen och bestämde mig sedan för att gå med den förbyggda den här gången (detta är den andra MMMS jag har byggt). kit form av CREATE USB Interface, det beror på att CUI bootloader måste programmeras med en konventionell PIC programmerare innan ny firmware kan skickas via USB - annars skulle jag definitivt erbjuda ett kit, även om det skulle innebära ytmonterad lödning … Så tillbaka till ThereminVision II - om du köpte den i kitformfaktor, följ (bra!) instruktionerna i pdf: ThereminVision II -handboken Det finns många fina diagram över kablarna du behöver göra - det enda som inte visas är anslutningarna till CREATE USB -gränssnittet, så jag kommer att lägga upp foton jag tog under de närmaste stegen … åh, och jag fick antennerna för ThereminVision (ingår ej) från All Electronics.

Steg 3: Förbereda musikstället

Gör ditt multimodala musikstativ ur ett snyggt musikställ som "konduktörstativet" som visas här eller använd vad du än har till hands - ännu bättre, gör ditt eget!

Oavsett vilket stativ du använder, kommer det att behöva isolerade fästen för de fyra antennerna i stativets hörn. Börja med att borra hål i hörnen - monteringsutrustningen som jag hade lagt runt arbetade med en 1/4 borr, din kommer förmodligen att vara annorlunda. Försök att hålla framsidan så jämn som möjligt för att undvika störningar av noter.

Steg 4: Anslutning av ThereminVision -sensormoduler

Anslutning av ThereminVision "sensor" -moduler (555 timerkretsar) till ThereminVision "processor" -modul diskuteras också mer detaljerat i ThereminVision II -manualen, men här är några bilder på processen …

Steg 5: Anslutning av ThereminVision till CREATE USB -gränssnittet

Som vi såg i det sista steget finns det fyra ledningar som ansluter var och en av sensormodulerna till ThereminVision -processormodulen. Det finns också 6 ledningar som ansluter ThereminVision -processormodulen till CREATE USB -gränssnittet - de är ström, jord, sensorutgång, sensorval A, sensorval B och sensorstopp.

Eftersom ThereminVision II kommer att få sin kraft från CREATE USB -gränssnittet (som i sin tur får sin ström från USB), bestämde jag mig för att ansluta strömmen till var och en av ThereminVision -sensormodulerna direkt till CREATE USB -gränssnittet - detta gör det lite mindre av ett fågelbo på kablarna eftersom det redan är många ledningar som går in på TherminVision -processorkortet. Anslut "+" på ThereminVision till "5V" på CUI Connect "-" på ThereminVision till "GND" på CUI Connect "4" (dividera med 4 utgång) på ThereminVision till "D7" på CUI Connect "SEL B" på ThereminVision till "D5" på CUI -anslutningen "SEL A" på ThereminVision till "D4" på CUI Connect "S" på ThereminVision till "D6" på CUI

Steg 6: Montera allt på stativet

Så elektroniken är klar, nu är det bara att montera den på stativet - det finns många metoder för att göra detta, och du kanske vill lägga din elektronik i en skyddslåda, etc. …

Här är några bilder på några av de enklaste monteringsmetoderna.

Steg 7: Starta om firmware för ThereminVision i CUI

ThereminVision skickar tidssignaler för sina sensorer istället för analoga utgångar (eller något av de vanliga digitala protokollen som I2C eller SPI). Så det behövdes lite anpassad firmware för att mäta tidpunkten för dessa signaler … Den första versionen av Multimodal Music Stand -firmware finns i zip -filen nedan, både källkoden och den kompilerade hex -filen ingår (tillsammans med en testlapp för Max/ MSP/Jitter): CUI -ThereminVision firmware Skärmdumpen nedan visar OS X -programmet Boot Down av Craig Schimmel - ett Macintosh -startprogram för CUI. Om du är på Windows är det enklaste att använda Microchips eget verktyg, PDFSUSB.exe som kan laddas ner från deras webbplats, eller ingår i denna exempelkod för CREATE USB Interface. För att sätta CUI i "bootloader -läge", håll ner programknappen och tryck på återställningsknappen (eller anslut bara USB -kabeln medan du håller ned programknappen). CUI: s statuslampa blinkar kontinuerligt för att indikera att den är i bootloader -läge. Nu kan du använda Boot Down för att skicka filen CUIEfieldBootDown.hex till CREATE USB -gränssnittet. CUI här också.

Steg 8: Testa det multimodala musikstället i Max/MSP/Jitter

Öppna exempelkorrigeringen i Max/MSP/Jitter (en 30-dagars demo kan laddas ner från www.cycling74.com och en "runtime" -version finns också som inte tillåter att spara patchar), eller följ konventionerna i Max-patchen och gör din egen patch i PureData (Pd) … Jitter används för att visa 3D -positionen för gesturingångar, där z -axeln (mot och bort från stativet) mappas till den totala intensiteten för alla 4 antenner - inte särskilt vetenskapligt, men det fungerar! Data från de enskilda sensorerna skickas också ut som OSC till 127.0.0.1 (localhost) för användning av andra applikationer vid behov. Ett användbart objekt i Max/MSP/Jitter för att filtrera spikar från sensordata (orsakad av elektrisk störning) är Tristan Jehans "mjukare", som kan laddas ner här: smidigare maxobjektTristans webbplats har också en massa MSP -externa för Max som vi använder för ljudanalysdelen av Multimodal Music Stand -ingången - de inkluderar tonhöjd ~, ljudstyrka ~, ljusstyrka ~, buller ~ och allt-i-ett-analysator ~ -objektet. När du har data som kommer in i Max måste du justera känsligheten hos ThereminVision-sensorerna individuellt med en liten skruvmejsel. Gör detta genom att förlänga antennerna hela vägen, sedan vrida den blå trimpoten moturs tills den går in i "omvänd avkänning" -läge - vrid sedan tillbaka medurs tills du är tillbaka i normalt avkänningsområde. Små justeringar (inställning av sensiteten, precis som att stämma en gitarr) kan göras genom att ändra längden på antennerna, så du behöver inte bära med dig den lilla skruvmejseln till spelningar med dig.

Steg 9: Använda Multimodal Music Stand i Performance! (och förlängning)

Glöm inte att de nya prestationsteknikerna som Multimodal Music Stand möjliggör kräver övning och utveckling av nya mappningar och idéer för vad du vill styra med den! Om du också vill förlänga ditt MMMS till att inkludera andra typer av sensorer, det kommer att vara möjligt att använda de 13 analoga ingångarna på CUI förutom ThereminVision -sensorerna i framtida versioner av MMMS -firmware, så med några enkla sensorer (reglage/rattar/fotpedaler) eller andra sensortyper (IR/ultraljud/etc), dessa kan användas tillsammans med ljudingång och video till datorn. För närvarande använder firmware en "seriell-över-USB" -protokoll men så småningom är planen att byta till "HID" (Human Input Device) -protokoll som normalt används av CREATE USB-gränssnittet. Du får gärna bidra till insatsen … Det finns ett liknande open source -projekt för E -field sensing (även känt som kapacitiv avkänning) som använder samma kretstopologi (baserat på ThereminVision -designen) som heter CapToolKit - den använder "lillebror" "på PIC18F4550, PIC18F2550 som inte har så många analoga ingångar (10 istället för 13). Firmware för CapToolKit kommer att vara något annorlunda eftersom de inte använder ThereminVision -processorkortet. Vi använder en enkel firewire -kamera (webbkamerastil) monterad på toppen av musikstället för optisk igenkänning av fysiska gester och blickdetektering - Om du är intresserad av datorsyn eller ljudanalys och syntesaspekter av vår grupps forskning, se tidningarna på webbplatsen Multimodal Music Stand. Och skriv gärna dina erfarenheter om du bygger ett multimodalt musikställ … Vi har nu två av dem på UCSB som visas på bilden nedan - det skulle vara bra att ha fler kompositioner, uppträdanden och musiker som använder dem där ute! Dr JoAnn Kuchera-Morin skrev den första kompositionen som involverade MMMS, som framfördes av flöjtisten Jill Felber vid Eastman School of Music i mars 2007.