Använda fotogrammetri för att skapa modeller: 9 steg

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:39

Vem är jag?

Jag är Samuel Conklin och jag är en sophomore på E. L. Meyers High School. Jag har experimenterat med fotogrammetri de senaste månaderna och jag hoppas kunna hjälpa dig om du väljer att återskapa denna produkt. Jag är intresserad av att se hur andra människor kan använda denna nya och ständigt utvecklande teknik.

Vad är Virtual Reality och SteamVR?

Virtual Reality är en ny form av konstnärligt uttryck och upplevelse. Det är fortfarande en ny teknikgräns eftersom otaliga företag och människor arbetar för att förbättra mediet. Du gör dig själv en stor björntjänst om du aldrig har provat VR, eftersom det helt inkapslar användarens känsla av syn och ljud. En av de stora plattformarna för Virtual Reality är Valves SteamVR. SteamVR tillåter användare att fritt dela miljöer och pjäser med varandra utan kostnad. Det är mestadels öppen och möjliggör en myriad av headset. Dessa inkluderar, men är inte begränsade till, HTC Vive -serien, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, etc. SteamVR är plattformen vi använder för att skapa vår miljö.

Vad är fotogrammetri och hur kan den användas?

Fotogrammetri är processen att ta foton eller videor och förvandla bilderna till en 3D -modell. Det mest kända exemplet på användning av denna teknik är Google Earth. Google använder satellitbilder och gatuvyer för att rekonstruera landskap och byggnader. När man tittar på Google Earth är det klart att de hade få bilder att arbeta från, så vissa byggnader kommer att se missformade ut. Vid korrekt användning är fotogrammetri ett extremt övertygande sätt att skapa 3D -modeller. Detta projekt använder denna teknik för att bevara historiska landmärken. Erosion och att bli utsatt för elementen innebär att historiska landmärken så småningom kommer att förfalla och människor kommer att glömma dem. Med fotogrammetri kan vi bevara allt digitalt, så framtida generationer kommer att kunna uppleva och uppskatta dessa strukturer. Detta innebär också att fler människor världen över skulle kunna uppleva andra kulturer utan kostnad eller risk att resa.

Vilka tillbehör behöver jag?

För detta projekt använde jag Reality Capture, SteamVR och Krita. Det finns Autodesk-, Agisoft- och Zephyr -program som kan användas istället för Reality Capture om du inte har den nödvändiga Nvidia GPU för att köra den. Photoshop eller andra fotoredigeringsprogram kan användas istället för Krita, men eftersom det är gratis och offentligt att använda valde jag att använda det för detta projekt. Du behöver också ett skrivbord VR -headset som kan anslutas direkt till din dator. Slutligen behövs en kamera av hög kvalitet. En mobil kamera är anständigt, men jag använde en Nikon D7000 eftersom Reality Capture automatiskt kan upptäcka kamerans bländare, vilket leder till modeller av högre kvalitet.

Steg 1: Ta foton

Detta är den viktigaste delen av det här projektet eftersom du behöver få det rätt i ett skott. Om du inte gör det måste du gå tillbaka till platsen och ta om allt.

Först måste du hitta en lämplig plats och struktur. Strukturen ska vara stor och lätt identifierbar. Vad detta betyder betyder att fotogrammetriprogramvaran kommer att kunna upptäcka skillnaderna mellan strukturen och bakgrunden.

Normalt är det bästa sättet att ta bilder på en mulen dag. Detta beror på att en solig dag har möjlighet att överexponera vissa foton och underexponera andra. Det kan också skapa oönskade skuggor. En modell med små eller inga skuggor kommer att underlätta belysningen i nivåutvecklingsavsnittet. Dessutom behöver programvaran färgbalansen för att förbli densamma med varje foto, eftersom den använder färger för att beräkna objektets storlek. Att ta foton på en mulen dag kommer dock att förbättra kvaliteten på strukturen. Molnen på himlen kommer att fungera som en naturlig diffusor för kameran. Det kommer att fördela ljuset jämnare och innebär att modellen blir exakt under återgivningsprocessen.

Det sista rådet är att ta så många foton som möjligt. De flesta program väljer och väljer vilka foton den ska använda för den slutliga produkten. Genom att ta fler bilder blir allt mer exakt och ger programmet lite andrum. Jag hade cirka 150-300 foton för varje modell.

Steg 2: Komma igång med programmet för fotogrammetri

Nu ska vi importera bilderna till programvaran. Observera att Reality Capture kräver ett Nvidia -grafikkort. Du kan inte komma förbi avsnittet Justera bilder utan det.

Om du har en mapp med alla bilder du vill använda väljer du alternativet Mapp i det övre vänstra hörnet. Detta tar dig till Filhanteraren och du kan välja mappen. Ingångar låter dig välja enskilda foton med Filhanteraren.

Därefter ska vi starta processen med att bygga modellen. Högst upp på skärmen, under Workflow, finns en Process -sektion. Vi vill trycka på den större Start -knappen. Detta börjar justera bilderna. Det fjärde fotot visar kort vad som händer under denna process. Det kommer att känna igen rådjurets vänstra öga och jämföra avståndet med andra foton. Det kommer att fortsätta att jämföra olika foton tills det har gått igenom alla möjliga kombinationer. Detta steg är klart om du kan se små prickar som liknar strukturen.

Steg 3: Beräkna och förenkla

Nästa steg är att beräkna modellen. För att göra detta klickar vi på Beräkna modell i avsnittet Process. Detta kommer direkt att översätta vad som helst på fotona till 3D -form. Resultaten ligger anständigt nära hur vi vill att modellen ska se ut, men det finns tre problem med den här versionen av modellen. För det första finns det hål i modellen som inte finns i den verkliga strukturen. För det andra är ytan alldeles för ojämn. Eftersom programmet närmar sig sina beräkningar kommer det felaktigt att göra några släta ytor ojämn. För det tredje finns det för många trianglar. Varje modell i Reality Capture är skapad med små trianglar. Varje triangel representerar en liten yta av modellen. Vi vill att minst trekantar som möjligt ska optimera modellen. Om det finns för många trianglar kan det orsaka vissa prestandaproblem.

Dessa problem kan lösas med förenklingsverktyget. Alla modeller kommer att ha 3 000 000 trianglar efter beräkningsmodellen, och vi kan välja att göra det antalet högre eller lägre. För alla modeller som de som finns i det här projektet sänkte jag triangelräkningen till 1 000 000. Resultatet finns i den andra bilden, där alla ojämnheter är jämnare och det finns färre hål. Dessutom, med färre trianglar att göra, blir prestanda bättre när vi kommer in i VR.

Steg 4: Färg och textur

Nu kommer modellen att behöva färg och textur för att göra den ännu mer verklig. Dessa två delar liknar vad de uppnår men är olika i hur de fungerar. Med hjälp av färg, som finns i avsnittet Process, kommer programmet att färga in modellen. Verktyget tar bilderna som det använde för att skapa modellen och lindade dina bilder runt modellens olika ytor. Textur, å andra sidan, kommer att färga in de förenklade delarna av modellen. När man tittar på den första bilden är det tydligt synligt hur programmet lindade bilderna runt modellen, men i den andra bilden efter texturprocessen utjämnas nu de skarpa sidorna av bilderna.

Steg 5: Exportera och SteamVR

I Reality Capture ska vi överföra modellerna till SteamVR. Högst upp på skärmen, under Export, väljer du Mesh, som ligger bredvid Process -avsnittet. Du bör se denna popup som låter dig ändra inställningar och parametrar för modellen. Det är bäst att hålla alla inställningar som standard, förutom att ändra texturformatet JPEG. Programmet kommer nu att exportera en fil i OBJ -formatet, som är maskfilen, och en JPEG, som är texturfilen för modellen. För referensändamål bör JPEG se ut som den andra bilden i detta steg.

Nu måste vi importera våra modeller till SteamVR. Öppna först SteamVR, navigera sedan till Skapa/ändra en miljö, som ligger under fliken Verkstad. SteamVR Workshop Tools öppnas nu. Välj Skapa tomt tillägg och klicka på Startverktyg.

Tillgångsbläddraren öppnas nu med olika material och modeller som redan ingår. Längst upp till vänster finns en ikon med en hammarsymbol. Detta är den inbyggda SteamVR Hammer-redigeraren, som ger dig möjlighet att skapa kartor. Kartor är den miljö VR -användaren kommer att leva under spel.

Steg 6: Skapa din SteamVR -karta

Med Hammer -redigeraren öppen i SteamVR kan vi nu skapa en kub. Vi vill skapa en kub för att börja bygga miljön. Programmet låter dig ändra storleken på kuben innan den säkras på plats. Just nu är det bara kubens yttre ytor som syns. Genom att trycka på CTRL+F blir alla ytor inverterade och gör kuben till ett rum. Dessutom måste du lägga till ett objekt som heter info_player_start, som kommer att berätta för Hammer var han ska leka användaren när programmet laddas.

För att göra rummet mer realistiskt måste vi också lägga till texturer. Vi kan lägga till några anpassade bilder via materialredigeraren. Detta är den cirkulära ikonen till höger om Hammer -knappen i tillgångsbläddraren. Om du väljer Material Editor tar du dig till ett nytt fönster som låter dig importera en bild som ska göras till en textur. Du kan använda dina egna bilder eller få bilder från webbplatser med textur som textures.com. Klicka på filknappen under färgvalet för att välja den bild du vill använda. När du har valt din bild, se till att du sparar den genom att trycka på diskettikonen längst upp till vänster i fönstret Materialredigerare. Stäng nu Materialredigeraren och navigera tillbaka till tillgångsbläddraren. Sök här efter texturfilen du vill använda och klicka och dra den till Hammer Editor. I det här fönstret kan du applicera din textur på kubens olika ansikten.

Vi måste också lägga till belysning i rummet. För att göra detta lägger vi en light_omni eller en light_spot på vår karta, som finns i entitetsavsnittet till vänster om kartvyn. En light_omni kommer att lysa ett ljus i alla riktningar medan en light_spot lyser ljus i en specifik riktning. För detta projekt använde jag minst två light_spots för varje objekt och en light_omni för att belysa rummet.

Steg 7: Lägga till våra objekt på kartan

Nu är det dags att börja flytta våra objekt till vår karta. I tillgångsbläddraren till höger om ikonen Materialredigerare finns modellredigeraren som liknar en humanoid -ikon. När du öppnar modellredigeraren får du möjlighet att bläddra eller skapa en ny VDML, som är Hammer Editor -versionen av en OBJ -fil. Välj alternativet för att skapa en ny VDML och det kommer att kräva att du skapar en mapp. Den här mappen lagrar VDML -filen. Se till att den finns i mappen Lägg till och tryck på Fortsätt.

Detta tar dig till en skärm med din modell, som har en vit konsistens. Om du vill lägga till texturen för den här modellen väljer du Material från verktygsfältet till vänster. Detta tar dig till materialredigeraren och du kan välja JPEG från Reality Capture -exporten. Se till att spara strukturen och modellen genom att klicka på ikonen Diskett. Återgå till Hammer Editor.

I Hammer kan du dra och släppa modellen från tillgångsbläddraren till kartan. Modellen kommer sannolikt att vara liten och du måste ändra storlek på den. Genom att trycka på T på tangentbordet kan du ändra dess position på kartan. Genom att trycka på E ändras modellens proportioner medan R roterar den.

Steg 8: Gör objektetiketterna

Objektetiketterna bredvid varje landmärke ger sammanhang och historik för att förbättra användarens upplevelse. För mina objektetiketter tog jag helt enkelt bilder av informationsplaketterna på varje plats för att enkelt kunna spela in viktig information som jag ville använda senare. Jag använde sedan Krita, ett gratis fotoredigeringsprogram, för att skapa objektetiketterna med ytterligare bilder och text.

För gruvparkens och ankarsidan av rummet var det inga problem med att lägga till etiketter som texturer. Lägg helt enkelt till dem i din tillgångsbläddrare genom Material Editor och lägg till bilden i ett block som kan skapas i Hammer Editor. Problem uppstod när jag skapade brädor för andra sidan rummet. All text och bilder var bakåt och det fanns inget tydligt sätt att vända texturerna i redigeraren. För att åtgärda detta gick jag tillbaka in i Krita och vände brädorna för rådjuret och björnen och tack och lov löste detta problemet.

Dessutom lade jag till diverse bilder av Wilkes-Barre, eftersom jag ville skapa ett rum som hade känslan och atmosfären av ett boutiquemuseum.

Steg 9: Slutsats

Sammanfattningsvis har både Virtual Reality och Photogrammetry kraften att avsevärt förbättra otaliga branscher, inklusive men inte begränsat till sport, fastigheter och kriminalteknik. Idag använde jag fotogrammetri för att bevara några små men viktiga delar av min hemstad lokalhistoria. VR och fotogrammetri är båda fortfarande experimentell teknik som ibland kan utmana dig. Trots vissa brister är mängden innovativa användningsområden för båda processerna spännande och gränslös. Jag tackar dig för att du läste om det här projektet och jag hoppas att detta inspirerade dig att prova något nytt med Virtual Reality.

Nedladdningslänken för projektet hittar du här.