Autonom drönare med infraröd kamera för att hjälpa första svarare: 7 steg

2024 Författare: John Day | [email protected]. Senast ändrad: 2024-01-30 12:43

Enligt en rapport från Världshälsoorganisationen dödar varje år naturkatastrofer cirka 90 000 människor och drabbar närmare 160 miljoner människor världen över. Naturkatastrofer inkluderar jordbävningar, tsunamier, vulkanutbrott, jordskred, orkaner, översvämningar, skogsbränder, värmeböljor och torka. Tiden är avgörande eftersom chansen att överleva börjar gå ner för varje minut som går. Första respondenterna kan ha problem med att lokalisera överlevande i hus som är skadade och riskerar deras liv medan de letar efter dem. Att ha ett system som kan lokalisera människor på distans skulle kraftigt öka den hastighet som de första respondenterna kan evakuera dem från byggnader. Efter att ha undersökt andra system fann jag att vissa företag har skapat robotar som är landbaserade eller har skapat drönare som kan spåra människor men bara fungerar utanför byggnader. Kombinationen av djupkameror tillsammans med en speciell infraröd kamera kan möjliggöra noggrann spårning av inomhusområdet och detektering av temperaturförändringar som representerar eld, människor och djur. Genom att implementera sensorer med en anpassad algoritm på ett obemannat flygfordon (UAV) blir det möjligt att autonomt inspektera hus och identifiera platsen för människor och djur för att rädda dem så snabbt som möjligt.

Vänligen rösta på mig i optiktävlingen!

Steg 1: Designkrav

Efter att ha undersökt den tillgängliga tekniken diskuterade jag möjliga lösningar med experter på maskinsyn och en första responder för att hitta den bästa metoden för att upptäcka överlevande i farliga områden. Informationen nedan listar de viktigaste funktionerna som krävs och designelement för systemet.

• Vision Processing - Systemet måste tillhandahålla en snabb bearbetningshastighet för utbytt information mellan sensorerna och artificiell intelligens (AI) svar. Till exempel måste systemet kunna upptäcka väggar och hinder för att undvika dem samtidigt som det kan hitta människor som är i fara.
• Autonom - Systemet måste kunna fungera utan input från en användare eller en operatör. Personal med minimal erfarenhet av UAV -teknik bör kunna trycka på en eller några knappar för att få systemet att börja skanna av sig själv.
• Område - Avståndet är avståndet mellan systemet och alla andra objekt i närheten. Systemet ska kunna upptäcka korridorer och entréer från minst 5 meter bort. Den idealiska minsta räckvidden är 0,25 m så att nära föremål kan detekteras. Ju större detekteringsområde, desto kortare upptäcktstid för överlevande.
• Navigation och detekteringsnoggrannhet - Systemet ska kunna hitta alla ingångar exakt och inte träffa några objekt samtidigt som det upptäcker plötsliga utseende av föremål. Systemet måste kunna hitta skillnaden mellan människor och icke-levande föremål genom olika sensorer.
• Drifttid - Systemet ska kunna vara 10 minuter eller längre beroende på hur många rum det behöver skanna.
• Hastighet - Den ska kunna skanna hela byggnaden på mindre än 10 minuter.

Steg 2: Val av utrustning: Metod för rörlighet

Quadcoptern valdes framför en fjärrstyrd bil eftersom även om quadcoptern är ömtålig är det lättare att styra och ändra höjd för att undvika hinder. Quadcoptern kan hålla alla sensorer och stabilisera dem så att de är mer exakta när de rör sig in i olika rum. Propellerna är tillverkade av kolfiber som är värmebeständiga. Sensorerna direkt bort från väggar för att förhindra olyckor.

• Fjärrkontroll landfordon

  • Fördelar - Kan röra sig snabbt utan att falla och påverkas inte av temperaturen
  • Nackdelar - Fordonet skulle sätta sensorerna lågt till marken som täcker mindre yta åt gången och kan blockeras av hinder

• Quadcopter

  • Fördelar - Lyfter sensorer i luften för att få 360 -graders bild av omgivningen
  • Nackdelar - Om den stöter på en vägg kan den falla och inte återhämta sig

Steg 3: Utrustningsval: Mikrokontroller

De två huvudsakliga kraven för mikrokontrollerna är liten storlek för att minska nyttolasten på quadcoptern och hastigheten att snabbt bearbeta informationen. Kombinationen av Rock64 och DJI Naza är den perfekta kombinationen av mikrokontroller eftersom Rock64 har tillräcklig processorkraft för att snabbt upptäcka människor och hindra quadcoptern från att springa in i väggar och hinder. DJI Naza komplimangerar det väl genom att göra all stabilisering och motorstyrning som Rock64 inte kan göra. Mikrokontrollerna kommunicerar via en seriell port och möjliggör användarkontroll vid behov. Raspberry Pi skulle ha varit ett bra alternativ men eftersom Rock64 hade en bättre processor och bättre anslutning till sensorerna i nästa tabell valdes inte Pi. Intel Edison och Pixhawk valdes inte ut på grund av bristen på stöd och anslutning.

• Raspberry Pi

  • Fördelar - Kan upptäcka väggar och fasta föremål
  • Nackdelar - Kämpar för att hänga med i data från alla sensorer så kan inte se ingångarna tillräckligt snabbt. Kan inte mata ut motorsignaler och har inga stabiliserande sensorer för quadcoptern

• Rock64

  • Fördelar - Kan upptäcka väggar och ingångar med liten latens.
  • Nackdelar - Kan också styra systemet genom hela huset utan att stöta på något med alla sensorer. Det går inte att skicka signaler tillräckligt snabbt för att styra motorhastigheten och har inga stabiliserande sensorer för quadcoptern

• Intel Edison

  • Fördelar - Kan upptäcka väggar och ingångar med viss fördröjning
  • Nackdelar - Äldre teknik, många av sensorerna skulle behöva nya bibliotek som är mycket tidskrävande att skapa
• DJI Naza
  • Fördelar - Har integrerat gyroskop, accelerometer och magnetometer, så att quadcopter kan vara stabil i luften med mikrojusteringar av motorhastigheten
  • Nackdelar - Det går inte att utföra någon form av synbehandling

• Pixhawk

  • Fördelar - Kompakta och kompatibla med sensorer som används i projektet med hjälp av General Purpose Input Output (GPIO)
  • Nackdelar - Det går inte att utföra någon form av synbehandling

Steg 4: Val av utrustning: Sensorer

En kombination av flera sensorer används för att få all information som krävs för att hitta människor i farliga områden. De två huvudsakliga sensorerna inkluderar den infraröda stereokameran vid sidan av SOUND Navigation And Ranging (SONAR). Efter några tester har jag bestämt mig för att använda Realsense D435 -kameran eftersom den är liten och exakt kan spåra avstånd upp till 20 meter bort. Den körs med 90 bildrutor per sekund vilket gör att många mätningar kan göras innan du fattar ett beslut om var föremål är och i vilken riktning quadcoptern ska riktas. SONAR -sensorer är placerade på toppen och botten av systemet för att göra det möjligt för quadcoptern att veta hur högt eller lågt det är tillåtet att gå innan det kommer i kontakt med en yta. Det finns också en placerad framåt så att systemet kan upptäcka föremål som glas som den infraröda stereosensorn inte kan upptäcka. Människor och djur upptäcks med hjälp av algoritmer för rörelse- och objektigenkänning. FLIR -kamera kommer att implementeras för att hjälpa den infraröda stereokameran att spåra vad som lever och vad som inte ska öka effektiviteten för skanning under ogynnsamma förhållanden.

• Kinect V1

  • Fördelar - Kan spåra 3D -objekt enkelt upp till 6 meter bort
  • Nackdelar -Har bara 1 infraröd sensor och är för tung för quadcopter

• Realsense D435

  • Fördelar - Har 2 infraröda kameror och en röd, grön, blå, djup (RGB -D) kamera för 3D -objektdetektering med hög precision upp till 25 meter bort. Den är 6 cm bred och möjliggör enkel passform i quadcopter
  • Nackdelar - Kan värma upp och kan behöva en kylfläkt

• LIDAR

  • Fördelar - Stråle som kan spåra platser upp till 40 meter bort i sin siktlinje
  • Nackdelar - Värme i miljön kan påverka mätprecisionen

• EKOLOD

  • Fördelar - Stråle som kan spåra 15 m bort men som kan upptäcka transparenta föremål som glas och akryl
  • Nackdelar - pekar bara på en siktlinje men kan flyttas av quadcoptern till skanningsområdet

• Ultraljuds

  • Fördelar - Har en räckvidd på upp till 3 m och är mycket billigt
  • Nackdelar - Endast pekar i en siktlinje och kan vara utanför avståndsavkänning mycket lätt
• FLIR -kamera
  • Fördelar - Kan ta djupbilder genom rök utan störningar och kan upptäcka levande människor genom värmesignaturer
  • Nackdelar - Om något stör sensorerna kan avståndsberäkningarna beräknas felaktigt

• PIR -sensor

  • Fördelar - Kan upptäcka temperaturförändringar
  • Nackdelar - Det går inte att avgöra var temperaturskillnaden är

Steg 5: Utrustningsval: Programvara

Jag använde Realsense SDK tillsammans med Robot Operating System (ROS) för att skapa en sömlös integration mellan alla sensorer med mikrokontrollen. SDK: n gav en stadig ström av punktmolndata som var idealisk för att spåra alla objekt och gränserna för quadcopter. ROS hjälpte mig att skicka all sensordata till det program som jag skapade som implementerar artificiell intelligens. AI består av objektdetekteringsalgoritmer och algoritmer för rörelsedetektering som gör att quadcoptern kan hitta rörelse i sin omgivning. Styrenheten använder Pulse Width Modulation (PWM) för att styra quadcopterens position.

• Freenect

  • Fördelar - Har en lägre åtkomstnivå för att styra allt
  • Nackdelar - stöder bara Kinect V1

• Realsense SDK

  • Fördelar - Kan enkelt skapa punktmolndata från informationsströmmen från Realsense -kameran
  • Nackdelar - stöder bara Realsense D435 -kamera

• FLIR Linux -drivrutin

  • Fördelar - Kan hämta dataström från FLIR -kamera
  • Nackdelar - Dokumentationen är mycket begränsad

• Robotoperativsystem (ROS)

  • Fördelar - Operativsystem perfekt för programmering av kamerafunktioner
  • Nackdelar - Måste installeras på ett snabbt SD -kort för effektiv datainsamling

Steg 6: Systemutveckling

Enhetens "ögon" är Realsense D435 stereo infraröd sensor som är en hyllsensor som huvudsakligen används för robotapplikationer som 3D-kartläggning (Figur 1). När denna sensor är installerad på quadcoptern kan den infraröda kameran styra och låta quadcoptern röra sig självständigt. Den data som genereras av kameran kallas ett punktmoln som består av en serie punkter i ett utrymme som har information om positionen för ett visst objekt i kamerans syn. Detta punktmoln kan konverteras till en djupkarta som visar färger som olika djup (figur 2). Rött är längre bort, medan blått är närmare meter.

För att säkerställa att systemet är sömlöst användes ett operativsystem med öppen källkod som heter ROS, som vanligtvis används på robotar. Det gör det möjligt att utföra kontroll på låg nivå och få åtkomst till alla sensorer och sammanställa data som ska användas av andra program. ROS kommer att kommunicera med Realsense SDK som gör det möjligt att slå på och stänga av olika kameror för att spåra hur långt borta objekt är från systemet. Länken mellan båda ger mig tillgång till dataströmmen från kameran som skapar ett punktmoln. Punktmolninformation kan avgöra var gränser och objekt ligger inom 30 meter och en noggrannhet på 2 cm. De andra sensorerna som SONAR -sensorerna och de inbyggda sensorerna i DJI Naza -kontrollen möjliggör en mer exakt positionering av quadcoptern. Min programvara använder AI -algoritmer för att komma åt punktmolnet och genom lokalisering skapa en karta över hela utrymmet som omger enheten. När systemet har startats och börjar skanna, kommer det att resa genom korridorer och hitta ingångar till andra rum där det sedan kan göra en svepning av rummet specifikt för att leta efter människor. Systemet upprepar denna process tills alla rum har skannats. För närvarande kan quadcoptern flyga i cirka 10 minuter, vilket är tillräckligt för att göra ett helt svep men kan förbättras med olika batteriarrangemang. De första som svarar kommer att få aviseringar när människor upptäcks så att de kan fokusera sina ansträngningar på utvalda byggnader.

Steg 7: Diskussion och slutsats

Efter många försök hade jag skapat en fungerande prototyp som uppfyllde kraven i tabell 1. Genom att använda Realsense D435 stereo infraröd kamera med Realsense SDK skapades en högupplöst djupkarta över quadcopterens framsida. Först hade jag några problem med att den infraröda kameran inte kunde upptäcka vissa föremål som glas. Genom att lägga till en SONAR -sensor kunde jag övervinna detta problem. Kombinationen av Rock64 och DJI Naza var framgångsrik eftersom systemet kunde stabilisera quadcoptern samtidigt som det kunde upptäcka objekt och väggar genom skräddarsydda datorsynsalgoritmer med OpenCV. Även om det nuvarande systemet är funktionellt och uppfyller kraven, kan det dra nytta av några framtida prototyper.

Detta system kan förbättras genom att använda kameror av högre kvalitet för att mer exakt kunna upptäcka människor. Några av de dyrare FLIR -kamerorna har förmågan att upptäcka värmesignaturer som kan möjliggöra mer exakt detektion. Systemet kan också fungera i olika miljöer, till exempel dammiga och rökfyllda rum. Med ny teknik och brandsäkerhet kan detta system skickas i hus som brinner och snabbt upptäcker var människorna är så att de första som svarar kan ta bort de överlevande från fara.

Tack för att du läser! Glöm inte att rösta på mig i optiktävlingen!