AI-gestuurde drones als copiloot voor hulpverleners

Vandaag heb ik afgesproken met Tim Jacobs, program manager, en Matthias Verlinde, data scientist, om het over de ins en outs van dit grensverleggende project te hebben. Onder andere de volgende topics zullen aan bod komen: 

• Wat is het SENSE-project en waarom is het zo revolutionair? 
• Hoe de AI-modellen in dit project werden gebouwd 
• Waarom 5G zo cruciaal is in dit scenario 
• Waarom je geen blusapparaat aan een drone kunt hangen ... 
• ... en waarom de sky bijna letterlijk the limit is als het gaat over drones en AI  

Tim, Matthias, vertel eens, waar gaat dit allemaal over? 

Tim Jacobs: Kort samengevat komt het erop neer dat hulpverleners er een nieuwe bondgenoot bij hebben, namelijk drones, die hen tijdens hun werk gaan ondersteunen. Terwijl de hulpverleners op het terrein bezig zijn, zijn de drones hun ‘AI-copilots in de lucht’. Drones worden al ingezet bij de bestrijding van branden en het doel van dit project is om een uitgebreid netwerk van drones verspreid over heel België op te zetten. Genk en Brugge hebben deze nieuwe technologie al in actie kunnen zien en andere steden zoals Oostende en Hasselt zullen snel volgen. 

"Terwijl hulpverleners op het terrein bezig zijn, zijn de drones van het SENSE-project hun ‘AI-copilots in de lucht’."

Wat moet ik precies verstaan onder ‘slimme’ drones? 

Matthias Verlinde: Alle drones in dit project zijn voorzien van een camera met computer vision-technologie. Hiermee kan een drone rookpluimen detecteren, het type brand herkennen (bijvoorbeeld een chemische brand, een bosbrand, enz.) en hotspots lokaliseren. Hotspots zijn de plaatsen waar het risico op nieuwe brandhaarden het grootst is. De ‘intelligentie’ zelf bevindt zich in de cloud, niet in de drone. Deze manier van werken biedt verschillende voordelen. Zo zijn de modellen altijd up-to-date en kunnen ze achteraf veel gedetailleerder worden geanalyseerd dan bij een realtime algoritme op een apparaat. 

De drones kunnen ook personen herkennen en hun positie bepalen, zelfs als ze bewusteloos zijn of als ze zich onder bomen of in struiken bevinden. Bovendien kunnen ze specifieke objecten herkennen, zoals open deuren en ramen. Die kunnen er bijvoorbeeld op wijzen dat iemand een gebouw is binnen gegaan of heeft verlaten. De ‘intelligente’ camera registreert en analyseert al deze informatie en de brandweer kan die vervolgens in real time bekijken op een tablet. 

Een drone ziet dus veel meer dan een mens, zelfs als die mens zich in de lucht zou bevinden? 

Tim Jacobs: Absoluut. Een drone heeft meerdere ogen die werkelijk alles kunnen zien. Elke drone is uitgerust met twee camerastreams: een standaard RGB-camerastream en de stream van een infraroodcamera die de warmte van personen of objecten detecteert. In feite maken we eerst een ‘digital twin’ van het rampgebied. Dit is een virtuele kopie die wordt gemaakt op basis van verschillende soorten data. Enerzijds heb je gegevens die door de camera van de drone worden vastgelegd, ook wel ‘time-series data’ genoemd, en anderzijds krijg je contextuele gegevens uit andere bronnen, zoals de weersomstandigheden, de windrichting, de verkeersstroom en de locaties van gas- en nutsleidingen (in Vlaanderen ook wel KLIP-gegevens genoemd). 

Op basis van deze dataset kan het AI-model patronen herkennen en voorspellingen doen. Door naar de huidige windrichting te kijken, kan het model bijvoorbeeld voorspellen hoe lang het zal duren voordat een chemische rookpluim een woongebied of een grote verkeersader zal bereiken. De brandweer kan op basis van die informatie beslissen om mensen te evacueren of het verkeer om te leiden. Het zijn dus altijd mensen die uiteindelijk een beslissing nemen waarbij AI als een soort van copiloot optreedt. Dat is toch belangrijk om even te benadrukken. 

"We maken eerst een ‘digital twin’ van het rampgebied. Dit is een virtuele kopie die wordt gemaakt op basis van verschillende soorten data."

Het realtime gegeven lijkt een belangrijk aspect te zijn. Hoe doen jullie dat? 

Tim Jacobs: In een levensbedreigende situatie telt elke seconde. De drones worden bestuurd door een team van erkende drone-operatoren in Oostkamp en binnenkort in Hasselt. We zijn van plan om het aantal ROC’s (Remote Operations Centers) naar vijf uit te breiden in België. De realtime processen verlopen via een 5G-verbinding. Die zorgt voor nul latentie en biedt voldoende bandbreedte voor high-definition videostreaming. Bovendien blijft de verbinding altijd stabiel en performant, zelfs wanneer het netwerk overbelast is. Dat is mogelijk dankzij ‘slicing’, een functie die uniek is voor 5G-netwerken. 

Concreet betekent dit dat wanneer een dronepiloot in Oostkamp een drone naar links stuurt, het manoeuvre onmiddellijk wordt uitgevoerd en het opgenomen beeldmateriaal meteen naar de brandweer wordt gestuurd. Wat de brandweer op de tablet ziet, is dus wat er in real time gebeurt. Met 4G zou je hier enkele seconden vertraging hebben en dat is onaanvaardbaar in een levensbedreigende situatie. Dat probleem heb je niet met 5G. 

Het is misschien een gek idee, maar waarom hangen jullie geen blusapparaat aan een drone? 

Tim Jacobs: Dat idee is eigenlijk helemaal niet zo gek, maar helaas niet haalbaar (lacht). Een drone werkt immers op batterijen. Dus hoe zwaarder de drone, hoe meer batterijstroom hij verbruikt. Drones moeten zo licht mogelijk zijn. Alleen zo kunnen ze snel ter plaatse geraken en hebben ze voldoende tijd om waarnemingen te doen voordat ze weer moeten terugkeren. Drones zijn daarom uitgerust met een intelligente camera en dragen verder geen andere apparatuur om bijvoorbeeld berekeningen uit te voeren. 

Wacht even, andere apparatuur? Kun je dat even verduidelijken? 

Tim Jacobs: De camera van een drone is gekoppeld aan een AI-algoritme. In essentie is dat software die op een fysiek of virtueel apparaat moet draaien. Bij deze drones wordt al het rekenwerk in de cloud gedaan. Als we een extra apparaat aan de drone zouden bevestigen, zou dat extra gewicht betekenen en dat kan absoluut niet. Alle gegevens worden dus in de cloud verwerkt en niet ‘on the edge’. De beelden die de drones vastleggen, worden ook opgeslagen in de cloud, zodat ze na de interventie beschikbaar zijn voor analyse. 

"Dankzij 5G blijft de verbinding altijd stabiel, ook wanneer het netwerk overbelast is."

Laten we even terugkeren naar het AI-aspect. Hoe werd het AI-model precies ontwikkeld? 

Matthias Verlinde: De architectuur die als basis dient voor onze modellen is dezelfde als bij GPT, met als verschil dat we hier focussen op afbeeldingen en niet op tekst. Er zijn verschillende open-source modellen beschikbaar die ‘getraind’ zijn om bepaalde taken uit te voeren. We hebben deze modellen verfijnd voor onze concrete case. Zo kun je een model dat in staat is om een onderscheid te maken tussen voorgrond en achtergrond bijvoorbeeld trainen om rookpluimen te herkennen. 

Daarna hebben we het model uitvoerig getest om ervoor te zorgen dat het nauwkeurig genoeg werkt om boven een bepaalde drempelwaarde uit te komen. Het model blijft zichzelf ook verder trainen tijdens het gebruik en we plannen ‘trainingsrondes’ om de nauwkeurigheid van het algoritme mettertijd nog te verbeteren. Dit proces wordt MLOps of Machine Learning Operations genoemd. Het model draait in de cloud op Microsoft Azure. Onze telecompartner Citymesh staat in voor de 5G-verbinding en de werking van de drones. 

Wat is de volgende stap nu safety drones voor hulpdiensten een feit zijn? 

Matthias Verlinde: De sky is bijna letterlijk the limit (lacht)! Drones kunnen namelijk in tal van scenario’s worden ingezet, zoals bij grote verkeersongevallen of bij terroristische aanslagen zoals die op de luchthaven van Zaventem. Dankzij 5G blijft de verbinding altijd stabiel, ook wanneer het netwerk overbelast is, zoals bij het Pukkelpop-drama in 2011. De luchthaven van Zaventem is trouwens een van onze vaste klanten die werken met een 5G MPN (Mobile Private Network) en drones.  

Tim Jacobs: Daarnaast kunnen we drones ook inzetten om observaties vanuit de lucht uit te voeren. Denk bijvoorbeeld aan het beoordelen van de weg- en waterkwaliteit of het inspecteren van telecommunicatie- en hoogspanningsmasten. Ook de bouw- en de landbouwsector maken al gebruik van drones. Drones die zijn uitgerust met hyperspectrale camera’s die door het loof en de bladeren heen kunnen kijken, helpen boeren om ziektes of afwijkingen in gewassen op te sporen.

Interview met Mitch De Geest, CEO van Citymesh én zelf brandweerman  

Verwacht je op basis van jouw unieke ervaring uitdagingen of problemen met de implementatie van AI bij rampenbestrijding? 

Mitch De Geest: Absoluut. Nieuwe technologie introduceren in bestaande workflows brengt altijd uitdagingen met zich mee. Een van de aandachtspunten is misschien dat we te veel vertrouwen op gegevens die door AI zijn gegenereerd. Een brandweerman heeft dankzij zijn ervaring een sterk ontwikkeld buikgevoel. AI moet ons ondersteunen bij het nemen van beslissingen, maar maakt onze intuïtie zeker niet overbodig. AI-modellen moeten bovendien nauwkeurig zijn en aan verschillende scenario’s kunnen worden aangepast. Tijdens ons werk komen we immers in de meest uiteenlopende situaties terecht en de technologie moet dus net zo veelzijdig zijn als wij. 

Als je kijkt vanuit je dubbele rol als brandweerman en iemand die dit project van nabij opvolgt, welke boodschap zou je dan aan je collega-brandweerlieden willen meegeven over AI-gestuurde drones? 

Mitch De Geest: Ik zou zeggen: benader ze met een open geest. AI zal ons niet vervangen, maar geeft ons de mogelijkheden om datgene wat we nu doen nog beter te doen. Net zoals we tijdens een reddingsoperatie vertrouwen op de expertise van anderen, kunnen we ook AI beschouwen als een extra teamlid. Het is deze combinatie van mensen die beslissingen nemen en technologische ondersteuning die ervoor zal zorgen dat we in de toekomst beter op rampscenario’s kunnen reageren. Als we de mogelijkheden van AI optimaal benutten, kunnen we ons werk veiliger en efficiënter maken zonder dat we onze voornaamste opdracht, namelijk het beschermen van mensenlevens, uit het oog te verliezen. Laten we AI dus vooral beschouwen als een kans.