VID-AI: VIDeo feAture detectIon and retrieval

Inleiding

Visual threats zijn steeds meer aanwezig in het moderne leven en beginnen een grote negatieve impact te hebben. Visual threats omvatten alle vormen van gemanipuleerde afbeeldingen, video's en geavanceerde tools, waarvan deepfakes momenteel het meest voorkomend zijn en de grootste bedreiging vormen.

Sensity's Rol

Deeptrace B.V. – bekend als Sensity - is wereldleider in onderzoek en ontwikkeling van technologie om dergelijke visual threats te detecteren. Het onderschept dagelijks visual threats en monitort wanneer er nieuwe kwaadaardige inhoud online wordt vrijgegeven. Om te bepalen of een video- of afbeeldingsbestand is gewijzigd, maakt Sensity gebruik van zijn geavanceerde algoritmen, die zelfs de kleinste (kwaadaardige) wijzigingen detecteren en deze opslaan in zijn interne database.

Uitdagingen in de Industrie

Door het snel voortschrijdende veld van visual threats productie en de toenemende eenvoud van het gebruik van deze tools, haasten bedrijven wereldwijd zich om technologie te ontwikkelen die beter in staat is om de aanwezigheid van visual threats op internet te zoeken, detecteren en voorkomen. Video bevat van nature veel redundante informatie. Er is veel herhaling tussen videoframes, en veel van de pixels in elk frame zijn irrelevant voor de betekenis van de video. Dit is een universele uitdaging voor de industrie.

Huidige Technologie

Sensity maakt momenteel gebruik van een reeks neurale netwerken om bepaalde 'semantiek' te detecteren, dat wil zeggen informatie over een video die iets zegt over de aard van de video. Op deze manier kan het enkele visual threats detecteren. Om de technologie toekomstbestendig te maken, wil het geavanceerde video-embedding en retrieval-technologie ontwikkelen. Dit zal het mogelijk maken om elke relevante eigenschap van een video te leren, of het nu een object, een scène, een actie of een reeks gebeurtenissen is. Het idee is dat het gebruik van deze informatie helpt om bepaalde fouten in de video te detecteren, zodat deze kan worden gelabeld als een visual threat.

Toepassingen van de Technologie

Het vermogen om video's in elke database op te vragen (query) op basis van een semantische of gelijkeniszoekopdracht opent de deur naar ontelbare toepassingen. In het geval van visual threats zou het mogelijk zijn om een bepaalde video op te vragen en snel elke video te identificeren die er zeer op lijkt (wat een deepfake kan zijn). Dit zou enorm helpen bij het classificeren van de toegepaste technologie voor visual threat productie. Dit zal voor het eerst mogelijk maken om meer inzicht te krijgen in de bron van de visual threat, daadwerkelijk het probleem aan te pakken en mensen en bedrijven te verdedigen tegen deze steeds groeiende bedreiging.

Samenwerking met BrainCreators

Sensity is een expert in computer vision en AI R&D en is een van de leidende bedrijven in de wereld op het gebied van visual threat detectie. Echter, het heeft minder ervaring met het ontwikkelen van een geavanceerde data- en trainingspipeline of retrieval-algoritmen om video-embedding en retrieval te realiseren. Dit heeft geleid tot de samenwerking met BrainCreators.

BrainCreators' Expertise

BrainCreators' expertise ligt in het analyseren van elk type statische data met behulp van zijn geavanceerde data-augmentatiepipeline. Hoewel het dynamische videodata nog niet ondersteunt, is het zeker dat zijn bekroonde BrainMatter-technologie een unieke benadering mogelijk zal maken, voornamelijk door gebruik te maken van zijn eigen technologie voor data-annotatie en feature-extractie. Deze functies leggen de technologische basis voor het ontwikkelen van een effectievere en gestroomlijnde benadering van embedding, leren en retrieval.

Verwachte Resultaten

Een succesvolle afronding van dit project zal resulteren in Sensity die in staat is om het eerste visual threat detectieplatform te commercialiseren dat is gebouwd op de nieuwste video-embedding technologie en het enige platform dat video-retrieval ondersteunt. Deze functionaliteit zal worden gedemonstreerd met beveiligingsbedrijf PCS Security in dit project.

Toekomstige Integratie

BrainCreators zal in staat zijn om deze technologie te integreren in zijn BrainMatter-platform, waardoor het verder gepositioneerd wordt als de meest innovatieve enterprise AI-oplossingsprovider. Het heeft al brede belangstelling ontvangen van huidige en potentiële klanten voor dit soort technologie om bijvoorbeeld grote videodatasets op te schonen, live (beveiligings)video-analyse mogelijk te maken, drukke locaties te monitoren, en de weginspectie aanzienlijk te verbeteren, enzovoort.

Demonstratie van Use Cases

Ten minste een van deze use cases zal worden gedemonstreerd met SPIE of Advantech in dit project, met de optie om aanvullende use cases voor de kosten van BrainCreators zelf te demonstreren.