Haalbaarheidsproject naar webspider voor dynamische content: CrawIBot

Inleiding

Een van de belangrijkste nieuwe problemen waar relaties van X-CAGO op dit moment mee worstelen, is dat door de steeds verdergaande digitalisering, contentaanbieders afstappen van alleen statische content op hun websites.

Probleemstelling

Veel van de aangeboden content wordt meerdere malen geüpdatet. Bestaande crawler-oplossingen zijn technisch niet in staat deze content te verzamelen/extraheren. Dit houdt in dat bedrijven die deze crawlers gebruiken in veel gevallen gebruikmaken van verouderde of incorrecte data.

Gevolgen

In een samenleving waar beslissingen realtime en steeds meer geautomatiseerd, op basis van onderliggende data, genomen worden, levert dit grote problemen en risico’s op voor de bedrijven en overheden en daarmee ook de samenleving.

Toegang tot de meest recente data is een vereiste voor een goed functioneren van de samenleving in onze sterk digitaliserende samenleving en economie.

Oplossing

X-CAGO zou hiervoor zelf een CrawlBot willen ontwikkelen die gebaseerd is op AI-technologie. Dit is software die in staat is om zeer dynamische data te verzamelen van een groot aantal verschillende bronnen die aansluit bij de informatiebehoefte van de gebruiker.

De software is uiteraard in staat om uit dynamische content items en bijbehorende metadata te onttrekken en deze vervolgens te ontsluiten.

Doel van het project

Het doel van dit MIT-haalbaarheidsproject is om binnen de projectperiode de technische en economische haalbaarheid te onderzoeken van deze nieuwe innovatie.

Met dit project levert X-CAGO een bijdrage aan de KIA Sleuteltechnologieën, specifiek Digital Technologies, met focus op de vraagstukken/doelstellingen rondom big data en AI.