Big data zijn big. Overal kom je berichtgeving tegen over de dreiging van de grote stapels onhandelbare data die op ons afkomen. De huidige technologie is niet afdoende om die data te processen. Daar is iedereen het over eens. Een andere vraag is echter of al die big data wel geprocest moeten worden? Schieten we daar daadwerkelijk iets mee op? Podiumauteur Erik Tromp betwijfel het.
Het lijkt wel alsof we een soort van datalust kennen. We kunnen steeds meer meten, waardoor bedrijven over databases beschikken met een omvang waar je bang van wordt. En wat zit daarin? Stapels data die we niet kunnen processen omdat de capaciteit er niet voor is. Via cloudoplossingen worden meerdere systemen aan elkaar geknoopt om maar te kunnen berekenen wat we denken te willen weten. Grote spelers als IBM en SAS staren zich blind op big data. Maar je hoeft geen wiskundige te zijn om in te zien dat data altijd zullen blijven groeien. Als je nu een gigantisch cluster in de lucht brengt, schiet dat binnen de kortste keren weer tekort. Vandaag hebben we het immers over 50 miljoen records maar dat worden er vanzelf 500 miljoen, 5 miljard en zo blijven we achter de feiten aan lopen. Het probleem big data heeft in mijn ogen verdacht veel weg van een ratrace.
Vergeten wat we wilden weten
Daarom lijkt het me goed om niet langer te focussen op de data en de hoeveelheid ervan, maar juist op de toepassing. Want we verzamelen onderhand zó veel dat we zijn vergeten wat we ook alweer wilden doen met die data. Terwijl daar juist de essentie zou moeten liggen en niet in het verzamelen van zo veel mogelijk data. Wat bedrijven nu doen, is data opslaan en daarna een rapportje bouwen met informatie waarmee je misschien iets kan. Informatie uit het verleden. Mijn voorstel is om dat proces om te draaien. Eerst bekijken wat je wilt weten, dan realtime een rapportje maken om vervolgens te bekijken of je de gebruikte data überhaupt nog wil opslaan.
Omschakelen
Er is dus een verandering van de mindset nodig als je het mij vraagt. Want nu zetten we ongekend grote systemen op om kleine rapportages uit de grote bak van data te genereren. Rapportages die allang oud nieuws vertellen voor ze op het bureau van decisionmakers liggen, juist omdat je zo veel data hebt dat je niet snel genoeg een rapport kunt maken. Maar hoe stap je over op realtime rapportages? Het begint bij een laatste weerzien met de big data die je hebt. Je put er nog een keer de waardevolle informatie uit die je wenst. Op basis daarvan ontwikkel je eventueel nieuwe doelstellingen. En vanaf dat moment ga je anders te werk.
On the fly berekenen
Je richt twee datastromen in. De eerste slaat de ruwe data op. Pompt ze door naar de opslagruimte voor het geval je ooit nog nieuwe inzichten verkrijgt waarbij alle historische data nog een keer nodig zijn. De tweede stroom is ingericht op de informatie die je écht nodig hebt. Die is goed te behappen. Je weet tenslotte waarnaar je op zoek bent. Die data kun je dus on the fly berekenen en toepassen. De voordelen van deze werkwijze mogen duidelijk zijn. Je loopt niet meer achter, springt van de alsmaar doordenderende bigdatatrein en bespaart een ongekende hoeveelheid kosten en tijd, terwijl je ook nog eens stukken relevanter acteert.
Realtime relevantie
Ik vraag me af waarom de grote spelers deze weg niet bewandelen. Is het zó belangrijk om over onmetelijke hoeveelheden data te beschikken die je niet kunt gebruiken? In een ideale digitale wereld kunnen we beschikken over realtime big data. Daarin is het mogelijk om big data op hetzelfde moment te berekenen én op te slaan. Maar dat zie ik niet gebeuren. En daarom kun je je maar beter op realtime relevantie richten.
Over de auteur:
Dit podiumartikel is geschreven door Erik Tromp, Technisch consultant bij Adversitement. Erik heeft in 2011 zowel M&I/partners Informatie Scriptieprijs gewonnen voor Informatica en Informatiekunde als Berenschot’s Scriptieprijs 2011.
Over het Podium:
Ook uw visie geven op ontwikkelingen binnen uw vakgebied? Plaats een artikel op MT Podium. Log in op mt.nl/profiel en voeg onder 'activiteiten' uw artikel toe. Interessante bijdragen worden meegenomen in de nieuwsbrief en op home geplaatst. MT Magazine publiceert bovendien periodiek 'Het beste van MT Podium'.
