Samenvatting:

Innovatieve bedrijven zijn, net als vele andere organisaties, actief in een omgeving die steeds sneller verandert. Om toekomstbestendig te blijven, gaan zij meer data gedreven besluiten nemen. Ze analyseren hun data onder andere om consumentengedrag beter te kunnen voorspellen. Dat vraagt om technische vernieuwing. Maar hoe bouw je aan data gedreven oplossingen in een organisatie die constant in beweging is? Back-end Engineer Diko Baken heeft oog voor het hele proces en ontwikkelt een robuust systeem dat bestand is tegen storingen.

Diko Baken:

“Binnen een innovatieve mediaorganisatie ontstaat een toename in de omvang van datastromen. Bedrijven passen daarom onder andere hun informatiestructuren aan. Dit zijn complexe projecten die het hart van de mediaorganisatie raken, terwijl de primaire processen gewoon doorgaan. Je kunt het vergelijken met een treinstation dat wordt verbouwd terwijl de reizigers in en uit lopen. Teams van ervaren techneuten ontwikkelen bijvoorbeeld een nieuw toekomstbestendig dataplatform, terwijl het huidige dataplatform nog volop wordt gebruikt. Het huidige platform kraakt soms in zijn voegen. Dat komt omdat er meer data door de server gaan dan waar het ICT-systeem oorspronkelijk voor is gebouwd. De omgeving verandert en onderneming dus ook.”

Toekomstbestendig blijven

“Een dataplatform is een ICT-systeem waardoor de datastromen uit verschillende bronnen aan elkaar gekoppeld worden. Datastromen worden hier met verschillende verversingsfrequenties, verschillende formaten en via verschillende aanlevermethodes aangeleverd. Zij worden verwerkt in een centrale dataomgeving. Hier worden de data getransformeerd en logisch opgeslagen voor analyse. We maken de gegevens beschikbaar voor bedrijfsrapportage en analyse. We prepareren de data voor data scientisten. Organisaties passen zo’n dataplatform constant aan, om toekomstbestendig te blijven. Momenteel is het vooral mijn taak om het primaire proces van het mediabedrijf op het bestaande SQL-platform voorspoedig te laten verlopen, terwijl het nieuwe platform wordt gebouwd. Dit soort projecten zijn vrij complex en ze worden gefaseerd opgeleverd. Er is zowel een architect bij betrokken, als een team van ontwikkelaars met uiteenlopende specialismen.”

Meerwaarde

“Er is een toenemende behoefte om de data inhoudelijk op waarde te schatten en te benutten. Bijvoorbeeld om de emoties in teksten, audio of beelden te analyseren. Dit zijn forse datastromen die bestaan uit ongestructureerde gegevens. Daarmee bedoelen we gegevens die geen specifieke indeling hebben. De techniek ondersteunde tot voor kort nauwelijks mogelijkheden om daar veel mee te doen. Je kon ze alleen maar opslaan. Dat dit verandert is wel bijzonder en het leidt tot de opkomst van data scientists in innovatieve organisaties. Een data scientist weet wat de mediaorganisatie doet en is zelf handig met statistiek en ICT. De data scientists binnen deze organisatie experimenteren met nieuwe diensten en toepassingen. Zo kunnen we in de toekomst voldoen aan de behoefte van consumenten en adverteerders. Het is mijn werk om met de data scientists mee te denken en slimme technologie te genereren om hen daarbij te ondersteunen.”

Innoveren

“Als back-end engineer focus ik me het liefst op het bouwen van robuuste processen die datastromen inzichtelijk maken. Bij het bouwen van nieuwe pipelines probeer ik te zorgen dat het proces zo eenduidig mogelijk is. Dit is te doen door gebruik van standaarden. Wanneer we het zelf ontwikkelen is het team ervan verzekert dat elk proces identiek is. En als er iets moet worden aangepast dan hoeft dit maar op één plek om dit overal door te voeren. Continuïteit is belangrijk voor een klant, dus ik zorg dat de overgang naar nieuwe technologie soepel verloopt. Wanneer er iets misgaat, is het fijn dat het proces opnieuw te starten is zonder dat hier handmatig allerlei zaken voor geregeld moeten worden.”

“Als de gegevens opgeslagen zijn in een database, kun je beginnen om de datamarts op te bouwen en te integreren. Een datamart is een verzameling van gegevens, ingericht voor een specifiek doel en deze wordt periodiek gevuld met gegevens uit operationele systemen. We integreren nieuwe software waar de medewerkers geleidelijk aan wennen. Het oorspronkelijke systeem moet blijven functioneren tot het nieuwe toekomstbestendige platform volledig is gebouwd en getest.”

Voldoening

“De consument merkt niet dat er achter de schermen grote technische veranderingen plaatsvinden. Hij kan naar zijn favoriete programma of serie blijven kijken waar en wanneer hij maar wil. Dat is mogelijk terwijl het ontwikkelteam waar ik bij hoor, de technologische kansen verkent in nauwe samenwerking met de data scientists. Het geeft mij voldoening om robuust werk te leveren in een innovatieve omgeving. Technologische vernieuwing biedt mij mogelijkheden om anderen verder te helpen en zelf ook nieuwe kennis op te doen.”

Over Diko:

Diko Baken is een ervaren Back-end Engineer bij Sigma Data Consulting. Hij heeft oog en waardering voor gedegen vakmanschap en een constructieve benadering.