Longread - Een kijkje in de machine kamer van de NDFF

Hoe bouw je een natuurdatabank die klaar is voor de toekomst? Yuri van Midden geeft een kijkje achter de schermen van de digitale transitie van de NDFF.

>

Foto: Jan van der Straten, Saxifraga

Yuri van Midden, Product Owner NDFF.

"Veel van ons werk blijft onzichtbaar, maar juist achter de schermen leggen we de basis voor de NDFF van morgen."

Een fundament voor de toekomst

Met de start van de transitie van de NDFF is besloten de IT van de NDFF toekomstbestendig te maken. Dit brengt nieuwe technische vraagstukken met zich mee voor de mensen die aan de NDFF werken. We bouwen namelijk niet voor het hier en nu, maar voor de toekomst.

In deze longread raken we aan hoe we het data-platform voor de NDFF herbouwen, daarna beschouwen we hoe een veranderde werkwijze zorgt dat we het platform stabiel beheren, en kijken we wat een transitie naar een cloud-omgeving betekent voor de NDFF. Dit geeft een kijkje in de machinekamer en de uitdagingen die komen kijken bij de IT-transitie.

Van maatwerk naar een stevig fundament

Als we kijken naar de NDFF zoals die voorheen gebouwd werd, is dat een stuk breder ingestoken dan het platform waar we vandaag de dag naartoe bewegen. Om onderzoekers - en eigenlijk iedereen die iets met natuurdata van doen had - goed te voorzien werd voor specifieke data-vragen een nieuw component of script gebouwd. Dit gebeurde niet alleen voor de uitvoer van data, maar ook de inname. Denk aan producten als de Verspreidingsatlas, QuickScanhulp, API’s voor het CBS en Rijkswaterstaat, rapportageservices en andere export-tools.

Dat betekende dat de NDFF de mogelijkheid had een breed palet aan inname en uitleverroutes te faciliteren, maar dit resulteerde ook in een breed palet van componenten die als geheel op den duur moeilijk te onderhouden is. Zie het als het maken van bruggen over een rivier: eentje voor het autoverkeer, nog een brug voor fietsers, een brug voor treinverkeer, nog een voor bussen, voetgangers, skateboarders, enzovoorts. Alle unieke vervoersmogelijkheden en bijhorende bruggen om de rivier over te steken zijn heel fijn, maar het geheel onderhouden wordt op den duur erg intensief.

Terug naar de kern

Daarom is bij de start van de transitie goed gekeken naar waar we werkelijk behoefte aan hebben voor een 'natuurregister voor Nederland'. Er is gekeken naar waar een natuurregister in de kern aan moet voldoen, en welke eisen en verwachtingen we daaraan gaan stellen. Met name de kern van het register simpel, duurzaam en stabiel maken is hierin de grote uitdaging. In de vergelijking van het bouwen van de bruggen over de rivier: in dit geval zouden we graag al het verkeer over één degelijke en ruime brug willen kunnen voeren.

Een aantal van die kernwaarden die destijds gedestilleerd konden worden, zijn:

  • Duurzame inrichting - de databank wordt gebouwd in een ruime jas om in te kunnen groeien, zonder veel ruimte op voorhand in te hoeven kopen.
  • Onafhankelijk - gebouwd met de mogelijkheid de databank altijd te kunnen verplaatsen naar een ecosysteem (lees: cloudprovider) naar keuze.
  • Veilig - data die onder strikte voorwaarden alleen ontsloten mogen worden aan bepaalde afnemers, hebben we aantoonbaar ook alleen aan die afnemers ontsloten.
  • Auditbaar - de systemen die we bouwen en de keuzes voor de infrastructuur zijn terug te vinden in de code. Dat betekent dat we op elk moment kunnen terugvinden wat de staat van het systeem was, gewoon door naar de code te kijken.
  • Performant - de NDFF krijgt verschillende schaalgroottes aan datavragen binnen, die we technisch gezien allemaal binnen afzienbare tijd moeten kunnen behandelen.

Eén databank, uiteenlopende informatiebehoeften

Dit zijn best grote eisen om aan te kunnen voldoen. Een voorbeeld. Op de natuurdata zijn verschillende onderzoeken te doen. Sommigen zijn geïnteresseerd in een heel specifiek gebied over een korte periode, anderen willen graag een trendanalyse maken over het hele Nederlandse grondgebied heen of meerdere decennia. Voor een technisch systeem zijn dit twee compleet verschillende vraagstukken.

"Data moet snel en accuraat zijn indien een van onze applicaties of stakeholders deze nodig heeft."

- Luuk Barten Solution Architect NDFF

"Waarnemingen komen uit verschillende bronnen en kunnen verschillen in kwaliteit," vertelt Luuk Barten, Solution Architect. "Daarnaast gaat het om een gigantisch grote hoeveelheid data die je in kleine porties beschikbaar kan stellen voor verwerking of bijvoorbeeld het weergeven op een kaart. Naast de basisgegevens van de waarneming zelf - locatie, soort, media en veel metadata - slaan we ook de kwaliteit en de status van een waarneming op. En omdat de data auditbaar moet zijn is het van belang om een historie van wijzigingen in al deze data bij te houden. Daarnaast moet de data snel en accuraat zijn indien een van onze applicaties of stakeholders deze nodig heeft."

Waarom het fundament opnieuw is opgebouwd

De architectuur van de oudere NDFF is stabiel en degelijk, maar is op de toekomst niet geschikt om snel mee te kunnen groeien met het dynamische eisenpakket en de schaalgrootte van de data. Daarom is de conclusie getrokken om het volledige dataplatform eens opnieuw te bekijken, en dan vervolgens ook opnieuw te implementeren. Daar zijn we een aantal jaar geleden mee begonnen.

Luuk: "Bijvoorbeeld om waarnemingen te verkennen met de Flora Fauna Verkenner, te valideren via het validatie portaal, automatisch te valideren bij een grote import of te exporteren voor een onderzoeker (...) is het van belang dat de systemen die data opslaan en beheren goed op elkaar zijn afgestemd. Dit doen we door oude systemen te moderniseren of te vervangen met toekomst bestendige nieuwe systemen waarmee we nog meer waarnemingen kunnen huisvesten."

Al met al een vrij grote exercitie om het dataplatform toekomstbestendig te maken en de veranderende vraag naar data in de toekomst te kunnen waarborgen. Dat vergt ontzettend veel aandacht, zorgvuldigheid en een beetje souplesse.

Veilig, beheersbaar en herhaalbaar

Om de NDFF toekomstbestendiger te maken hebben we niet alleen het dataprobleem moeten tackelen, er is ook een hele verandering in de werkwijze bij komen kijken. Waar we vroeger de mogelijkheid hadden om een klantvraag te beantwoorden met een extra scriptje op de server dat een data-levering klaarzet, is dat nu niet zo vanzelfsprekend meer. In principe zou het dataplatform antwoord moeten kunnen geven op de vragen die voorbijkomen.

Dat dataplatform kun je eenvoudig verkrijgen: het is bij wijze van spreken zo simpel als een bestelling doen bij een webshop. Echter is de werkwijze achter deze actie niet herleidbaar om later nog eens te doen bij een andere IT-leverancier, of zelfs een extra omgeving (denk aan een test-omgeving). Daarom vatten we de hele NDFF-infrastructuur in een receptenboek dat we Infrastructure as Code (IaC) noemen.

Cloud-ontwikkelaar bij de NDFF Herman Hardenbol legt uit: "NDFF heeft niet alleen een publiekstoegankelijke productie omgeving, maar er is ook een soortgelijke omgeving voor het accepteren van nieuwe gebruiksmogelijkheden en een omgeving ter ondersteuning van het ontwikkelen van de software zelf."

Het grote voordeel van de omgeving beschrijven in code is de herhaalbaarheid: dezelfde definitie levert telkens een identieke omgeving op."

- Herman Hardenbol, Cloud-ontwikkelaar NDFF

"Het grote voordeel van de omgeving beschrijven in code is dus ook de herhaalbaarheid: dezelfde definitie levert telkens een identieke omgeving op, waardoor verschillen tussen ontwikkeling, acceptatie en productie – ook wel “configuration drift” [EH6] genoemd - worden voorkomen. Daarnaast versnelt IaC het opzetten van omgevingen enorm wat handmatig tientallen clicks en veel wachttijd zou kosten, gebeurt nu met één commando."

Als we dus een nieuwe functionaliteit testen in een test-omgeving, kunnen we met aardig grote zekerheid zeggen dat de functionaliteit ook op de productie-omgeving werkt. De omgevingen zijn qua platform namelijk identiek.

Dat heeft nog een voordeel. Herman: "De gehele infrastructuur is geborgd in versiebeheer en beoordeelbaar: wijzigingen worden in versiebeheer bewaard, besproken in pull requests (voorstel tot wijziging, red.) met minimaal één collega en bij problemen teruggedraaid zoals bij gewone code wijzigingen. Dat maakt IaC documentatie in zichzelf: het IaC codebestand beschrijft exact wat er draait. We gebruiken het als basis om de infrastructuur bij te werken met geautomatiseerde CI/CD-pipelines." Zo beschrijft de documentatie precies hoe onze omgeving eruitziet, en hebben we middelen om de infrastructuur aan te passen met een code-update.

Dit maakt het mogelijk om door de mutaties in de code altijd zien welke keuzes we gemaakt hebben, en de samenstelling van de infrastructuur weer af te spelen. In theorie is het platform dan online - zonder te veel gedoe - op elke denkbare cloud-omgeving.

Hoe helpt de cloud daarbij?

Een van de trends van de laatste jaren is dat alles in de cloud zou moeten draaien. De belofte van de cloud is altijd geweest dat als er geen performance nodig is om het systeem te draaien, je dat systeem kan afschalen of zelfs helemaal uit kan zetten. Deels klopt dit, maar het kan tegelijk ook een valkuil zijn.

Een gevaarlijke aanname is dat als de oude infrastructuur op servers één op één wordt overgezet naar de cloud, het goedkoper is. Dat is niet zo, werken in de cloud vergt vooral een fundamenteel andere manier van nadenken.

Wat we bij de NDFF doen is een cloudplatform opstarten met een zogeheten orkestrator (Kubernetes), en die belasten met het organiseren van de benodigde ingrediënten in de cloud. Soms hebben we een sterke server nodig, soms helemaal niet, en Kubernetes regelt dat voor ons. Zie het als het contolemechanisme van de brug over de rivier, de brug moet misschien open kunnen voor het doorlaten van scheepvaart, er moeten wissels omgezet worden om de treinen te laten rijden, maar de rest van de tijd hoeft er niet veel te gebeuren.

Deze orkestrator is een cloud onafhankelijk platform. Als we nu de NDFF installeren op Microsoft Azure, dan kunnen we dat met niet heel veel effort overzetten op de cloud van Google, of nog beter: een volledig Europees alternatief.

Vervolgens kunnen we nadenken over welke logische blokken we willen inzetten op die cloud. Waar je vroeger een hele server kocht, denk je nu na over de functionele elementen in een technisch landschap. Dit kan werkelijk van alles zijn: opslagruimte voor foto's bij waarnemingen, een componentje dat e-mails kan sturen naar gebruikers, een data-transportcomponent dat met een gigantische bandbreedte data van A naar B kan krijgen, verzin het en het is er. Echter, zodra je het componentje installeert, gaat ook de geldteller lopen.

Dat is enerzijds confronterend - je ziet dat elk componentje daadwerkelijk geld kost - maar anderzijds helpt het juist grip op de zaak te hebben en spaarzaam om te gaan met de resources. Het wordt inzichtelijk dat een data-opslag per gigabyte afgerekend wordt, dus zal je gaan kijken hoe je dat een beetje opgeruimd kan houden. Je ziet dat componenten die veel rekenkracht nodig hebben in principe duurder zijn, maar als je ze uit zet stopt de geldteller ook weer. Bijkomend voordeel hiervan is dat hiermee ook onder controle gehouden kan worden hoeveel stroom de NDFF verbruikt.

Als we al het bovenstaande van de (Cloud) Infrastructuur als Code combineren met regels die bepalen wanneer we resources nodig hebben, krijg je het gevoel dat er heel veel controle is over het platform dat naar behoeven en verlangen uitgebreid (en opgeruimd) kan worden. En dat is ook zo.

Door met het hele ontwikkelteam van de NDFF eigenaarschap te nemen over het manifest dat beschrijft hoe het NDFF-platform er uit moet zien, zijn we voortdurend aan het ontwikkelen aan een platform dat voldoet aan die kernafspraken die we beschreven hebben. Sinds de start van de transitie zijn we elke infrastructuurwijziging op deze manier aan het documenten. Het manifest beschrijft precies welke cloud-componenten we inzetten, hoe die samenwerken, wanneer die aan staan en wanneer het ook weer opgeruimd mag worden. Dat manifest publiceren we bij de cloud- of hosting-provider en zo geschiedt de NDFF omgeving.

Bouwen aan de NDFF van morgen

Mocht de vraag rijzen over waarom er serieus tijd, kennis en kunde nodig is om de NDFF volwassener te maken als IT-organisatie - en de volgende versie klaar te stomen voor breed gebruik, dan geeft dit artikel een kijkje in de keuken.

De transitie van de NDFF betekent een organisatieverandering, maar net zo goed een IT-migratie. Alle interactie met de natuurdatabank gaat door een IT-laag heen, en die laag moet betrouwbaar en degelijk zijn.

Door ons dataplatform functioneel te beschouwen en de IT eromheen opnieuw te ontwikkelen voor de toekomst, bouwen we een duurzaam natuurregister voor Nederland. Door cloud-componenten in code te definiëren, rekening houdende met de kosten en functionele vragen die de databank moet kunnen beantwoorden, hebben we volledig grip op wat de IT van de NDFF precies behelst.

Zo hopen we de komende 20* jaar nog plezier te hebben van de natuurdatabank gemaakt voor Nederland.

*bij wijze van spreken.

Deel dit artikel