Keep your datawarehouse simple

26 november 2018

De noodzaak voor bedrijven om te vernieuwen is nog nooit zo groot geweest. Cloud computing, nieuwe regelgeving, 24/7 beschikbaarheid voor online-klanten, teveel om op te noemen.

Keep your datawarehouse simple

Deze moeilijk te voorspellen veranderingen en de snelheid van de veranderingen stellen nieuwe eisen aan een IT-infrastructuur. En Business Intelligence (BI) is daar geen uitzondering op. Hoe blijf je flexibel? Hoe kun je snel schakelen door dankzij de juiste data de juiste beslissing te nemen? Houd het simpel! Eenvoud is dé voorwaarde voor snelheid en betrouwbaarheid. Daar geloven wij bij Biyond heilig in.

Even terug naar mijn studententijd

Tijdens mijn studie werktuigbouwkunde kreeg ik al te horen dat wanneer je een product of een onderdeel ontwerpt je direct rekening dient te houden met het productieproces waarin het tot stand komt. Design for Automation heette het vak. Alles dient erop gericht te zijn om in korte tijd, kwalitatief hoogwaardige producten te leveren. En dat tegen de laagst mogelijke kostprijs.

Softwareontwikkeling als proces

Bij softwareontwikkeling is iets vergelijkbaars aan de hand. Wanneer je tegenwoordig een product ontwikkelt, houd je rekening met hoe dit straks het beste in productie genomen en onderhouden kan worden. Waar eerder ontwikkeling en operatie strikt gescheiden waren, ligt nu de nadruk veel meer op de life-cycle van het product. DevOps en Continuous Delivery zijn ontwikkelmethoden die hieruit voortgekomen zijn.

Wanneer je nu in het bijzonder naar gegevensverwerking bij datawarehouses, BI en Business Analytics kijkt, valt op dat deze manier van ontwikkelen extra uitdagingen kent. Zo zijn veranderingen minder makkelijk door te voeren vanwege de grote datavolumes en is de omgeving per definitie complexer vanwege de vele verbindingen met andere systemen. Dat wil natuurlijk niet zeggen dat we het niet moeten doen.

De ontwikkeling van een datawarehouse wordt gaandeweg vaak lastiger

Je ziet in de praktijk vaak dat in het begin de ontwikkeling van een datawarehouse snel vordert en veel functionaliteit levert maar dat het gaandeweg steeds lastiger wordt om nieuwe zaken toe te voegen en wijzigingen door te voeren.

Voorkom een star en complex systeem

Hoe voorkom je dat een systeem star en complex wordt? Kies een andere benadering! Niet de functionaliteit moet leidend zijn in een BI-omgeving maar het proces. Stel data beschikbaar via een voorspelbaar, snel en eenvoudig aan te passen proces. Dat geeft ruimte om nieuwe functionaliteiten eenvoudiger toe te voegen, aan te passen en uit te faseren.  

Zodra je wijzigingen zonder veel moeite kan doorvoeren, is informatie eerder beschikbaar. Je kan sneller reageren en direct beslissingen nemen op basis van de juiste informatie op het juiste moment. Een vereiste voor een flexibele onderneming.

Wanneer het proces het uitgangspunt is, is er een aantal zaken die herzien moet worden. Dit doen we aan de hand van twee principes. Het KISS-principe, keep it simple & straightforward en het SoC-principe, oftewel Separation of Concerns. Beide principes zal ik toelichten.

KISS – Keep it simple & straightforward

Een goede ontwikkelaar realiseert zich dat een complexe oplossing meestal een slechte oplossing is. Complexiteit is vaak het gevolg van verkeerde keuzes. Bijvoorbeeld bij de keuze van technologie of bij de opzet van het proces. Er zijn natuurlijk meer oorzaken; een verkeerde inschatting van de verwachting van de klant of gebrek aan kennis of ervaring van de ontwikkelaar.

Precies doen wat nodig is

Het KISS-principe zegt: eenvoud is een voorwaarde voor betrouwbaarheid. De kunst? Oplossingen uitwerken die eenvoudig zijn in opzet én precies doen wat nodig is. Dit bereik je door enkel te leveren wat nodig is, niet meer en niet minder.

Stel dat een nieuw rapport of KPI wordt gevraagd, dan is het beter dat deze eenvoudig en heel goed in elkaar steekt dan dat deze alle denkbare features bevat maar nog niet zo goed is. Door op de eerste manier te werk te gaan:
·         Zie je eerder resultaat.
·         Zijn er minder correcties bij fouten.
·         Is er minder geïnvesteerd, als blijkt dat het tóch anders moet.

effectiveness.jpg

SoC – Separation of Concerns

Het andere principe wat je in een gegevensverwerkende omgeving goed kan toepassen, is Separation of Concerns. Het is een ontwerpprincipe waar je verschillende functies van elkaar scheidt en dat leidt tot eenvoud in ontwikkeling en onderhoud.

Valkuil: diverse bronnen te vroeg integreren

Veel datawarehouses zijn complex omdat verschillende bronnen te vroeg geïntegreerd worden. Soms worden zelfs nieuwe sleutels (business keys) en logica bedacht om data te integreren. Is dit wel de plek om het te doen? Het is meestal beter om deze taken of concerns ergens anders onder te brengen. Bij een metadatamanagement-systeem (MDM) bijvoorbeeld. Of door applicaties te integreren, via bijvoorbeeld een systeem dat gericht is op Enterprise Application Integration (EAI). Door brongegevens gescheiden te verwerken en later samen via één logisch model toegankelijk te maken, blijven concerns gescheiden. Technieken zoals data-virtualisatie maken dit mogelijk.

what_how2.jpg

Informatievoorziening in een flexibele onderneming

Wil je als onderneming snel inspelen op veranderingen in databronnen, dataverwerking en technologie? Dan is het essentieel om de genoemde principes toe te passen bij het ontwerp en de architectuur van het data-platform en de delivery pipeline.  

Het Biyond raamwerk voor snelle én flexibele dataverwerking

Biyond heeft als BI-specialist een raamwerk ontwikkeld dat we bij onze klanten inzetten om flexibel en snel gegevens te verwerken en aan te leveren voor alle denkbare toepassingen op het gebied van Business Intelligence, Corporate Performance Management en Business Analytics. Het raamwerk brengt de laatste technologische innovaties en onze best practices uit het veld samen. Dit levert onze klanten een verrassend eenvoudig en flexibel systeem op en dat is waar het uiteindelijk om gaat.

Wil je meer weten over onze werkwijze? Ik ben erg benieuwd hoe jullie te werk gaan en het lijkt me leuk om te sparren over de mogelijkheden.

Maikel Follon
Senior Consultant Business Intelligence

Terug