20 March 2020

Data Quality Control

Data play a key role in decision-making and in supporting efficient systems. A growing number of companies now view data as a key organizational aspect that has to be properly managed. At the same time, drinking water systems increase in complexity and feature smarter elements, which in turn leads to data-richer operation environments for water services. Given this challenging context, the often-overlooked factor of ensuring high data quality and preventing errors in data streams becomes increasingly important. Data validation is an important part of data quality control. Despite the plethora of techniques and different operational cases, common patterns can be seen across organizations. Water companies largely face similar issues for data validation, and thus working together in these common topics facilitates and speeds up the implementation of consistent data quality control frameworks that work across multiple levels. No single solution fits all needs. Depending on the monitored event, different techniques with varying complexity can be applied, also with regards to the scope of validation.

Gegevens spelen een sleutelrol bij de besluitvorming en bij het ondersteunen van efficiënte systemen. Veel waterbedrijven erkennen data nu als een belangrijk aspect van de organisatie, dat goed moet worden beheerd. Tegelijkertijd neemt de complexiteit van drinkwatersystemen toe en ontstaan steeds meer data in en voor de operationele omgeving. Ook de datakwaliteit en het vermijden van fouten in datastromen worden steeds belangrijker, ook al wordt er nog niet altijd in de volle breedte naar dit inzicht gehandeld. Gegevensvalidatie is een belangrijk onderdeel van datakwaliteitscontrole. Ondanks de overvloed aan technieken en verschillende operationele cases, zijn er gemeenschappelijke patronen tussen organisaties te zien: waterbedrijven worden grotendeels geconfronteerd met vergelijkbare problemen voor gegevensvalidatie. Samenwerken aan deze gedeelde onderwerpen kan bijdragen aan de implementatie van consistente kaders voor gegevenskwaliteitscontrole die op meerdere niveaus werken. Er is niet één oplossing voor alle behoeften: afhankelijk van het gemonitorde gebeurtenis kunnen verschillende technieken met verschillende complexiteit worden toegepast, ook met betrekking tot de reikwijdte van de validatie.

Het bericht Data Quality Control verscheen eerst op De bibliotheek van KWR.