A Bird’s-Eye View of Data Validation
in the Drinking Water Industry
of the Netherlands
Mario Castro-Gama, Claudia Agudelo-Vera, and Dimitrios Bouziotas
Contents
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
1.2 Scope and Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
1.3 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2 Data Quality Control: Theory and Current Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.1 Principles of Data Quality Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.2 The Role of Validation in Data Quality Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.3 Data Quality Control in the Context of Drinking Water . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.4 Current Implementation of Data Validation Techniques by the Drinking Water
Companies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.5 Data Validation: Experiences of a Front Runner – Company D . . . . . . . . . . . . . . . . . . . . . 76
3 Literature Review on Faulty Data Detection Techniques for Water Utilities . . . . . . . . . . . . . . 76
3.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.2 Faulty Data Detection Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4 Application of Data Validation . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 84
4.1 Overview of the Data and Selection of the Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.2 Data and Proposed Data Validation for Company A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.3 Results Obtained . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4 Anomalies Within a Day . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.5 Best Practices and Issues in Data Validation Identified in the Case Studies . . . . . . . . 99
5 Discussion and Recommendations for Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.2 Recommendation Regarding Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.1 Specific Conclusions Based on the Cases Regarding Faulty Data Detection . . . . . . . 105
6.2 General Conclusions Regarding Data Quality Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
M. Castro-Gama (*), C. Agudelo-Vera, and D. Bouziotas
KWR Water Research Institute, Nieuwegein, Netherlands
e-mail: Mario.Castro-Gama@kwrwater.nl
Andrea Scozzari, Steve Mounce, Dawei Han, Francesco Soldovieri,
and Dimitri Solomatine (eds.), ICT for Smart Water Systems: Measurements and
Data Science, Hdb Env Chem (2021) 102: 65–110, https://doi.org/10.1007/698_2020_609,
© Springer Nature Switzerland AG 2020, Published online: 24 July 2020
65
in the Drinking Water Industry
of the Netherlands
Mario Castro-Gama, Claudia Agudelo-Vera, and Dimitrios Bouziotas
Contents
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
1.2 Scope and Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
1.3 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
2 Data Quality Control: Theory and Current Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.1 Principles of Data Quality Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.2 The Role of Validation in Data Quality Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.3 Data Quality Control in the Context of Drinking Water . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.4 Current Implementation of Data Validation Techniques by the Drinking Water
Companies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.5 Data Validation: Experiences of a Front Runner – Company D . . . . . . . . . . . . . . . . . . . . . 76
3 Literature Review on Faulty Data Detection Techniques for Water Utilities . . . . . . . . . . . . . . 76
3.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.2 Faulty Data Detection Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4 Application of Data Validation . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 84
4.1 Overview of the Data and Selection of the Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.2 Data and Proposed Data Validation for Company A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.3 Results Obtained . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4 Anomalies Within a Day . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.5 Best Practices and Issues in Data Validation Identified in the Case Studies . . . . . . . . 99
5 Discussion and Recommendations for Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.2 Recommendation Regarding Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.1 Specific Conclusions Based on the Cases Regarding Faulty Data Detection . . . . . . . 105
6.2 General Conclusions Regarding Data Quality Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
M. Castro-Gama (*), C. Agudelo-Vera, and D. Bouziotas
KWR Water Research Institute, Nieuwegein, Netherlands
e-mail: Mario.Castro-Gama@kwrwater.nl
Andrea Scozzari, Steve Mounce, Dawei Han, Francesco Soldovieri,
and Dimitri Solomatine (eds.), ICT for Smart Water Systems: Measurements and
Data Science, Hdb Env Chem (2021) 102: 65–110, https://doi.org/10.1007/698_2020_609,
© Springer Nature Switzerland AG 2020, Published online: 24 July 2020
65