AWS Public Sector Blog
Using the cloud to advance collaborative water stewardship
The Torrent River in Newfoundland and Labrador. (Credit: John Sylvester)
Water is often a key indicator of climate variability and human impact. In the last 300 years, 85% of the world’s wetlands have been lost. A lack of available water quality data makes it difficult to provide decision support in water-related sectors such as food production, energy security, health, economic development, and climate change resilience.
Data is key to addressing current water challenges. The cloud can play a fundamental role in supporting organizations that are working toward solutions. Canadian non-profit organization DataStream provides an online platform, powered by Amazon Web Services (AWS), for sharing information about freshwater health. DataStream enables data sharing from diverse sources, including local efforts led by community groups, non-governmental organizations (NGOs), and Indigenous Nations.
The Lake Winnipeg Community-Based Monitoring Network, coordinated by the Lake Winnipeg Foundation (LWF), mobilizes volunteer water samplers across Manitoba in order to measure phosphorus concentration – the nutrient responsible for blue-green algal blooms on Lake Winnipeg.
“On-the-ground partners and volunteers collect samples at many of the smaller tributaries in the watershed, specifically in response to runoff events like the spring melt and heavy rains. This enables the identification of phosphorus hotspots where action can be targeted to improve the health of Lake Winnipeg,” said Chelsea Lobson, LWF programs director. “Our program is designed to generate useful information and not just more raw data. DataStream supports this process by providing a home for our dataset where it can be easily accessed by policy and decision-makers.”
The complexities of water data
Water quality data is a complex data type. It includes thousands of parameters and, for the data to be useful, each and every observation needs to be accompanied by detailed metadata.
“Across the country, people who are passionate about protecting their waterways are monitoring local rivers, lakes, and streams,” explains Carolyn DuBois, executive director of DataStream. “The data they collect is incredibly valuable but can be structured and stored in many different ways. DataStream works with monitoring groups to standardize their data, so that once it is uploaded it is comparable and interoperable with other datasets on the platform. This produces machine-readable data that can be used as the raw material for advanced research and AI.”
For example, The Healthy Rivers Ecosystem AssessmenT System (THREATS), a modelling tool developed by Greenland Consulting, can access up-to-date and standardized water quality data leveraging DataStream. Canada-based Edmonton Power Corporation (EPCOR) Utilities uses THREATS for ecosystem assessments and watershed management in the North Saskatchewan River Watershed in Alberta.
With the amount of data on DataStream growing by the week – there are currently more than 37 million data points collected by 248 organizations – DataStream relies on cloud technology to support its work. Their open access approach to data allows organizations to share locally relevant data points – everything from temperature to pesticides – that paint a picture of freshwater health.
DataStream is working with AWS to enhance the flexibility and scale of their platform, taking advantage of cloud-native serverless services for storage (Amazon S3); scaling and capacity provisioning (AWS Lambda, Amazon API Gateway, AWS Step Functions, Amazon SNS, Amazon SQS, Amazon CloudFront); long running compute (AWS Fargate); databases (Amazon Aurora, Amazon DynamoDB); security (AWS Security Hub, AWS WAF); and observability (Amazon CloudWatch, AWS X-Ray). DataStream is 100% serverless, reducing its CO2 impact compared to what it would have emitted using traditional architectures. Using the AWS Cloud, DataStream was also able to stand up a new infrastructure to manage extract, transform, and load (ETL) data pipelines from municipal and provincial governments. This process took only a week, as opposed to months of building out a traditional on-premises architecture.
“We know that accessing standardized data can be a significant burden for researchers and policy-makers,” says DuBois. “We have been told by researchers working on watershed models that up to 50% of their time can be spent finding and formatting data, before they can get down to their real work. This cycle of hunting and formatting data is repeated by researchers across the country, who may be working on the same datasets.”
A group monitors water at Lake Ontario in Toronto. (Credit: Gordon Shallard-Brown)
DataStream allows groups of all sizes to access essential water information, from community monitoring initiatives and Indigenous and academic organizations to governmental and international entities. These groups, in turn, use the data in a wide variety of ways to advance freshwater protection across Canada.
The Government of the Northwest Territories (GNWT)-Wide Community-based Water Quality Monitoring (CBM) program oversees water quality monitoring in partnership with Indigenous organizations, governments, and Guardian programs across the territory. “The community-driven program collects water quality data from over 40 sites in 21 NWT communities,” explains Guylaine Ross, Watershed Partnership Scientist at the Government of the NWT Department of Environment and Climate Change. “Data is shared with communities first, before being uploaded to DataStream. Having all the data on the DataStream platform, where it’s easy to access and people know where to find it, is invaluable.”
A community effort
For other organizations and community members involved in local monitoring efforts, DataStream can serve a different purpose. While it may seem surprising, sometimes people who collect water data may not see the results of their efforts. This is because smaller organizations and projects often lack the resources and capacity to share data back with monitors and others in the local community.
“It can be incredibly empowering to provide people with relevant information about their local lakes, rivers, and streams,” said Larissa Holman, the director of science and policy at Ottawa Riverkeeper, a charitable organization that works to protect and improve the ecological health of the Ottawa River watershed and shares their data on DataStream. “Letting people dig into the data to try and understand water quality can be a great motivation to protect and improve their waterways.”
DataStream provides a place for communities to access data through a map-based search and user-friendly data visualization tools, increasing transparency and trust. This also makes sure the data is there for communities to use to meet their needs. DataStream allows organizations to see what data is already out there before designing new monitoring programs.
Atlantic Water Network (AWN) supports more than 100 water quality monitoring organizations throughout Atlantic Canada. “Accessing data on DataStream helps us to efficiently target our resources to support the groups that need it most,” explained AWN director David Hodd. “Having all the data in one place also helps monitoring groups see what work is already being done in their area, so they can find other organizations nearby and decide where is best to monitor and whether there are opportunities for collaboration.”
Provincial and local governments, academia, associations, and consultancies from across Canada have leveraged the DataStream platform as an input to regional and national-scale water assessments to inform research, decision making, and design of water monitoring programs.
“Leveraging AWS technology allows us to deliver a high-performance system, with all the tools we need built in,” explains DuBois. “This means we’re not building anything from scratch and the high-quality product means people keep coming back.”
“Water scarcity is a major issue around the world. At the end of last year, AWS announced that we will be water positive by 2030,” says John Davies, AWS public sector general manager for Latin America, Canada, and the Caribbean. “This means AWS will be returning more water to communities where we operate than we use in our direct operations. To do this, we will improve water efficiency, use sustainable water sources, return water for community reuse, and support water replenishment projects – data and measurement are key. We all need to innovate new ways to help conserve and reuse this precious resource and we are honored to work with DataStream to accelerate their mission.”
Learn more about AWS Water Stewardship.
Learn more about DataStream.
Learn more about AWS Public Sector Canada.
Se servir du nuage pour améliorer la gestion de l’eau
L’eau est souvent un indicateur clé de la variabilité du climat et de l’impact sur l’humanité. Au cours des 300 dernières années, 85 % des zones humides du monde ont disparu. Le manque de données portant sur la qualité de l’eau complexifie le processus décisionnel dans les domaines ayant des liens étroits avec l’eau, tels que la production alimentaire, la sécurité énergétique, la santé, le développement économique et la résilience face aux changements climatiques.
Pour affronter les défis actuels concernant l’eau, les données sont essentielles. Le nuage peut jouer un rôle fondamental en soutenant les organisations qui travaillent sur des solutions. DataStream, un organisme sans but lucratif canadien, offre une plateforme en ligne, propulsée par Amazon Web Services (AWS), servant au partage d’informations portant sur la santé des eaux douces. DataStream permet le partage de données provenant de diverses sources, y compris celles émanant d’efforts locaux menés par des groupes communautaires, des organisations non gouvernementales (ONG) et des nations autochtones.
Le Lake Winnipeg Community-Based Monitoring Network (Réseau de surveillance communautaire du Lac Winnipeg), dont la coordination est effectuée par la Lake Winnipeg Foundation (LWF), mobilise des échantillonneurs d’eau bénévoles à travers le Manitoba afin de mesurer la concentration de phosphore, soit le nutriment responsable des fleurs d’eau d’algues bleu-vert sur le lac Winnipeg.
“Nos partenaires et volontaires sur le terrain collectent des échantillons dans plusieurs petits affluents du bassin versant, plus particulièrement lors d’événements de ruissellement tels que la fonte printanière et les fortes pluies. Cela permet d’identifier les zones importantes de phosphore, là où des actions peuvent être ciblées pour améliorer la santé du lac Winnipeg,” a déclaré Chelsea Lobson, directrice des programmes de la LWF. “Notre programme est conçu pour générer des informations utiles, et non seulement plus de données brutes. DataStream soutient ce processus en fournissant un lieu où héberger nos ensembles de données pour qu’ils soient facilement accessibles par les responsables politiques et les décideurs.”
La complexité des données portant sur l’eau
Les données portant sur la qualité de l’eau sont complexes. Elles comprennent des milliers de paramètres, et pour que ces données soient utiles, chaque observation doit être accompagnée de métadonnées détaillées.
“À travers le pays, des gens passionnés par la protection de leurs cours d’eau surveillent les rivières, les lacs et les ruisseaux de leur région,” a expliqué Carolyn Dubois, directrice générale de DataStream. “Les données que ces personnes recueillent sont extrêmement précieuses, mais elles peuvent être structurées et stockées de maintes manières. DataStream travaille en collaboration avec les groupes de surveillance afin de normaliser leurs données. Ainsi, lorsque les données sont téléversées, elles sont comparables et interopérables avec d’autres ensembles de données se trouvant sur la plateforme. Cela permet de produire des données que les systèmes peuvent lire et qui peuvent servir de matière première pour les recherches avancées et l’intelligence artificielle.”
Par exemple, grâce à DataStream, le système Healthy Rivers Ecosystem AssessmenT System (THREATS, Système d’évaluation des écosystèmes des rivières saines), un outil de modélisation développé par Greenland Consulting, peut accéder à des données courantes et normalisées sur la qualité de l’eau. En Alberta, Edmonton Power Corporation Utilities (EPCOR) utilise THREATS pour l’évaluation des écosystèmes et la gestion du bassin versant de la rivière Saskatchewan Nord.
Puisque la quantité de données hébergées par DataStream augmente chaque semaine (il y a présentement plus de 37 millions de points de données recueillies par 248 organisations), la plateforme s’appuie sur la technologie infonuagique pour soutenir ses travaux. L’approche de DataStream favorise le libre accès aux données ; cela permet aux organisations de partager des données qui sont pertinentes au niveau local (allant de la température jusqu’aux pesticides) afin d’obtenir un portrait de la santé des eaux douces.
DataStream travaille avec AWS pour améliorer la flexibilité et l’évolutivité de sa plateforme. L’organisme tire parti de services sans serveurs et natifs au nuage pour le stockage (Amazon S3), la mise à l’échelle et la capacité (AWS Lambda, Amazon API Gateway, AWS Step Functions, Amazon SNS, Amazon SQS, Amazon CloudFront), le calcul de longue durée (AWS Fargate), les bases de données, (Amazon Aurora, Amazon DynamoDB), la sécurité (AWS Security Hub, AWS WAF) et l’observabilité (Amazon CloudWatch, AWS X-Ray). DataStream est 100 % sans serveur, ce qui réduit son impact CO2 par rapport aux émissions qui auraient été générées par une architecture traditionnelle. Grâce au Nuage AWS, DataStream a également pu mettre en place une nouvelle infrastructure pour gérer le processus d’extraction, de transformation et de chargement (ETC) des données provenant des administrations municipales et gouvernementales. Ce processus n’a nécessité qu’une semaine, tandis que la mise en œuvre d’une architecture sur site traditionnelle aurait nécessité des mois.
“Nous savons que l’accès à des données normalisées peut représenter une charge importante pour les chercheurs et les responsables politiques,” a mentionné Mme Dubois. “Des chercheurs travaillant sur des modèles de bassins versants nous ont dit que jusqu’à 50 % de leur temps peut être consacré à la recherche et au formatage des données avant qu’ils puissent s’attaquer à leur véritable travail. Ce cycle de recherche et de formatage des données est répété par des chercheurs dans tout le pays, alors qu’ils travaillent peut-être sur les mêmes ensembles de données.”
DataStream permet aux groupes de toutes tailles d’accéder à des informations essentielles portant sur l’eau, qu’il s’agisse d’initiatives communautaires de surveillance, d’organisations autochtones et universitaires ou d’entités gouvernementales et internationales. Ces groupes utilisent ensuite les données de diverses façons afin que la protection des sources d’eau douce progresse à travers le Canada.
Le programme Community-based Water Quality Monitoring (CBM, programme de surveillance communautaire de la qualité de l’eau), mis en place par le gouvernement des Territoires du Nord-Ouest (T.N.-O.), veille à la surveillance de la qualité de l’eau en partenariat avec des organisations, des administrations et des gardiens autochtones présents sur l’ensemble du territoire. “Ce programme, alimenté par les communautés, recueille des données sur la qualité de l’eau qui proviennent de plus de 40 sites se trouvant dans 21 communautés des T.N.-O.,” a expliqué Guylaine Ross, scientifique du Partenariat sur les bassins versants au sein du ministère de l’environnement et du changement climatique du gouvernement des Territoires du Nord-Ouest. “Les données sont premièrement partagées avec les communautés avant d’être téléversées sur DataStream. Le fait d’avoir toutes les données sur la plateforme DataStream, où elles sont facilement accessibles et où les gens savent où les trouver, c’est d’une valeur inestimable.”
Un effort collectif communautaire
Pour d’autres organisations et membres de la communauté impliqués dans les efforts de surveillance locale, DataStream peut jouer un rôle différent. Bien que cela puisse paraître surprenant, il arrive parfois que les gens qui collectent les données sur l’eau ne voient pas les résultats de leurs efforts. Les organismes et projets de petite taille manquent souvent de ressources et de capacités pour partager les résultats des données avec les surveillants et d’autres membres de la communauté locale.
“Être en mesure de partager avec les gens des informations pertinentes à propos de leurs lacs, rivières et ruisseaux locaux, ça peut s’avérer incroyablement stimulant,” a déclaré Larissa Holman, directrice des sciences et politiques de Garde-rivière des Outaouais, une organisation caritative d’Ottawa qui travaille sur la protection et l’amélioration de la santé écologique du bassin versant de la rivière des Outaouais et qui partage également ses données sur DataStream. “Permettre aux gens de fouiller dans les données pour tenter de comprendre la qualité de l’eau, cela peut constituer une très grande motivation pour protéger et améliorer leurs cours d’eau.”
DataStream permet aux communautés d’accéder aux données par le biais de recherches cartographiques et d’outils de visualisation faciles à utiliser, ce qui améliore la transparence et la confiance. Cela permet également d’assurer que les données soient disponibles pour que les communautés puissent les utiliser afin de répondre à leurs besoins. Ainsi, DataStream aide les organisations, avant qu’elles ne développent de nouveaux programmes de surveillance, à voir quelles données sont déjà disponibles.
Atlantic Water Network (AWN, réseau d’eau atlantique) soutient plus de 100 organisations de surveillance de la qualité de l’eau dans la région du Canada atlantique. “Avoir accès aux données sur DataStream nous aide à déployer nos ressources de manière efficace, afin d’assister les groupes qui en ont le plus besoin,” a expliqué David Hodd, directeur d’AWN. “Le fait d’avoir toutes les données au même endroit aide également les groupes de surveillance à voir quels travaux sont déjà en cours dans leur région ; ils peuvent ainsi trouver d’autres organisations à proximité et déterminer quels sont les meilleurs endroits d’où effecteur une surveillance, ou encore s’il existe des possibilités de collaboration.”
Des gouvernements provinciaux, des administrations locales, des universités, des associations et des cabinets-conseil de tout le Canada ont utilisé la plateforme DataStream pour contribuer aux évaluations menées sur l’eau, autant à l’échelle régionale que nationale, le tout afin de bien renseigner la recherche, les prises de décision et le développement de programmes de surveillance de l’eau.
“La technologie d’AWS nous permet d’offrir un système très performant, dans lequel tous les outils dont nous avons besoin sont déjà intégrés,” a déclaré Mme Dubois. “Cela signifie que nous n’avons pas à bâtir à partir de zéro, tandis que la haute qualité du produit fait en sorte que les gens y reviennent toujours.”
“Les pénuries d’eau sont un problème important à travers le monde. À la fin de l’année dernière, AWS a annoncé que l’entreprise aura un bilan d’eau positif d’ici 2030,” a déclaré John Davies, directeur général, Secteur public, AWS Amérique latine, Canada et Caraïbes. “Cela signifie que dans les communautés où nous sommes basés, AWS restituera plus d’eau que la quantité utilisée dans le cadre de nos activités directes. Afin d’y parvenir, nous allons améliorer l’efficacité de notre utilisation de l’eau, utiliser des sources d’eau durables, rediriger l’eau pour sa réutilisation dans la communauté et soutenir des projets de reconstitution des réserves d’eau. Pour cela, les données et les mesures sont essentielles. Nous devons tous innover et développer de nouveaux moyens permettant de conserver et de réutiliser cette ressource précieuse. Dans ce but, nous sommes honorés de travailler avec DataStream afin d’accélérer sa mission.”
En savoir plus sur AWS et la gestion de l’eau.
En savoir plus sur DataStream.
En savoir plus sur AWS Secteur public Canada.