使用 Snowflake 的数据指标函数监控数据管道-编程实验室

原文：towardsdatascience.com/monitor-data-pipelines-using-snowflakes-data-metric-functions-0df71c46f04a?source=collection_archive---------8-----------------------#2024-04-15

使用谷歌 SRE 原则构建可信的数据平台

https://medium.com/@jesszhangcyz?source=post_page---byline--0df71c46f04a--------------------------------https://towardsdatascience.com/?source=post_page---byline--0df71c46f04a-------------------------------- Jess.Z

·发表于 Towards Data Science ·阅读时间 6 分钟·2024 年 4 月 15 日

–

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/dd9da14923ac82a0d2d10724afb39253.png

由 Dall-E 生成的图像

您是否遇到过客户首先因为数据事件而找上门？您的客户是否因为数据不可信而自己构建数据解决方案？您的数据团队是否在修复未检测到的数据质量问题上花费了不必要的长时间，而不是优先处理战略性工作？

数据团队需要能够全面了解其数据系统的健康状况，以便赢得利益相关者的信任，并与整个业务进行更好的沟通。

我们可以将数据质量维度与谷歌的站点可靠性工程（SRE）原则结合起来，衡量我们数据系统的健康状况。为此，评估一些对您的数据管道有意义的数据质量维度，并制定服务水平目标（SLOs）。

什么是服务水平目标？

本文中我们将使用的服务水平术语是服务水平指标和服务水平目标。这两个概念是借鉴自谷歌 SRE 书籍的原则。

服务水平指标— 精确定义的、定量衡量某个服务层面水平的指标。

我们在软件领域常见的指标有吞吐量、延迟和正常运行时间（可用性）。这些用于衡量应用程序或网站的可靠性。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/2a926ac827c514fef839a09eae44bb4a.png

典型事件

然后，这些指标被转化为受阈值限制的目标。软件应用的健康状况现在是“可度量的”，我们可以与客户沟通应用的状态。

服务水平目标：由 SLI 衡量的服务水平的目标值或范围。

我们直观地理解这些定量衡量标准和指标在典型用户应用中的必要性，以减少摩擦并建立与客户的信任。在构建数据管道时，我们需要采用类似的思维方式。

USE ROLE ACCOUNTADMIN;GRANT database role DATA_METRIC_USER TO role jess_zhang;GRANT EXECUTE data metric FUNCTION ON account TO role jess_zhang;## Useful queries once the above succeedsSHOW DATA METRIC FUNCTIONS IN ACCOUNT;DESC FUNCTION snowflake.core.NULL_COUNT(TABLE(VARCHAR));

DATA_METRIC_USER是一个数据库角色，这可能会让一些人感到困惑。如果你遇到问题，重新查看文档非常重要。最可能的原因是由于权限问题。

然后，简单地选择一个 DMF …

--Uniqueness SELECT SNOWFLAKE.CORE.NULL_COUNT(SELECT customer_id FROM jzhang_test.product.fct_subscriptions);

--Freshness SELECT SNOWFLAKE.CORE.FRESHNESS(SELECT _loaded_at_utc FROM jzhang_test.product.fct_subscriptions)<60;--replace60withyour calculated threshold value