Snowflake-比较2个表,并发送不匹配的通知



我正在寻找从雪花或aws端或通过使用python或scala粘合jobs/lambda函数来设置警报通知。

我想比较两个表,这两个表包含源和目标中的表名和计数。

数据是通过aws粘合作业从s3加载到snowflake的,之后我想比较这两个表,以验证源和目标记录计数是否匹配,如果不匹配,请发送通知。

请让我知道你为完成这项任务所作的投入。

谢谢,Jo

如果您使用AWS Glue加载Snowflake中的表,您可以继续使用Glue来编排所需的结果:

  • 让胶水加载表格
  • 让Glue在Snowflake中运行一个存储过程,比较两个表。
    • https://snowflakecommunity.force.com/s/article/How-to-Use-AWS-Glue-to-Call-Procedures-in-Snowflake
  • 让AWS Glue通过SNS发送通知。
    • https://aws.amazon.com/blogs/big-data/build-and-automate-a-serverless-data-lake-using-an-aws-glue-trigger-for-the-data-catalog-and-etl-jobs/
    • 参见章节";使用Amazon CloudWatch事件进行监控和通知">

如果比较两个表的存储过程需要SQL,请随意添加一个新问题。

最新更新