我正在寻找从雪花或aws端或通过使用python或scala粘合jobs/lambda函数来设置警报通知。
我想比较两个表,这两个表包含源和目标中的表名和计数。
数据是通过aws粘合作业从s3加载到snowflake的,之后我想比较这两个表,以验证源和目标记录计数是否匹配,如果不匹配,请发送通知。
请让我知道你为完成这项任务所作的投入。
谢谢,Jo
如果您使用AWS Glue加载Snowflake中的表,您可以继续使用Glue来编排所需的结果:
- 让胶水加载表格
- 让Glue在Snowflake中运行一个存储过程,比较两个表。
- https://snowflakecommunity.force.com/s/article/How-to-Use-AWS-Glue-to-Call-Procedures-in-Snowflake
- 让AWS Glue通过SNS发送通知。
- https://aws.amazon.com/blogs/big-data/build-and-automate-a-serverless-data-lake-using-an-aws-glue-trigger-for-the-data-catalog-and-etl-jobs/
- 参见章节";使用Amazon CloudWatch事件进行监控和通知">
如果比较两个表的存储过程需要SQL,请随意添加一个新问题。