我正在使用以下查询来填充我的事实表:
Select sh.isbn_l,sh.id_c,sh.id_s, sh.data,sh.quantity, b.price
from Book as b
inner join Sales as sh
on l.isbn=sh.isbn_l
最主要的是我想将表从特定时间加载到特定时间。因此,如果我今天加载,我将从今天开始获得所有记录,直到上次加载。
,如果我在下一天后的第二天加载它,我将从加载时间后至下一天开始获得数据。
我的意思是没有界定的行或数据。我应该怎么办 ?有什么想法吗?
预先感谢您
流(也许是任务(是您的朋友。
雪花流记录了表格数据捕获的三角洲(例如登台表(,包括插入和其他DML更改。流允许查询和消费一组更改对表,在行级别,两个交易点之间。
之间。在连续的数据管道中,当分期表和任何下游表格时,表流记录使用连续数据加载来自业务应用程序的数据,并准备使用SQL语句进行进一步处理。
雪花任务可以选择使用表流来提供一种方便的方法来连续处理新的或更改的数据。一个任务可以转换流的新行或变化的行。每次安排任务运行时,都可以验证流是否包含表(使用SYSTEM$STREAM_HAS_DATA
(的更改数据,并消耗更改数据或在不存在更改数据时跳过当前运行。
用户可以定义一个简单的树木状结构,该结构执行连续的SQL语句以处理数据并将其移至各种目标表。
https://docs.snowflake.com/en/user-guide/data-pipelines-intro.html