Azure Data Explorer接收时的逻辑



我有数据从事件中心流到Azure数据资源管理器。我们配置了一个保存所有数据的主表。在接收到主表后,我们创建了几个具有主表的部分数据的子表。例如

事件中心我们收到以下JSON数据

{
TIME:'T'
data: [
{
"ABC" : 1234,
"DEF" : 1235,
"GHI" : 1236
},
{
"ABC" : 1223,
"DEF" : 1236,
"GHI" : 12
},
{
"ABC" : 2213,
"DEF" : 1235,
"GHI" : 1236
}]
} 

在将这些数据摄入到主Raw表中后,我们有一些摄入时间策略,这些策略将扩展此JSON并摄入到下表格式的子表中。

TIMEINUTCABC
T1234
T1223
T2213

我假设通过;摄取时间策略";您指的是更新策略。对于您正在描述的场景(删除重复记录(,一种更好的方法是物化视图(查看示例中的"重复数据消除"(。

关于Q.2,这取决于更新策略是否是事务性的,如果是,它将影响对原始表的接收,因为在所有更新策略成功结束之前,接收不会提交,如果不是事务性的则不会产生重大影响。

最新更新