Informatica并行作业在Teradata上造成mload问题



在ETL中有两个并行作业,这两个作业几乎同时运行启动和完成。完成后,他们会将一些细节更新到同一个查找表中。两个并行的作业都需要相同的时间才能完成。如果两个作业同时启动,那么这些作业在查找表上创建了一个mlock,并且两个作业都失败了。尝试释放mlock并再次运行它们。但这种情况仍在继续。因此,在第一个并行作业之前增加了20秒的等待时间。然后,两个并行作业都完成了任何问题,并将所需的详细信息更新到查找表中。

在这个用例中,添加等待时间不是一个理想的解决方案,因为以后需要添加一些并行作业(大约20-30个(。如果在每个并行作业之前都要添加等待步骤,则时间会急剧增加。因为对于第二个作业20秒,第三个作业40秒,依此类推。到到达第20个作业时,这将是一个很大的数字。

因此,寻找一个替代解决方案,而不是在每个作业之前添加一个等待步骤,以避免MLock问题?

确保每个作业都有自己不同的日志、工作和错误表名称。如果可能尝试并行运行的多个作业使用相同的名称(例如,默认生成的名称(,则更有可能遇到问题。

但是,如果更新仅针对";很少的细节";则MLOAD是错误的工具。

最新更新