HDFS:如何使写作原子化

Question

我有一些（奇怪的）用例，需要从多个映射器写入HDFS文件（侧面HDFS文件）。但我不确定在不破坏文件完整性的情况下是否允许这样做。请指教。谢谢！

Answer 1

HDFS本身没有提供满足这种需求的产品。在单个点上，一个文件仅支持一个活动编写器。

您可以在编写器中使用分布式锁定机制，在每个写入实例处追加和关闭（速度慢，但可以实现您想要的），或者单独写入并在结束时合并（在分布式环境中更快）。