HDFS不支持多写入器是什么意思?



HDFS中的文件可能由单个写入器写入。不支持多个写入器,也不支持在文件中的任意偏移位置进行修改。你说的单作者和多作者是什么意思?有人能解释一下吗?

HDFS实现单写多读模型。这意味着您可以让多个读取器读取HDFS上的文件,但只有一个写入器可以写入该文件。该模型使并发控制需求更容易实现。它还简化了数据一致性,并支持对托管在HDFS上的文件的高吞吐量访问。

请记住,HDFS中的writer只会追加到文件中。如果您有多个写入器(并发写入器),如何在不丢失数据、破坏文件内容和保证数据完整性的情况下实现内容追加?

这很好,可以实现高读吞吐量,但请记住HDFS在设计时并没有考虑并发支持。当写入器执行工作时,由于没有可用的UPDATEs,它最终将创建一个NEW FILE。因此,不建议基于HDFS实现任何类型的控制文件解决方案。

  • 用户或应用程序可以在HDFS中创建目录并存储这些目录中的文件。文件系统命名空间层次结构与大多数其他现有文件系统类似;一个人可以创造删除文件,将文件从一个目录移动到另一个目录,或重命名文件文件。
  • 对于更新任何文件,用户必须更新HDFS之外的文件并将它们重新加载到HDFS中,删除现有的。附加是Hadoop2

相关内容

  • 没有找到相关文章

最新更新