对于owncloud(或nextcloud(项目，我们需要添加大量的存储空间，我一直在检查所有选项，例如：CEPH，Openstack Swift/Cinder，GlusterFS，SDFS和Tahoe-lafs。
通过这项服务，我们希望用户添加许多相同的文件，这就是为什么重复数据删除对我们来说非常重要的原因。到目前为止，集群存储数据重复数据删除的唯一解决方案是SDFS和Tahoe-lafs。然而，我们担心的是这两个是Java和Python，会对CPU造成很大的伤害。(*是的，重复数据删除可能意味着更多的 RAM 和 CPU(
也许你们中的一个人有更好的解决方案？*重复数据删除文件系统(例如 ZSF(将无法工作，因为数据存储在多台计算机(HA 群集(上。
这不是
我认为您正在寻找的完整解决方案，而是用于 Node 的开源重复数据删除库.js具有用 C++ 编写的本机绑定和用 Javascript 编写的参考实现：
https://github.com/ronomon/deduplication
如果您可以使用 LSM 树支持的 KV 存储自行实现索引，则应该足够快。