我使用MD5进行文件重复数据消除。这很好，因为这些文件来自可信的来源，而且它们不会故意利用MD5的缺点。
稍后，我可能会接受不受信任的文件，并对它们进行重复数据消除。我在维基百科上读过MD5的摘要，这个散列的质量似乎有很多缺点。通常建议使用SHA-1或更高版本。
SHA-1&SHA-256更长。我可以使用两个半异或来得到128位的答案，但这似乎效率很低。
是否有适合重复数据消除用例的建议128位散列？我知道它太小了，我可以继续使用MD5，但现在似乎已经开发出了另一种128位的替代方案？
您可以使用剩下的128位来削减SHA-256或SHA-512。SHA-512在64位系统上的速度实际上要快30%到60%。在较小的摘要长度之外，安全性没有降低(128位摘要=针对预图像的128位强度和针对冲突的64位强度(。
另一个选项是SHAKE256。NIST将SHA-2的4个固定长度插入替换编码为SHA3-224、SHA3-256、SHA3-384、SAH3-512，但底层算法支持任意比特长度。术语SHAKE256适用于用于任意大小输出的底层算法。使用SHAKE256可以得到128位甚至179位的输出。
尽管如此，我还是会考虑使用SHA-2重新哈希您的文件存储，以获得256位标识符，而所有文件都来自可信来源，然后在接受潜在的不可信数据之前，向全SHA-256系统迁移。