如何获得代表文件集合的校验和?

Question

我想弄清楚如果给定一组文件，如果碰巧在这些文件中有任何更改。

我知道对于单个文件，您可以使用这种方法获得校验和值，您可以使用该校验和值来检查是否发生了更改。也就是说，对于给定的文件，这将返回相同的值，直到该文件中发生某些更改，然后它将生成不同的哈希值:

byte[] hashBytes;
using(var inputFileStream = File.Open(filePath))
{
var md5 = MD5.Create();
hashBytes = md5.ComputeHash(inputFileStream);
}
string s = Convert.ToBase64String(hashBytes);

是否有一种方法来获取哈希值的集合并从该集合中获取哈希值?

List<byte[]> hashCollection = SomeFunctionThatReturnsListByteArray();
//some approach that can create a hash of this

我的主要目标是检测是否发生了更改。我不在乎哪个文件被修改了。

Answer 1

散列不是最优的。但是，如果您不想将所有文件一起散列，您可以简单地将您的散列添加到内存流中并散列。

_{不考虑任何其他概念性或非概念性问题}

public static byte[] Hash(IEnumerable<byte[]> source)
{
using var hash = SHA256.Create();
var ms = new MemoryStream();
foreach (var bytes in source)
ms.Write(bytes, 0, bytes.Length);
ms.Seek(0, SeekOrigin.Begin);
return hash.ComputeHash(ms);
}

<子>注意

稍微少分配的方法

public static byte[] Hash(IList<byte[]> source)
{
using var hash = SHA256.Create();
var ms = new MemoryStream(source.Sum(x =>x.Length));
foreach (var bytes in source)
ms.Write(bytes, 0, bytes.Length);
ms.Seek(0, SeekOrigin.Begin);
return hash.ComputeHash(ms);
}

用于多文件散列(未经测试)

public static byte[] Hash(IEnumerable<string> source)
{
using var hash = SHA256.Create();
hash.Initialize();
// adjust to what is fastest for you, for hdd 4k to 10k might be appropriate.
// for ssd larger will likely help
// probably best to keep it under 80k so it doesn't end up on LOH (up to you)
const int bufferSize = 1024 * 50; 
var buffer = new byte[bufferSize];
foreach (var file in source)
{
using var fs = new FileStream(file, FileMode.Open, FileAccess.Read, FileShare.Delete, bufferSize, FileOptions.SequentialScan);
var bytesRead = 0;
while ((bytesRead = fs.Read(buffer, 0, bufferSize)) != 0)
hash.TransformBlock(buffer, 0, bytesRead, buffer, 0);
hash.TransformFinalBlock(buffer, 0, 0);
}
return hash.Hash;
}