将大型列表拆分为较小的子列表

Question

C#相当新 - 坐在这里练习。我有一个文件，其中包含 1000 万个密码，列在我下载的单个文件中进行练习。

我想将文件分解为 99 个列表。停在99，然后做点什么。然后从中断的地方开始，对下一个 99 重复执行某些操作，直到到达文件中的最后一个项目。

我可以很好地完成计数部分，它是 99 处的停止，然后继续我离开的地方是我遇到麻烦的地方。我在网上找到的任何东西都与我想要做的事情不接近，我自己添加到此代码中的任何内容都不起作用。

如果我不清楚，我非常乐意分享更多信息。只是问，会回应，但是，我可能要到明天才能回复，这取决于现在的时间。

这是我开始的代码：

using System;
using System.IO;

namespace lists01
{
class Program
{
static void Main(string[] args)
{
int count = 0;
var f1 = @"c:tmp10-million-password-list-top-1000000.txt";           
{                
var content = File.ReadAllLines(f1);
foreach (var v2 in content)
{
count++;
Console.WriteLine(v2 + "t" + count);
}
}
}
}
}

我的最终目标是使用我拥有的文件中的任何项目列表来执行此操作。我只使用此密码列表，因为它很大，并且认为它对本练习有好处。

谢谢 基思

Answer 1

这里有几种不同的方法来解决这个问题。通常，我会建议使用代码中的ReadAllLines函数。权衡是您将整个文件一次加载到内存中，然后对其进行操作。

将读取所有行与 Linq 的Skip()和Take()方法结合使用，您可以将行切成这样的组：

var lines = File.ReadAllLines(fileName);
int linesAtATime = 99;
for (int i = 0; i < lines.Length; i = i + linesAtATime)
{
List<string> currentLinesGroup = lines.Skip(i).Take(linesAtATime).ToList();
DoSomethingWithLines(currentLinesGroup);
}

但是，如果您正在处理一个非常大的文件，将整个文件加载到内存中可能不切实际。另外，您可能不希望在处理行时使文件保持打开状态。此选项使您可以更好地控制在文件中的移动方式。它只是将所需的部分加载到内存中，并在您处理当前行集时关闭文件。

List<string> lines = new List<string>();
int maxLines = 99;
long seekPosition = 0;
bool fileLoaded = false;
string line;
while (!fileLoaded)
{
using (Stream stream = File.Open(fileName, FileMode.Open))
{
//Jump back to the previous position
stream.Seek(seekPosition, SeekOrigin.Begin);
using (StreamReader reader = new StreamReader(stream))
{
while (!reader.EndOfStream && lines.Count < maxLines)
{
line = reader.ReadLine();
seekPosition += (line.Length + 2); //Tracks how much data has been read.
lines.Add(line);
}
fileLoaded = reader.EndOfStream;
}
}
DoSomethingWithLines(lines);
lines.Clear();
}

在这种情况下，我使用了Stream，因为它能够查找文件中的特定位置。但后来我使用了StreaReader，因为它具有ReadLine()方法。