暂存空间与主节点磁盘空间中的正常磁盘空间有何不同?



我是 HPC 的新手,我正在努力设置暂存空间。在我正在使用的集群中,我需要使用 SLURM 工作负载管理器设置暂存空间。我正在为以下问题而苦苦挣扎?

  • 暂存空间与主节点中的正常磁盘空间有何不同?

  • 暂存空间设置过程是否因集群而异?

  • 是否可以在模拟仍在进行时将文件从暂存空间复制到主节点? 是否可以将文件从暂存空间传输到我的外部硬盘,而无需将文件复制到我的本地主节点磁盘空间? 还是这些东西因集群而异?因为我尝试了从头开始的模拟。为此,我使用 SLURM 最初将输入文件复制到暂存文件夹,然后将时间步文件定向到暂存文件夹,一旦仿真完成,时间步输出文件将复制到主节点磁盘空间。在模拟过程中,我试图访问暂存文件夹中的时间步输出文件。但是,我在暂存空间的任何地方都看不到输出文件。但是,一旦模拟结束,我就能够看到主节点中的文件。我对此真的很困惑。

对不起,如果这些问题听起来很愚蠢。我只是对 HPC 完全陌生。请随时提出任何问题。

谢谢

公羊

在维护大型共享集群时,经常出现的问题是人们倾向于存储大量数据,并且不会自己清理。解决此问题的一种方法是限制人们可以存储在其个人文件夹中的数据量(例如 500GB(。这有一个非常明显的问题,即当您处理大量数据时,您不能使用集群。通常,这是通过所谓的暂存空间来解决的。在暂存空间上,用户通常可以存储大量数据(例如8TB(,但是服务器的维护者可能会在这里设置一些规则(例如,文件在两周后自动删除(。

  • 暂存空间不同,因为管理员可能会在一段时间后删除文件。有时暂存空间有更好的硬件,使得在那里进行 IO 进程的速度略快。
  • 暂存空间通常已经设置好,例如可以在/scratch
  • (
  • 通常(推荐的方法是将所有输出写入暂存空间(也因为 IO 在这里可以更快(,当一切都完成后,将最终结果从头开始复制到您的主文件夹。要从一个地方复制到另一个地方,请查看scprsync文档,但是是的,这应该是可能的。我不知道为什么你看不到你的文件。

最新更新