LSF wget不与bsub一起工作



我正试图通过他们的lsf系统在服务器上运行一个脚本来提交作业。当我在不使用bsub的情况下运行wget时,wget成功地下载了我想要获得的文件。然而,当我在bsub中运行相同的命令时,作业会运行,但无论我允许作业运行多长时间,wget都会被卡住(下载文件应该只需要大约10秒)。以下是我运行过的命令:

wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one runs no problems.
bsub -q short -J wgettest -oo wtest.out -eo wtest.err wget ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz #This one does not work. :(

作业的stderr文件如下

--2012-07-05 20:57:59-ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftp/data/NA19238/sequence_read/ERR000018.filt.fastq.gz=>`ERR000018.filt.fastq.gz'正在解析ftp跟踪。ncbi.nih.gov.…130.14.250.10正在连接到ftp跟踪。ncbi.nih.gov | 130.14.250.10 |:21…已连接。以匿名身份登录。。。登录不正确。

有人有什么建议吗?提前谢谢。

在beowulf集群中,工作节点与外部网络的连接被切断是标准做法。当您使用bsub提交时,您的作业正在工作节点上运行,因此它将无法访问internet。这就是为什么您必须始终通过其中一个头节点连接到集群的原因。通常,在提交作业之前,您应该在head节点上手动下载任何需要的文件(不带bsub)。如果你必须能够从工作节点下载一些东西,那么某种隧道可能是可能的,但你必须与集群管理员谈谈这一点。

执行命令的机器很可能没有Internet访问权限。

这些命令在分配资源后在节点上运行。

检查您是否有一个可以与系统耦合的代理,然后通过它执行wget。

最新更新