在不同的linux帐户上使用ipython:命令被卡住



我在一个linux帐户上安装了miniconda3,然后创建了一个环境py37,安装了所有需要的包,并能够从第二个帐户启动ipython并导入我想要导入的包:hail。为此,我将miniconda3文件夹中的所有权限更改为777。不知怎的,当在第二个帐户上运行时,命令会被卡住,但当在安装了miniconda3的初始帐户上执行时,它会成功运行:

import hail as hl
---> mt = hl.balding_nichols_model(n_populations=3, n_samples=50, n_variants=100)
mt.count()

中间命令被卡住了。没有错误,只是没有返回。当我在原始帐户上运行hl.balding_nichols_model时,它也会给我一个警告(但运行成功,在mt.count()中给出结果(:

WARN NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的中使用内置java类

问题是,在另一个命令失败的帐户上,我安装了Hadoop。所以,我有点怀疑它在某种程度上是相关的。我完全被卡住了,所以如果有任何建议,我将不胜感激。我需要这样做——在一个帐户上安装miniconda3,然后从另一个帐户访问它——因为在第一个帐户上我有TB的空闲数据,但在第二个帐户上是4Gb,不幸的是它无法进一步扩展。有了miniconda3,我会很快超越极限。

关于实际软件的其他信息可以在这里找到:

https://hail.is/docs/0.2/getting_started.html#installation

更新

我在节点上的conda上单独安装了python37,但不知怎么的,它也不起作用,所以这不是权限的问题,现在问题仅限于特定的linux帐户。我安装了spark2.4,但这并没有解决问题。因此,python脚本中的中间命令被卡住了,我甚至不知道如何获得log输出,也不知道那里发生了什么。

"卡住"问题的答案可以在这里找到:

https://discuss.hail.is/t/spark-2-4-4-gets-stuck-in-initialization-phase/1178

我在Hail论坛上问了这个问题,然后在我们解决了这个问题后回答了自己。结果是空间问题:当您正在处理的分区没有足够的空间时,hadoopspark日志应该重定向到不同的地方。

相关内容

  • 没有找到相关文章

最新更新