将命令行参数传递给 jupyter/ipython notebook 中的 argv



我想知道是否可以在jupyter/ipython笔记本中使用命令行参数填充sys.argv(或其他结构),类似于通过python脚本完成的方式。

例如,如果我要运行一个 python 脚本,如下所示:

python test.py False

然后sys.argv将包含参数False 。但是,如果我以类似的方式运行Jupyter笔记本:

jupyter notebook test.ipynb False

然后命令行参数丢失。有没有办法从笔记本本身中访问这个参数?

经过大量的搜索,我发现了非常繁琐的自定义库,但用几行代码解决了它,我认为这很流畅。 我使用 nbconvert 最终得到一个 html 报告作为输出,其中包含笔记本中的所有图形和 markdown,但像往常一样通过最小的 python 包装器接受命令行参数:

python文件test_args.py(正常使用命令行参数):

import sys,os
IPYNB_FILENAME = 'test_argv.ipynb'
CONFIG_FILENAME = '.config_ipynb'
def main(argv):
    with open(CONFIG_FILENAME,'w') as f:
        f.write(' '.join(argv))
    os.system('jupyter nbconvert --execute {:s} --to html'.format(IPYNB_FILENAME))
    return None
if __name__ == '__main__':
    main(sys.argv)

笔记本包含:

import sys,os,argparse
from IPython.display import HTML
CONFIG_FILE = '.config_ipynb'
if os.path.isfile(CONFIG_FILE):
    with open(CONFIG_FILE) as f:
        sys.argv = f.read().split()
else:
    sys.argv = ['test_args.py', 'input_file', '--int_param', '12']
parser = argparse.ArgumentParser()
parser.add_argument("input_file",help="Input image, directory, or npy.")
parser.add_argument("--int_param", type=int, default=4, help="an optional integer parameter.")
args = parser.parse_args()
p = args.int_param
print(args.input_file,p)

我可以像往常一样使用解析的参数运行 python 笔记本:

python test_args.py my_input_file --int_param 12

我倾向于将带有 argparse 调用的块粘贴到 python 包装器中,以便 python 脚本捕获命令行错误并且 -h 正常工作。

我发现有两个项目可以按照您的要求进行操作

  • Papermill 将向您的笔记本添加一个单元格,其中包含您在命令行上传递给它的参数。所以这很简单,你在第一个单元格中定义默认值(应该有parameters标签)
  • nb参数化 这是一个类似的概念,但您不会用默认值标记您的单元格,它必须是第一个。

这里有一个很好的资源来讨论这个问题:https://github.com/jupyter/help/issues/218

如果目标是使用从命令行传递的可配置参数运行笔记本,我认为最简单的方法是使用环境变量,如下所示:

NB_ARGS=some_args jupyter nbconvert --execute --to html --template full some_notebook.ipynb

然后在笔记本中,您可以import os和使用os.environ['NB_ARGS']。例如,变量值可以是包含键值对或 json 的一些文本。

在 Jupyter 单元格的顶部,放置一行如下:

%%python - --option1 value1 --option2 value2 --etc

在您的示例中:

%%python - True

这将像在命令行中使用提供的参数一样运行您的脚本。

例:

%%python - --option1 value1 --option2 value2 --etc
import sys
if __name__ == '__main__':
    print(sys.argv)

将输出:

['-', '--option1', 'value1', '--option2', 'value2', '--etc']

希望对您有所帮助。

我认为这个要点可能会帮助你: https://gist.github.com/gbishop/acf40b86a9bca2d571fa

这是对主要键=值对的简单参数解析器的尝试,这些参数对可以在命令行和 IPython 笔记本中使用。它支持笔记本 URL 中的查询参数和笔记本的"运行"命令。

使用args = parser.parse_args(args=[])就可以了。

或者为了进行测试,您可以将其声明为类格式。

class Args:
  data = './data/penn'
  model = 'LSTM'
  emsize = 200
  nhid = 200
args=Args()

sys.argv产生一个list,所以我使用

sys.argv.append('hello')

在 Jupyter 笔记本中,它允许我附加额外的成员并假装我正在从命令行传递参数。

我尝试了上面列出的答案,并提出了不同的解决方案。

我最初的代码是

ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required=True, help="path to input image")
ap.add_argument("-y", "--yolo", required=True, help="base path to YOLO directory")
ap.add_argument("-c", "--confidence", type=float, default=0.5, help="minimum probability to filter weak detections")
ap.add_argument("-t", "--threshold", type=float, default=0.3, help="threshold when applying non-maxima suppression")
args = vars(ap.parse_args())

我试图将一个类作为

Class Args():
    image='photo.jpg'
    yolo='yolo-coco'
    confidence=0.5
    threshold=0.3
args=Args()

但是进一步的代码片段产生了错误。

于是我vars(ap.parse_args())后打印了args,发现那是一本字典。

因此,只需为原始参数创建一个字典:

args={"image":  'photo.jpg', "yolo":  'yolo-coco', "confidence": 0.5,"threshold": 0.3}

解决方法是使 jupyter 笔记本从文件中读取参数。在命令行中,修改文件并运行笔记本。

我假设您只想将一些参数解析到笔记本中,但没有必要使用命令行。

如果你想解析命令,比如。

python script.py --a A --b B

可以在笔记本中使用以下代码:

cmd = '--a A --b B'
args = args = parser.parse_args(cmd)

对于parse_args,您可以在此处找到更多信息。

一个简单而天真的解决方案是将以下代码片段放在程序的第一行:

import sys
sys.argv = "your expected command line arguments here".split()

执行此命令后,像 argparse 这样的包将运行良好。

因此,您可以在 jupyter 实验室服务器中运行脚本,而无需打开终端并键入参数。

相关内容

  • 没有找到相关文章

最新更新