我想知道是否可以在jupyter/ipython笔记本中使用命令行参数填充sys.argv
(或其他结构),类似于通过python脚本完成的方式。
例如,如果我要运行一个 python 脚本,如下所示:
python test.py False
然后sys.argv
将包含参数False
。但是,如果我以类似的方式运行Jupyter笔记本:
jupyter notebook test.ipynb False
然后命令行参数丢失。有没有办法从笔记本本身中访问这个参数?
经过大量的搜索,我发现了非常繁琐的自定义库,但用几行代码解决了它,我认为这很流畅。 我使用 nbconvert 最终得到一个 html 报告作为输出,其中包含笔记本中的所有图形和 markdown,但像往常一样通过最小的 python 包装器接受命令行参数:
python文件test_args.py(正常使用命令行参数):
import sys,os
IPYNB_FILENAME = 'test_argv.ipynb'
CONFIG_FILENAME = '.config_ipynb'
def main(argv):
with open(CONFIG_FILENAME,'w') as f:
f.write(' '.join(argv))
os.system('jupyter nbconvert --execute {:s} --to html'.format(IPYNB_FILENAME))
return None
if __name__ == '__main__':
main(sys.argv)
笔记本包含:
import sys,os,argparse
from IPython.display import HTML
CONFIG_FILE = '.config_ipynb'
if os.path.isfile(CONFIG_FILE):
with open(CONFIG_FILE) as f:
sys.argv = f.read().split()
else:
sys.argv = ['test_args.py', 'input_file', '--int_param', '12']
parser = argparse.ArgumentParser()
parser.add_argument("input_file",help="Input image, directory, or npy.")
parser.add_argument("--int_param", type=int, default=4, help="an optional integer parameter.")
args = parser.parse_args()
p = args.int_param
print(args.input_file,p)
我可以像往常一样使用解析的参数运行 python 笔记本:
python test_args.py my_input_file --int_param 12
我倾向于将带有 argparse 调用的块粘贴到 python 包装器中,以便 python 脚本捕获命令行错误并且 -h 正常工作。
我发现有两个项目可以按照您的要求进行操作
- Papermill 将向您的笔记本添加一个单元格,其中包含您在命令行上传递给它的参数。所以这很简单,你在第一个单元格中定义默认值(应该有
parameters
标签) - nb参数化 这是一个类似的概念,但您不会用默认值标记您的单元格,它必须是第一个。
这里有一个很好的资源来讨论这个问题:https://github.com/jupyter/help/issues/218
如果目标是使用从命令行传递的可配置参数运行笔记本,我认为最简单的方法是使用环境变量,如下所示:
NB_ARGS=some_args jupyter nbconvert --execute --to html --template full some_notebook.ipynb
然后在笔记本中,您可以import os
和使用os.environ['NB_ARGS']
。例如,变量值可以是包含键值对或 json 的一些文本。
在 Jupyter 单元格的顶部,放置一行如下:
%%python - --option1 value1 --option2 value2 --etc
在您的示例中:
%%python - True
这将像在命令行中使用提供的参数一样运行您的脚本。
例:
%%python - --option1 value1 --option2 value2 --etc
import sys
if __name__ == '__main__':
print(sys.argv)
将输出:
['-', '--option1', 'value1', '--option2', 'value2', '--etc']
希望对您有所帮助。
我认为这个要点可能会帮助你: https://gist.github.com/gbishop/acf40b86a9bca2d571fa
这是对主要键=值对的简单参数解析器的尝试,这些参数对可以在命令行和 IPython 笔记本中使用。它支持笔记本 URL 中的查询参数和笔记本的"运行"命令。
使用args = parser.parse_args(args=[])
就可以了。
或者为了进行测试,您可以将其声明为类格式。
class Args:
data = './data/penn'
model = 'LSTM'
emsize = 200
nhid = 200
args=Args()
sys.argv
产生一个list
,所以我使用
sys.argv.append('hello')
在 Jupyter 笔记本中,它允许我附加额外的成员并假装我正在从命令行传递参数。
我尝试了上面列出的答案,并提出了不同的解决方案。
我最初的代码是
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required=True, help="path to input image")
ap.add_argument("-y", "--yolo", required=True, help="base path to YOLO directory")
ap.add_argument("-c", "--confidence", type=float, default=0.5, help="minimum probability to filter weak detections")
ap.add_argument("-t", "--threshold", type=float, default=0.3, help="threshold when applying non-maxima suppression")
args = vars(ap.parse_args())
我试图将一个类作为
Class Args():
image='photo.jpg'
yolo='yolo-coco'
confidence=0.5
threshold=0.3
args=Args()
但是进一步的代码片段产生了错误。
于是我vars(ap.parse_args())
后打印了args
,发现那是一本字典。
因此,只需为原始参数创建一个字典:
args={"image": 'photo.jpg', "yolo": 'yolo-coco', "confidence": 0.5,"threshold": 0.3}
解决方法是使 jupyter 笔记本从文件中读取参数。在命令行中,修改文件并运行笔记本。
我假设您只想将一些参数解析到笔记本中,但没有必要使用命令行。
如果你想解析命令,比如。
python script.py --a A --b B
可以在笔记本中使用以下代码:
cmd = '--a A --b B'
args = args = parser.parse_args(cmd)
对于parse_args
,您可以在此处找到更多信息。
一个简单而天真的解决方案是将以下代码片段放在程序的第一行:
import sys
sys.argv = "your expected command line arguments here".split()
执行此命令后,像 argparse
这样的包将运行良好。
因此,您可以在 jupyter 实验室服务器中运行脚本,而无需打开终端并键入参数。