当代码有多行时,Jupyter 笔记本的响应很慢



我有一个问题要问jupyter笔记本。

当我将 663 行 python 代码复制并粘贴到 jupyter 笔记本时, 它显示的响应比只有几行代码的笔记本低得多。

有没有人遇到过这个问题? 有人知道解决方案吗?

没有任何关于你的代码的信息真的很难给你一个答案。 但是,请尝试控制输出。单次运行生成过多的输出可能会使内核过度杀伤。 此外,在单个单元格中运行近 700 行代码没有多大意义,您确定您使用了正确的工具吗? 有时一段代码可能会减慢所有会话的速度,如果您将执行分成较小的部分,则在多个单元格上,您会发现真正的瓶颈。

将其添加到笔记本,然后在执行单元格后单击链接。然后,您可以跟踪正在运行的内容的进度,并查看哪些语句导致运行缓慢。您还可以将代码拆分为多个单元格,以查看变慢的位置。

from IPython.core.display import display, HTML
#sc = SparkContext.getOrCreate()
from pyspark import SparkContext
sc =SparkContext()
spark_url = sc.uiWebUrl
display(HTML('''
<p>
<br />Spark connection is ready! Use this URL to monitor your Spark application!
</p>
<p>
<a href="{spark_url}">{spark_url}</a>
</p>'''.format(spark_url=spark_url)))

最新更新