当我尝试在AWS EMR Zeppelin with Spark中运行以下代码时:
%spark.pyspark
knn_imputer = KNNImputer()
pre_stage_1.iloc[:, :] = knn_imputer.fit_transform(pre_stage_1.toPandas())
我得到了以下错误:
Python process is abnormally exited, please check your code and log.
pre_stage_1是一个大约有1000000行数据集。
我该如何修复它?
我最近得到了这个错误，并通过重新启动Spark解释器来修复。
(为了调试，我注释掉了我的原始代码，只是尝试print('hi')，它给出了相同的错误，所以我知道这不是我试图运行的代码的问题)