Python 性能问题 - 多个方法从特定的 Pickle 文件中读取相同的 Pandas 数据帧

Question

我们有多个方法从存储在本地目录中的特定/相同 - Pickle 文件读取相同的 Pandas 数据帧。创建唯一泡菜文件的代码如下：-

df_for_bokeh = pd.read_sql(sql_command,engine)
df_for_bokeh.to_pickle("./df_holoviewPlots.pkl")

来自读取 pickle 文件的方法的代码片段如下：-

df_for_bokeh = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh1 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh2 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh3 = pd.read_pickle("./df_holoviewPlots.pkl")

如上所示我对性能的担忧是 - 这会更好，还是我们应该将 DF 分成 4 个单独的文件来代替同一个 Pickle 文件。

我们不能有泡菜文件 - 未腌制只给 1 个数据帧 .我们至少需要 - 从一个 Pickle 文件中读取 4 个不同的数据帧，而且几乎同时读取。

Answer 1

是否有

原因不能执行以下操作：

1. 设置加载锁定状态
2. 加载日期一次
3. 根据需要深度复制到任意数量的对象https://docs.python.org/3.7/library/copy.html
4. 释放加载锁定状态

这将在 4 个不同的独立数据框中为您提供相同的数据。