PySimpleGUI |为熊猫pd.read_excel添加进度条

Question

我正在使用pd.read_excel来读取大型Excel文件。如何在系统读取文件时添加 GUI 进度条以通知用户进度？

我遇到了tqdm和PySimpleGui作为最常用的进度条。PySimpleGUI OneLineProgress Meter似乎是满足我需求的解决方案，但我太新手了，无法添加pd.read_excel。谁能教我如何解决这个问题？谢谢

for i in range(1000):   # this is your "work loop" that you want to monitor
sg.OneLineProgressMeter('One Line Meter Example', i + 1, 1000, 'key')

Answer 1

由于该函数缺乏任何跟踪进度的方法，因此使用read_excel并不容易，这与read_csv不同，您可以使用chunksize参数返回交互器，然后您可以根据您从总数中加载的块数更新进度。

这在 excel 文件的情况下不起作用，因此您唯一的选择是使用nrows和skiprows的组合。为此，我们首先需要找出文件有多少行。有一些简洁的方法可以做到这一点，开销很小(请参阅此处的答案)，但这些方法不适用于 Excel 文件，因此您要做的是加载工作表的一整列并以这种方式找出长度：

# Get the total number of rows
df_temp = pd.read_excel(sheet_name='balbla', usecols=[0])
rows = df_temp.shape[0]
# Now load the file in chunks of 1000 rows at a time
chunks = rows//1000 + 1
chunk_list = []
for i in range(chunks):
tmp = pd.read_excel(sheet_name='blabla', nrows=1000, skiprows=[k for k in range(i*1000)])
chunk_list.append(chunks)

# Update progress
sg.OneLineProgressMeter('Loading excel file', i + 1, chunks)
df = pd.concat((f for f in chunk_list), axis=0)

这应该有效，但会带来很大的开销。不幸的是，对于 excel 文件没有简单的方法可以做到这一点，您最好使用其他一些数据格式。