描述
基本上我的问题是从CSV文件加载数据。我已经编写了一个代码，可以在给定列数的情况下加载数组(请参见示例(现在我想改进代码，这样我就可以更改要读取和加载的列数，而无需每次修改代码。换句话说，我希望我的代码能够动态地适应我选择的列的数量。让我给你举一个我现在的代码的例子。
代码示例
步骤：
1。在Tkinter中，我选择了要加载的文件，这部分代码返回file_path，其中包含几个文件路径。
2然后我定义CSV读取的有用参数。我创建了要用数据加载的数组，然后加载数据。
n = len(file_path) # number of files
# here I just determine the size of each files with a custom function, m is the maximum size
all_size , m = size_data(file_path,row_skip,col_to_read,delim)
# I create the arrays
shape = (n, m)
time = zeros(shape)
CH1 = zeros(shape)
# define CSV parameters before using loadtxt
row_skip = 5
delim = ';'
col_to_read = (0,1) # <= This is where I choose the columns to be read
# I load the arrays
for k in range(0, len(file_path)):
end = all_size[k] # this is the size of the array to be loaded.
# I do this in order to avoid the annoying error
# ValueError: could not broadcast input array from shape (20) into shape (50)
time[k][:end], CH1[k][:end] = loadtxt(file_path[k],
delimiter=delim,
skiprows=row_skip,
usecols=col_to_read,
unpack=True)
我的问题是，如果每个文件有3列，即col_to_read = (0,1,2)，我必须在创建和加载过程中添加一个新的数组CH2 = zeros(shape)。我想要一个动态适应我想要加载的列数的解决方案。只有col_to_read会被手动更改理想情况下我想在函数中实现这段代码，因为我做了很多数据分析，不希望每个程序都粘贴相同的代码。
第一个想法
我已经找到了一种动态创建给定数量的零数组的方法(请参阅此处(。这很直接。
dicty = {}
for i in file_path:
dicty[i] = []
这看起来不错，但现在我想让最后一行工作，不管变量的数量是多少。我相信有一种方便的方法可以调整我的代码并使用这个dicty，但有一些我不理解的地方，我被卡住了。
如果有任何帮助，我将不胜感激。
好吧，我找到了这个问题的解决方案，我几个星期以来就一直在想。在这里问它肯定有助于我把问题弄清楚。
我学到了更多关于词典的知识，因为这对我来说是一件新鲜事，我知道它非常强大。我可以用几行代码替换整个代码：
def import_data(file_path,row_skip,col_to_read,delim):
# file_path is all the PATH strings of CSV files
# row_skip just to start loading from certain row
# col_to_read = (0,1,2), where I choose the col to read
# delim = ';' the delimiter for my CSV files
dicty = {} # create ditcionary
for i in file_path: # in order to associate each file
dicty[i] = [] # with n columns
for k in range(0, len(file_path)):
dicty[file_path[k]] = loadtxt(file_path[k], delimiter=delim,
skiprows=row_skip, usecols=col_to_read,
unpack=True)
# it gives
# dicty = {'my_file1.csv': array([1,2,3]),
# 'my_file2.csv': array([2,4,6]),
# 'my_file3.csv': array([5,10,15])}
return dicty
这很简单。字典的第一个条目将填充所有列，依此类推，我不需要告诉字典我将给它多少col。然后，为了读取数据，我使用dicty.get(file_path[0])。这可能不是最优的，但我肯定可以用for循环创建变量，以摆脱dicty.get()方法。
告诉我你对它的看法，尤其是对计算时间的看法。有时我有20个文件，3行20万。也许我可以优化加载。