我想创建一个列,它基本上显示 excel 电子表格中数据的数据类型,即任何给定单元格中的数据是字符串、整数还是浮点数等。 目前,我正在使用模拟数据进行测试,并希望最终将其用于具有更多字段标题的较大 excel 文件。
我当前的高级方法如下:
- 读取 Excel 文件并创建数据帧
- 重新格式化此表,以创建我希望用数据类型(即如果是字符串、整数或浮点数(标记的所有数据的列,以及相应的字段标题。
- 创建一个"数据类型"列,其中包含由正则表达式字典中保存的相应数据类型填充的每条数据的这些标签
import os
from glob import glob
import pandas as pd
from os import path
import re
sample_file = 'C:/Users/951297/Documents/Python Scripts/DD\Fund_Data.xlsx'
dataf = pd.read_excel(sample_file)
dataf
FUND ID FUND NAME AMOUNT
0 10101 Holdings company A 10000
1 20202 Holdings company B 2000.5
2 30303 Holdings company C 3000
# Create column list of data attributes
stackdf= dataf.stack().reset_index()
stackdf = stackdf.rename(columns={'level_0':'index','level_1':'fh',0:'attribute'})
# Create a duplicate column of attribute to apply regex
stackdf_regex = stackdf.iloc[:,2:].rename(columns = {'attribute':'Data Type'})
# Dictionary of regex to replace values within the 'Data Type' column depending on the attribute
repl_dict = {re.compile(r'^[d]+$'):'Integer',
re.compile(r'^[a-zA-Z0-9_ ]*$'): 'String',
re.compile(r'[d]+.'): 'Float'}
#concatenate tables
pd.concat([stackdf, stackdf_regex], axis=1)
这是我希望将正则表达式应用于的重新格式化表:
index fh attribute Data Type
0 0 FUND ID 10101 10101
1 0 FUND NAME Holdings company A Holdings company A
2 0 AMOUNT 10000 10000
3 1 FUND ID 20202 20202
4 1 FUND NAME Holdings company B Holdings company B
5 1 AMOUNT 2000.5 2000.5
6 2 FUND ID 30303 30303
7 2 FUND NAME Holdings company C Holdings company C
8 2 AMOUNT 3000 3000
这是所需的输出:
index fh attribute Data Type
0 0 FUND ID 10101 Integer
1 0 FUND NAME Holdings company A String
2 0 AMOUNT 10000 Integer
3 1 FUND ID 20202 Integer
4 1 FUND NAME Holdings company B String
5 1 AMOUNT 2000.5 Float
6 2 FUND ID 30303 Integer
7 2 FUND NAME Holdings company C String
8 2 AMOUNT 3000 Integer
但是,以下代码生成下表:
stackdf_regex = stackdf_regex.replace({'Data Type':repl_dict}, regex=True)
pd.concat([stackdf, stackdf_regex], axis=1)
index fh attribute Data Type
0 0 FUND ID 10101 10101
1 0 FUND NAME Holdings company A String
2 0 AMOUNT 10000 10000
3 1 FUND ID 20202 20202
4 1 FUND NAME Holdings company B String
5 1 AMOUNT 2000.5 2000.5
6 2 FUND ID 30303 30303
7 2 FUND NAME Holdings company C String
8 2 AMOUNT 3000 3000
也许我的正则表达式不正确,或者我在数据帧上应用正则表达式时缺乏理解。很高兴收到有关当前方法或我没有考虑过的其他合适/有效方法的任何建议。
注意:我希望最终扩展正则表达式字典以考虑更多数据类型,并且我知道检查每个单元格是否有较大数据集的模式可能效率不高,但我仍处于早期阶段。
您可以使用,np.select
,其中每个conditions
使用Series.str.contains
测试列的给定正则表达式Data Type
,并且choices
对应于条件:
conditions = [
df['Data Type'].str.contains(r'^d+$'),
df['Data Type'].str.contains(r'^[ws]+$'),
df['Data Type'].str.contains(r'^d+.d+$')]
choices = ['Interger', 'String', 'Float']
df['Data Type'] = np.select(conditions, choices, default=None)
# print(df)
index fh attribute Data Type
0 0 FUND ID 10101 Interger
1 0 FUND NAME Holdings company A String
2 0 AMOUNT 10000 Interger
3 1 FUND ID 20202 Interger
4 1 FUND NAME Holdings company B String
5 1 AMOUNT 2000.5 Float
6 2 FUND ID 30303 Interger
7 2 FUND NAME Holdings company C String
8 2 AMOUNT 3000 Interger