如何为单个系列生成频率表(或直方图)?例如,如果我有my_series = pandas.Series([1,2,2,3,3,3])
,我怎么能得到像{1: 1, 2: 2, 3: 3}
这样的结果——也就是说,每个值在Series
中出现多少次的计数?
也许是.value_counts()
?
>>> import pandas
>>> my_series = pandas.Series([1,2,2,3,3,3, "fred", 1.8, 1.8])
>>> my_series
0 1
1 2
2 2
3 3
4 3
5 3
6 fred
7 1.8
8 1.8
>>> counts = my_series.value_counts()
>>> counts
3 3
2 2
1.8 2
fred 1
1 1
>>> len(counts)
5
>>> sum(counts)
9
>>> counts["fred"]
1
>>> dict(counts)
{1.8: 2, 2: 2, 3: 3, 1: 1, 'fred': 1}
您可以在数据帧上使用列表理解来计算列的频率,例如
[my_series[c].value_counts() for c in list(my_series.select_dtypes(include=['O']).columns)]
细分:
my_series.select_dtypes(include=['O'])
仅选择分类数据
list(my_series.select_dtypes(include=['O']).columns)
将上面的列转换为列表
[my_series[c].value_counts() for c in list(my_series.select_dtypes(include=['O']).columns)]
遍历上面的列表,并将value_counts()应用于的每一列
@DSM提供的答案简单明了,但我想我应该为这个问题添加自己的输入。如果你看一下pandas.value_counts的代码,你会发现有很多事情在发生
如果你需要计算许多系列的频率,这可能需要一段时间。更快的实现是将numpy.unique与return_counts = True
一起使用
这里有一个例子:
import pandas as pd
import numpy as np
my_series = pd.Series([1,2,2,3,3,3])
print(my_series.value_counts())
3 3
2 2
1 1
dtype: int64
请注意,返回的物品是熊猫。系列
相比之下,numpy.unique
返回一个包含两个项的元组,即唯一值和计数。
vals, counts = np.unique(my_series, return_counts=True)
print(vals, counts)
[1 2 3] [1 2 3]
然后,您可以将这些内容组合到一个字典中:
results = dict(zip(vals, counts))
print(results)
{1: 1, 2: 2, 3: 3}
然后进入pandas.Series
print(pd.Series(results))
1 1
2 2
3 3
dtype: int64
用于具有过多值的变量的频率分布你可以折叠类中的值,
这里,employrate
变量的值过大,并且它的频率分布与直接的values_count(normalize=True)
没有意义
country employrate alcconsumption
0 Afghanistan 55.700001 .03
1 Albania 11.000000 7.29
2 Algeria 11.000000 .69
3 Andorra nan 10.17
4 Angola 75.699997 5.57
.. ... ... ...
208 Vietnam 71.000000 3.91
209 West Bank and Gaza 32.000000
210 Yemen, Rep. 39.000000 .2
211 Zambia 61.000000 3.56
212 Zimbabwe 66.800003 4.96
[213 rows x 3 columns]
values_count(normalize=True)
的频率分布没有分类,这里的结果长度是139(作为频率分布似乎没有意义):
print(gm["employrate"].value_counts(sort=False,normalize=True))
50.500000 0.005618
61.500000 0.016854
46.000000 0.011236
64.500000 0.005618
63.500000 0.005618
58.599998 0.005618
63.799999 0.011236
63.200001 0.005618
65.599998 0.005618
68.300003 0.005618
Name: employrate, Length: 139, dtype: float64
分类我们把所有值都放在一定范围内,即
0-10为1,11-20作为221-30为3,依此类推
gm["employrate"]=gm["employrate"].str.strip().dropna()
gm["employrate"]=pd.to_numeric(gm["employrate"])
gm['employrate'] = np.where(
(gm['employrate'] <=10) & (gm['employrate'] > 0) , 1, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=20) & (gm['employrate'] > 10) , 1, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=30) & (gm['employrate'] > 20) , 2, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=40) & (gm['employrate'] > 30) , 3, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=50) & (gm['employrate'] > 40) , 4, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=60) & (gm['employrate'] > 50) , 5, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=70) & (gm['employrate'] > 60) , 6, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=80) & (gm['employrate'] > 70) , 7, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=90) & (gm['employrate'] > 80) , 8, gm['employrate']
)
gm['employrate'] = np.where(
(gm['employrate'] <=100) & (gm['employrate'] > 90) , 9, gm['employrate']
)
print(gm["employrate"].value_counts(sort=False,normalize=True))
经过分类,我们有一个清晰的频率分布。在这里我们可以很容易地看到,各国的37.64%
的就业率在51-60%
之间和CCD_ 13的使用率在CCD_ 14 之间
5.000000 0.376404
7.000000 0.117978
4.000000 0.179775
6.000000 0.264045
8.000000 0.033708
3.000000 0.028090
Name: employrate, dtype: float64