13518219792
本篇文章为大家展示了从Excel到Python中最常用到的Pandas函数都有哪些，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
目前创新互联公司已为成百上千家的企业提供了网站建设、域名、虚拟主机、网站托管、企业网站设计、老边网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。本章主要讲的是数据的预处理，对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并，排序，数值分列，数据分组及标记等工作。
1.数据表合并
在Excel中没有直接完成数据表合并的功能，可以通过VLOOKUP函数分步实现。
在Python中可以通过merge函数一次性实现。
#建立df1数据表
df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male
','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})
使用merge函数对两个数据表进行合并，合并的方式为inner，将
两个数据表数据匹配到一起生成新的数据表。并命名为
df_inner。
#数据表匹配合并 df_inner=pd.merge(df,df1,how='inner')
合并的方式还有left，right和outer方式
df_left=pd.merge(df,df1,how='left') df_right=pd.merge(df,df1,how='right') df_outer=pd.merge(df,df1,how='outer')
2.设置索引列
索引列可以进行数据提取，汇总，数据筛选
#设置索引列
df_inner.set_index('id')
3.排序(按索引，按数值)
Excel中可以通过数据目录下的排序按钮直接对数据表进行排
序
Python中需要使用ort_values函数和sort_index函数完成排序
#按特定列的值排序 df_inner.sort_values(by=['age'])
Sort_index函数用来将数据表按索引列的值进行排序。
#按索引列排序 df_inner.sort_index()
4.数据分组
Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组，或者使用“数据透shi表”来完成分组
Python中使用Where函数用来对数据进行判断和分组
#如果price列的值>3000，group列显示high，否则显示low df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low ')
还可以对多个字段的值进行判断后对数据进行分组，下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。
#对复合多个条件的数据进行分组标记 df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1
5.数据分列
Excel中的数据目录下提供“分列”功能。
在Python中使用split函数实现分列在数据表中category列中的数据包含有两个信息，前面的数字为类别id，后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分，并将拆分后的数据表匹配回原数据表中。
#对category字段的值依次进行分列，并创建数据表，索引值为df_inner的索引列，列名称为category和size
pd.DataFrame((x.split('-') for x in df_inner['category']),index=d
f_inner.index,columns=['category','size'])
#将完成分列后的数据表与原df_inner数据表进行匹配 df_inner=pd.merge(df_inner,split,right_index=True, left_index=Tru e)
1.按标签提取(loc)
#按索引提取单行的数值 df_inner.loc[3] id 1004 date 2013-01-05 00:00:00 city shenzhen category 110-C age 32 price 5433 gender female m-point 40 pay Y group high sign NaN category_1 110 size C Name: 3, dtype: object
使用冒号可以限定提取数据的范围，冒号前面为开始的标签值后面为结束的标签值。
#按索引提取区域行数值 df_inner.loc[0:5]
Reset_index函数用于恢复索引，这里我们重新将date字段的日期
设置为数据表的索引，并按日期进行数据提取。
#重设索引 df_inner.reset_index()
#设置日期为索引
df_inner=df_inner.set_index('date')
#提取4日之前的所有数据 df_inner[:'2013-01-04']
2.按位置提取(iloc)
使用iloc函数按位置对数据表中的数据进行提取，这里冒号前后
的数字不再是索引的标签名称，而是数据所在的位置，从0开始。
#使用iloc按位置区域提取数据 df_inner.iloc[:3,:2]
iloc函数除了可以按区域提取数据，还可以按位置逐条提取
#使用iloc按位置单独提取数据 df_inner.iloc[[0,2,5],[4,5]]
前面方括号中的0,2,5表示数据所在行的位置，后面方括号中的数表示所在列的位置。
3.按标签和位置提取（ix）
ix是loc和iloc的混合，既能按索引标签提取，也能按位置进行数
据提取.
#使用ix按索引标签和位置混合提取数据 df_inner.ix[:'2013-01-03',:4]
4.按条件提取（区域和条件值）
使用loc和isin两个函数配合使用，按指定条件对数据进行提取
#判断city列的值是否为beijing df_inner['city'].isin(['beijing']) date 2013-01-02 True 2013-01-05 False 2013-01-07 True 2013-01-06 False 2013-01-03 False 2013-01-04 False Name: city, dtype: bool
将isin函数嵌套到loc的数据提取函数中，将判断结果为Ture数据
提取出来。这里我们把判断条件改为city值是否为beijing和shanghai。如果是就把这条数据提取出来。
#先判断city列里是否包含beijing和shanghai，然后将复合条件的数据提取出来。 df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]
按条件筛选（与、或、非）
Excel数据目录下提供了“筛选”功能，用于对数据表按不同的条
件进行筛选。
Python中使用loc函数配合筛选条件来完成筛选功能。配合sum和count函数还能实现Excel中sumif和countif函数的功能。
使用“与”条件进行筛选，条件是年龄大于25岁，并且城市为
beijing。
#使用“与”条件进行筛选 df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beiji ng'), ['id','city','age','category','gender']]/
#使用“或”条件筛选 df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beiji ng'), ['id','city','age','category','gender']].sort(['age'])
#使用“非”条件进行筛选 df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age', 'category','gender']].sort(['id'])
在前面的代码后面增加city列，并使用count函数进行计数。相当于Excel中的countifs函数的功能
#对筛选后的数据按city列进行计数 df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age', 'category','gender']].sort(['id']).city.count()
还有一种筛选的方式是用query函数
#使用query函数进行筛选
df_inner.query('city == ["beijing", "shanghai"]')
在前面的代码后增加price字段和sum函数。对筛选后的price字段
进行求和，相当于Excel中的sumifs函数的功能。
#对筛选后的结果按price进行求和
df_inner.query('city == ["beijing", "shanghai"]').price.sum()
12230Excel中使用分类汇总和数据透视可以按特定维度对数据进行汇总，Python中使用的主要函数是groupby和pivot_table。
1.分类汇总
#对所有列进行计数汇总
df_inner.groupby('city').count()/
#对特定的ID列进行计数汇总
df_inner.groupby('city')['id'].count()
city
beijing 2
guangzhou 1
shanghai 2
shenzhen 1
Name: id, dtype: int64#对两个字段进行汇总计数 df_inner.groupby(['city','size'])['id'].count() city size beijing A 1 F 1 guangzhou A 1 shanghai A 1 B 1 shenzhen C 1 Name: id, dtype: int64
还可以对汇总后的数据同时按多个维度进行计算
#对city字段进行汇总并计算price的合计和均值。
df_inner.groupby('city')['price'].agg([len,np.sum, np.mean])
2.数据透视
Python中通过pivot_table函数实现同样的效果
#设定city为行字段，size为列字段，price为值字段。 分别计算price的数量和金额并且按行与列进行汇总。 pd.pivot_table(df_inner,index=["city"],values=["price"],columns=[ "size"],aggfunc=[len,np.sum],fill_value=0,margins=True)
1.数据采样
Excel的数据分析功能中提供了数据抽样的功能
Python通过sample函数完成数据采样
#简单的数据采样 df_inner.sample(n=3)
Weights参数是采样的权重，通过设置不同的权重可以更改采样的结果
#手动设置采样权重 weights = [0, 0, 0, 0, 0.5, 0.5] df_inner.sample(n=2, weights=weights)
Sample函数中参数replace，用来设置采样后是否放回
#采样后不放回 df_inner.sample(n=6, replace=False) #采样后放回 df_inner.sample(n=6, replace=True)
2.描述统计
Python中可以通过Describe对数据进行描述统计
#数据表描述性统计 df_inner.describe().round(2).T
3.相关分析
Python中则通过corr函数完成相关分析的操作，并返回相关系数。
#相关性分析 df_inner['price'].corr(df_inner['m-point']) 0.77466555617085264 #数据表相关性分析 df_inner.corr()
1.写入Excel
#输出到Excel格式
df_inner.to_Excel('Excel_to_Python.xlsx', sheet_name='bluewhale_c
c')
2.写入csv
#输出到CSV格式
df_inner.to_csv('Excel_to_Python.csv')上述内容就是从Excel到Python中最常用到的Pandas函数都有哪些，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注创新互联-成都网站建设公司行业资讯频道。
