数据分析之Pandas（1）

3.Pandas

文章目录

    • 3.Pandas
      • 3.1 Pandas基本介绍
        • 3.1.1 Pandas的基本数据结构
          • 3.1.1.1 Pandas库的Series类型
          • 3.1.1.2 Pandas库的DataFrame类型
            • DataFrame初始化
            • DataFrame查看数据
        • 3.1.2 Pandas读取数据及数据操作
          • 行操作
          • 添加一行
          • 删除一行
          • 列操作
          • 增加一列
          • 删除一列
          • 通过标签选择数据
          • 条件选择
        • 3.1.3 数据清洗
          • 缺失值处理
            • 判断缺失值
            • 填充缺失值
            • 删除缺失值
          • 异常值处理
        • 3.1.4 数据保存
      • 3.2 Pandas操作
        • 3.2.1 数据格式转换
        • 3.1.2 排序
            • 单值排序
            • 多个值排序
        • 3.1.3基本统计分析
          • 描述性统计
          • 最值
          • 均值和中值
          • 方差和标准差
          • 求和
          • 相关系数、协方差
          • 计数
          • 数据替换
        • 3.1.4 数据透视
          • 基础形式
          • 多个索引 index=['','']
          • 指定需要统计汇总的数据 values
          • 指定函数 aggfunc
          • 非数值处理 fill_value
          • 计算总合数据 margins=True
          • 对不同值执行不同函数
          • 透视表过滤
          • 按照多个索引来进行汇总

3.1 Pandas基本介绍

Python Data Analysis Library或pandas是基于Numpy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需要的工具。pandas提供了大量能使我们快速便捷的处理数据的函数和方法。

import pandas as pd
import numpy as np

3.1.1 Pandas的基本数据结构

pandas中有两种常用的基本结构
•Series
一维数组，与Numpy中的一维array类似，二者与Python基本的数据结构List也很相似。Series能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series种。
•DataFrame
二维的表格型数据结构，很多功能与R种的data.frame类似。可以将DataFrame理解为Series的容器。

3.1.1.1 Pandas库的Series类型

一维Series可以用一维列表初始化

a=pd.Series([1,3,5,np.nan,6,5]) ##此处Series的S必须大写
print(a)
结果
0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    5.0
dtype: float64

默认的情况下，Series的下标都是数字（可以使用额外参数指定），类型是统一的。

b=pd.Series([1,3,5,np.nan,6,5],index=['a','b','c','d','e','f'])
print(b)
结果
a    1.0
b    3.0
c    5.0
d    NaN
e    6.0
f    5.0
dtype: float64

索引——数据行标签

查看索引

a.index
结果
RangeIndex(start=0, stop=6, step=1)
-----------------------------------------------
b.index
结果
Index(['a', 'b', 'c', 'd', 'e', 'f'], dtype='object')

查看取值

a.values
结果
array([ 1.,  3.,  5., nan,  6.,  5.])
------------------------------
a[0]
结果
1.0

切片

a[2:5]
结果
2    5.0
3    NaN
4    6.0
dtype: float64

b['b':'f':2]   ## 经过多次实践发现自定义索引的确是包头包尾
结果
b    3.0
d    NaN
f    5.0
dtype: float64

索引赋值

a.index.name='索引'
a
结果


索引
0    1.0
1    3.0
2    5.0
3    NaN
4    6.0
5    5.0
dtype: float64

和Series里面赋值一样

a.index=list('abcdef')
a
结果
a    1.0
b    3.0
c    5.0
d    NaN
e    6.0
f    5.0
dtype: float64
3.1.1.2 Pandas库的DataFrame类型
DataFrame初始化

DataFrame是个二维结构，这里首先构造一组时间序列，作为第一维的下标

date=pd.date_range('20230312',periods=6)
print(date)
结果
DatetimeIndex(['2023-03-12', '2023-03-13', '2023-03-14', '2023-03-15',
               '2023-03-16', '2023-03-17'],
              dtype='datetime64[ns]', freq='D')

然后创建一个DataFream结构

df=pd.DataFrame(np.random.randn(6,4))
df    ##默认使用0、1、2.。。作为索引index
0123
0-1.4901251.298987-0.5433611.221980
1-0.8497090.118608-0.9557150.144980
2-0.599598-0.756037-1.795249-0.282495
3-0.3325861.750622-1.493345-2.100013
4-0.905893-0.254791-1.476728-0.001651
5-1.121065-1.861881-0.5024200.523135
df=pd.DataFrame(np.random.randn(6,4),index=date,columns=list('ABCD'))
df    ##index参数设置行索引，columns参数设置列索引，默认情况下不指定index和columns，他们的值从0开始
ABCD
2023-03-120.443978-0.5682800.539422-1.808815
2023-03-13-0.9419461.600655-0.165418-0.143333
2023-03-140.0581861.299691-0.722582-0.258170
2023-03-150.912441-1.347266-0.827097-1.189625
2023-03-160.4271250.010411-0.3904111.172277
2023-03-17-0.584286-0.4281190.5363051.327480

除了向DataFrame中传入二维数组，我们也可以使用字典传入数据

df1=pd.DataFrame({'A':1,'B':pd.Timestamp('20230312'),'C':pd.Series(1,index=list(range(4)),dtype=float),'D':np.array([3]*4,dtype=int),'E':pd.Categorical(['test','train','test','train']),'F':'abc'})
df1
ABCDEF
012023-03-121.03testabc
112023-03-121.03trainabc
212023-03-121.03testabc
312023-03-121.03trainabc

字典的每个key代表一列，其value可以是各种能够转化为Series的对象
与Series要求所有的类型都一致不同，DataFrame只要求每一列数据的格式相同

df1.dtypes
结果
A             int64
B    datetime64[ns]
C           float64
D             int32
E          category
F            object
dtype: object
DataFrame查看数据

头尾数据
head和tail方法可以分别查看最前面几行和最后面几行的数据（默认为5）

df.head()
ABCD
2023-03-120.443978-0.5682800.539422-1.808815
2023-03-13-0.9419461.600655-0.165418-0.143333
2023-03-140.0581861.299691-0.722582-0.258170
2023-03-150.912441-1.347266-0.827097-1.189625
2023-03-160.4271250.010411-0.3904111.172277
df.tail(3) ##后三行
ABCD
2023-03-150.912441-1.347266-0.827097-1.189625
2023-03-160.4271250.010411-0.3904111.172277
2023-03-17-0.584286-0.4281190.5363051.327480
下标、列标、数据
下标使用index属性查看
df.index
结果
DatetimeIndex(['2020-01-01', '2020-01-02', '2020-01-03', '2020-01-04',
               '2020-01-05', '2020-01-06'],
              dtype='datetime64[ns]', freq='D')

列标使用columns属性查看

df.columns
结果
Index(['A', 'B', 'C', 'D'], dtype='object')

数据值使用values查看

df.values
结果
array([[ 0.44397794, -0.56828038,  0.53942245, -1.8088147 ],
       [-0.94194603,  1.60065473, -0.16541752, -0.14333282],
       [ 0.05818642,  1.2996908 , -0.72258188, -0.25816996],
       [ 0.91244089, -1.34726583, -0.82709665, -1.18962492],
       [ 0.42712501,  0.01041125, -0.39041139,  1.17227685],
       [-0.58428589, -0.42811927,  0.53630517,  1.32747977]])

3.1.2 Pandas读取数据及数据操作

以豆瓣的电影数据作为我们深入了解Pandas的示例
豆瓣电影数据（提取码：7tvl）

df_mv=pd.read_excel(.....) ## 括号中填写数据存放的位置
df_mv=pd.read_excel('豆瓣电影数据.xlsx') ## 直接填文件名，需要文件在当前目录下
df_mv=pd.read_excel(r'E:\数据分析与挖掘\date\豆瓣电影数据.xlsx')  ## 这种情况需要在地址前加r，以便转义失效
df_mv.head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
00肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
11控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
22美丽人生327855.0剧情/喜剧/爱情意大利1997-12-20 00:00:0011619979.5意大利
33阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
44霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港
行操作
df_mv.iloc[0]
结果
Unnamed: 0                      0
名字                         肖申克的救赎
投票人数                       692795
类型                          剧情/犯罪
产地                             美国
上映时间          1994-09-10 00:00:00
时长                            142
年代                           1994
评分                            9.6
首映地点                       多伦多电影节
Name: 0, dtype: object

df_mv.iloc[0:5]   ## 左闭右开
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
00肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
11控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
22美丽人生327855.0剧情/喜剧/爱情意大利1997-12-20 00:00:0011619979.5意大利
33阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
44霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港

也可以使用 loc

df_mv.loc[0:5]  ## 两边都包
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
00肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
11控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
22美丽人生327855.0剧情/喜剧/爱情意大利1997-12-20 00:00:0011619979.5意大利
33阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
44霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港
55泰坦尼克号157074.0剧情/爱情/灾难美国2012-04-10 00:00:0019420129.4中国大陆
添加一行
dit={'名字':'复仇者联盟3',
     '投票人数':123456,
     '类型':'剧情/科幻',
     '产地':'美国',
     '上映时间':'2017-05-04 00:00:00',
     '时长':142,
     '年代':2017,
     '评分':8.7,
     '首映地点':'美国'}
s=pd.Series(dit)
s.name=38738
s

名字                   复仇者联盟3
投票人数                 123456
类型                    剧情/科幻
产地                       美国
上映时间    2017-05-04 00:00:00
时长                      142
年代                     2017
评分                      8.7
首映地点                     美国
Name: 38738, dtype: object

df_mv=df_mv.append(s)
df_mv.tail()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
3873438734.01935年57.0喜剧/歌舞美国1935-03-15 00:00:009819357.6美国
3873538735.0血溅画屏95.0剧情/悬疑/犯罪/武侠/古装中国大陆1905-06-08 00:00:009119867.1美国
3873638736.0魔窟中的幻想51.0惊悚/恐怖/儿童中国大陆1905-06-08 00:00:007819868.0美国
3873738737.0列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме…32.0剧情/战争苏联1905-05-30 00:00:009719776.6美国
38738NaN复仇者联盟3123456.0剧情/科幻美国2017-05-04 00:00:0014220178.7美国
删除一行
df_mv=df_mv.drop([38738])
df_mv.tail()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
3873338733.0神学院 S46.0Adult法国1905-06-05 00:00:005819838.6美国
3873438734.01935年57.0喜剧/歌舞美国1935-03-15 00:00:009819357.6美国
3873538735.0血溅画屏95.0剧情/悬疑/犯罪/武侠/古装中国大陆1905-06-08 00:00:009119867.1美国
3873638736.0魔窟中的幻想51.0惊悚/恐怖/儿童中国大陆1905-06-08 00:00:007819868.0美国
3873738737.0列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме…32.0剧情/战争苏联1905-05-30 00:00:009719776.6美国
列操作
df_mv.columns

Index(['Unnamed: 0', '名字', '投票人数', '类型', '产地', '上映时间', '时长', '年代', '评分',
       '首映地点'],
      dtype='object')

df_mv['名字'][0:5]

0    肖申克的救赎
1      控方证人
2     美丽人生 
3      阿甘正传
4      霸王别姬
Name: 名字, dtype: object

df_mv[['名字','类型']][:5]
名字类型
0肖申克的救赎剧情/犯罪
1控方证人剧情/悬疑/犯罪
2美丽人生剧情/喜剧/爱情
3阿甘正传剧情/爱情
4霸王别姬剧情/爱情/同性
增加一列
df_mv['序号']=range(1,len(df_mv)+1)
df_mv.head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点序号
00.0肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节1
11.0控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国2
22.0美丽人生327855.0剧情/喜剧/爱情意大利1997-12-20 00:00:0011619979.5意大利3
33.0阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映4
44.0霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港5
删除一列
df_mv=df_mv.drop('序号',axis=1) ## axis = 1 代表列方向
df_mv.head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
00.0肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
11.0控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
22.0美丽人生327855.0剧情/喜剧/爱情意大利1997-12-20 00:00:0011619979.5意大利
33.0阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
44.0霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港
通过标签选择数据

df.loc[[index],[column]]通过标签选择数据

df_mv.loc[[1,3,4],['名字','评分']]
名字评分
1控方证人9.5
3阿甘正传9.4
4霸王别姬9.4
df_mv.loc[1,'名字']

'控方证人'
条件选择

选取产地为美国的所有电音

df_mv[df_mv['产地']=='中国大陆'][:5]
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
44.0霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港
2121.0大闹天宫74881.0动画/奇幻中国大陆1905-05-14 00:00:0011419619.2上集
2929.0穹顶之下51113.0纪录片中国大陆2015-02-28 00:00:0010420159.2中国大陆
3838.0茶馆10678.0剧情/历史中国大陆1905-06-04 00:00:0011819829.2美国
4545.0山水情10781.0动画/短片中国大陆1905-06-10 00:00:001919889.2美国

选取产地为美国，且评分大于9的电影

df_mv[(df_mv.产地=='美国')&(df_mv.评分>9)].head()
或者--------------------------------------------
df[(df['产地']=='美国')&(df['评分']>9)].head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
00.0肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
11.0控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
33.0阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
55.0泰坦尼克号157074.0剧情/爱情/灾难美国2012-04-10 00:00:0019420129.4中国大陆
66.0辛德勒的名单306904.0剧情/历史/战争美国1993-11-30 00:00:0019519939.4华盛顿首映

选取产地为美国或中国大陆，且评分大于9的电影

df_mv[((df_mv.产地=='美国')|(df_mv.产地=='中国大陆'))&(df_mv.评分>9)].head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
00.0肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
11.0控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
33.0阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
44.0霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港
55.0泰坦尼克号157074.0剧情/爱情/灾难美国2012-04-10 00:00:0019420129.4中国大陆

3.1.3 数据清洗

缺失值处理

dropna：根据标签中的缺失值进行过滤，删除缺失值
fillna：对缺失值进行填充
isnull：返回一个布尔值对象，判断哪些值是缺失值
notnull：isnull的否定式

判断缺失值
df_mv[df_mv['名字'].isnull()].head()
或者-------------------------------------
df[df.名字.isnull()].head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
231231.0NaN144.0纪录片/音乐韩国2011-02-02 00:00:009020119.7美国
361361.0NaN80.0短片其他1905-05-17 00:00:00419645.7美国
369369.0NaN5315.0剧情日本2004-07-10 00:00:0011120047.5日本
372372.0NaN263.0短片/音乐英国1998-06-30 00:00:003419989.2美国
374374.0NaN47.0短片其他1905-05-17 00:00:00319646.7美国
填充缺失值

填充字符类

df_mv[df_mv['名字'].isnull()].head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
231231.0NaN144.0纪录片/音乐韩国2011-02-02 00:00:009020119.7美国
361361.0NaN80.0短片其他1905-05-17 00:00:00419645.7美国
369369.0NaN5315.0剧情日本2004-07-10 00:00:0011120047.5日本
372372.0NaN263.0短片/音乐英国1998-06-30 00:00:003419989.2美国
374374.0NaN47.0短片其他1905-05-17 00:00:00319646.7美国
df_mv['名字'].fillna('未知电影',inplace=True)
df_mv[df_mv['名字'].isnull()].head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点

填充数值类

##添加一行，用于实验。此处设置评分为空nan
dit={'名字':'复仇者联盟3',
     '投票人数':123456,
     '类型':'剧情/科幻',
     '产地':'美国',
     '上映时间':'2017-05-04 00:00:00',
     '时长':142,
     '年代':2017,
     '评分':np.nan,
     '首映地点':'美国'}
s=pd.Series(dit)
s.name=38738
df_mv=df_mv.append(s)

##判断“评分”为空的
df_mv[df_mv['评分'].isnull()].head()
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
38738NaN复仇者联盟3123456.0剧情/科幻美国2017-05-04 00:00:001422017NaN美国
##填充评分，此处填充 均值
df_mv['评分'].fillna(np.mean(df_mv['评分']),inplace=True)
df_mv[-1:]
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
38738NaN复仇者联盟3123456.0剧情/科幻美国2017-05-04 00:00:0014220176.935704美国
删除缺失值

df.dropna(参数)

subset=[‘列名’]：删除该列为空的行
how=‘all’：删除全为空值的行或列
inplace=True：覆盖之前的数据
axis=0：选择行或列（=0，删除一行；=1，删除一列），默认为0

len(df_mv)

38739

df_mv1=df_mv.dropna()
len(df_mv1)
len(df_mv) ## 值未变，因为未设置inplace=True

38735
38739
异常值处理

异常值，即在数据集中存在不合理的值，又称离群点。比如年龄为-1，笔记本电脑重量为1吨等等，都属与异常值的范围。

对于异常值，一般来说数量都会很少，在不影响整体数据分布的情况下，我们直接删除就可以了。

df_mv[(df_mv.投票人数<0)|(df_mv['投票人数']%1!=0)]
Unnamed: 0名字投票人数类型产地上映时间时长年代评分首映地点
1977719777.0皇家大贼 皇家大-80.00剧情/犯罪中国香港1985-05-31 00:00:006019856.3美国
1978619786.0日本的垃圾去中国大陆 にっぽんの“ゴミ” 大陆へ渡る ～中国式リサイクル錬-80.00纪录片日本1905-06-26 00:00:006020047.9美国
1979119791.0女教师 女教8.30剧情/犯罪日本1977-10-29 00:00:0010019776.6日本
1979719797.0女教徒-118.00剧情法国1966-05-06 00:00:0013519667.8美国
1980419804.0女郎漫游仙境 ドレミファ娘の血は騒5.90喜剧/歌舞日本1985-11-03 00:00:008019856.7日本
1982019820.0女仆日记12.87剧情法国2015-04-01 00:00:009620155.7法国
3805538055.0逃出亚卡拉12.87剧情/动作/惊悚/犯罪美国1979-09-20 00:00:0011219797.8美国
df.drop(df[(df.投票人数<0)|(df_mv['投票人数']%1!=0)].index,inplace= True)
或者
df=df[(df.投票人数>0)|(df_mv['投票人数']%1==0)]

3.1.4 数据保存

数据处理之后，然后将数据重新保存

df_mv.to_excel('movie_data.xlsx')  ## 未指定目录地址，默认存到当前目录下

3.2 Pandas操作

import pandas as pd
import numpy as np

以豆瓣电影为例

df=pd.read_excel('movie_data.xlsx')
df=df.drop('Unnamed: 0',axis=1)
df.head()
名字投票人数类型产地上映时间时长年代评分首映地点
0肖申克的救赎692795.0剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
1控方证人42995.0剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
2美丽人生327855.0剧情/喜剧/爱情意大利1997-12-20 00:00:0011619979.5意大利
3阿甘正传580897.0剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
4霸王别姬478523.0剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港

3.2.1 数据格式转换

查看格式

df['投票人数'].dtype

dtype('float64')

格式转化

df['投票人数']=df['投票人数'].astype('int')
df['投票人数'].dtype

dtype('int32')

将年代格式转化为整型

df['年代'].dtype

dtype('O')

df['年代']=df['年代'].astype('int')
------------------------------------------------------------------------
报错
---
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
~\AppData\Local\Temp\ipykernel_21876\765820658.py in <module>
----> 1 df['年代']=df['年代'].astype('int')

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\generic.py in astype(self, dtype, copy, errors)
   5910         else:
   5911             # else, only a single dtype is given
-> 5912             new_data = self._mgr.astype(dtype=dtype, copy=copy, errors=errors)
   5913             return self._constructor(new_data).__finalize__(self, method="astype")
   5914 

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\managers.py in astype(self, dtype, copy, errors)
    417 
    418     def astype(self: T, dtype, copy: bool = False, errors: str = "raise") -> T:
--> 419         return self.apply("astype", dtype=dtype, copy=copy, errors=errors)
    420 
    421     def convert(

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\managers.py in apply(self, f, align_keys, ignore_failures, **kwargs)
    302                     applied = b.apply(f, **kwargs)
    303                 else:
--> 304                     applied = getattr(b, f)(**kwargs)
    305             except (TypeError, NotImplementedError):
    306                 if not ignore_failures:

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\blocks.py in astype(self, dtype, copy, errors)
    578         values = self.values
    579 
--> 580         new_values = astype_array_safe(values, dtype, copy=copy, errors=errors)
    581 
    582         new_values = maybe_coerce_values(new_values)

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_array_safe(values, dtype, copy, errors)
   1290 
   1291     try:
-> 1292         new_values = astype_array(values, dtype, copy=copy)
   1293     except (ValueError, TypeError):
   1294         # e.g. astype_nansafe can fail on object-dtype of strings

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_array(values, dtype, copy)
   1235 
   1236     else:
-> 1237         values = astype_nansafe(values, dtype, copy=copy)
   1238 
   1239     # in pandas we don't store numpy str dtypes, so convert to object

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_nansafe(arr, dtype, copy, skipna)
   1152         # work around NumPy brokenness, #1987
   1153         if np.issubdtype(dtype.type, np.integer):
-> 1154             return lib.astype_intsafe(arr, dtype)
   1155 
   1156         # if we have a datetime/timedelta array of objects

D:\ProgramData\Anaconda3\lib\site-packages\pandas\_libs\lib.pyx in pandas._libs.lib.astype_intsafe()

ValueError: invalid literal for int() with base 10: '2008\u200e'

##年代中有异常值 '2008\u200e'，无法正常转化
df[df.年代=='2008\u200e']
名字投票人数类型产地上映时间时长年代评分首映地点
15205狂蟒惊魂544恐怖中国大陆2008-04-08 00:00:00932008‎2.7美国
df[df.年代=='2008\u200e']['年代'].values  ## 从整行返回的结果并不能直接看出异常，所以调用valus直接查看

array(['2008\u200e'], dtype=object)

df.loc[15205,'年代']=2008
df.loc[15205]

名字                     狂蟒惊魂
投票人数                    544
类型                       恐怖
产地                     中国大陆
上映时间    2008-04-08 00:00:00
时长                       93
年代                     2008
评分                      2.7
首映地点                     美国
Name: 15205, dtype: object

df['年代']=df['年代'].astype('int')
df['年代'][:5]

0    1994
1    1957
2    1997
3    1994
4    1993
Name: 年代, dtype: int32

将时长转化为整数格式

df['时长']=df['时长'].astype('int')
---------------------------------------------------------------------------
报错
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
~\AppData\Local\Temp\ipykernel_21876\3003640607.py in <module>
----> 1 df['时长']=df['时长'].astype('int')

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\generic.py in astype(self, dtype, copy, errors)
   5910         else:
   5911             # else, only a single dtype is given
-> 5912             new_data = self._mgr.astype(dtype=dtype, copy=copy, errors=errors)
   5913             return self._constructor(new_data).__finalize__(self, method="astype")
   5914 

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\managers.py in astype(self, dtype, copy, errors)
    417 
    418     def astype(self: T, dtype, copy: bool = False, errors: str = "raise") -> T:
--> 419         return self.apply("astype", dtype=dtype, copy=copy, errors=errors)
    420 
    421     def convert(

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\managers.py in apply(self, f, align_keys, ignore_failures, **kwargs)
    302                     applied = b.apply(f, **kwargs)
    303                 else:
--> 304                     applied = getattr(b, f)(**kwargs)
    305             except (TypeError, NotImplementedError):
    306                 if not ignore_failures:

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\blocks.py in astype(self, dtype, copy, errors)
    578         values = self.values
    579 
--> 580         new_values = astype_array_safe(values, dtype, copy=copy, errors=errors)
    581 
    582         new_values = maybe_coerce_values(new_values)

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_array_safe(values, dtype, copy, errors)
   1290 
   1291     try:
-> 1292         new_values = astype_array(values, dtype, copy=copy)
   1293     except (ValueError, TypeError):
   1294         # e.g. astype_nansafe can fail on object-dtype of strings

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_array(values, dtype, copy)
   1235 
   1236     else:
-> 1237         values = astype_nansafe(values, dtype, copy=copy)
   1238 
   1239     # in pandas we don't store numpy str dtypes, so convert to object

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_nansafe(arr, dtype, copy, skipna)
   1152         # work around NumPy brokenness, #1987
   1153         if np.issubdtype(dtype.type, np.integer):
-> 1154             return lib.astype_intsafe(arr, dtype)
   1155 
   1156         # if we have a datetime/timedelta array of objects

D:\ProgramData\Anaconda3\lib\site-packages\pandas\_libs\lib.pyx in pandas._libs.lib.astype_intsafe()

ValueError: invalid literal for int() with base 10: '8U'

df[df.时长=='8U']
名字投票人数类型产地上映时间时长年代评分首映地点
31644一个被隔绝的世界46纪录片/短片瑞典2001-10-25 00:00:008U19487.8美国
df.drop(31644,inplace=True)

df['时长']=df['时长'].astype('int')
---------------------------------------------------------------------------
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
~\AppData\Local\Temp\ipykernel_21876\3003640607.py in <module>
----> 1 df['时长']=df['时长'].astype('int')

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\generic.py in astype(self, dtype, copy, errors)
   5910         else:
   5911             # else, only a single dtype is given
-> 5912             new_data = self._mgr.astype(dtype=dtype, copy=copy, errors=errors)
   5913             return self._constructor(new_data).__finalize__(self, method="astype")
   5914 

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\managers.py in astype(self, dtype, copy, errors)
    417 
    418     def astype(self: T, dtype, copy: bool = False, errors: str = "raise") -> T:
--> 419         return self.apply("astype", dtype=dtype, copy=copy, errors=errors)
    420 
    421     def convert(

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\managers.py in apply(self, f, align_keys, ignore_failures, **kwargs)
    302                     applied = b.apply(f, **kwargs)
    303                 else:
--> 304                     applied = getattr(b, f)(**kwargs)
    305             except (TypeError, NotImplementedError):
    306                 if not ignore_failures:

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\internals\blocks.py in astype(self, dtype, copy, errors)
    578         values = self.values
    579 
--> 580         new_values = astype_array_safe(values, dtype, copy=copy, errors=errors)
    581 
    582         new_values = maybe_coerce_values(new_values)

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_array_safe(values, dtype, copy, errors)
   1290 
   1291     try:
-> 1292         new_values = astype_array(values, dtype, copy=copy)
   1293     except (ValueError, TypeError):
   1294         # e.g. astype_nansafe can fail on object-dtype of strings

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_array(values, dtype, copy)
   1235 
   1236     else:
-> 1237         values = astype_nansafe(values, dtype, copy=copy)
   1238 
   1239     # in pandas we don't store numpy str dtypes, so convert to object

D:\ProgramData\Anaconda3\lib\site-packages\pandas\core\dtypes\cast.py in astype_nansafe(arr, dtype, copy, skipna)
   1152         # work around NumPy brokenness, #1987
   1153         if np.issubdtype(dtype.type, np.integer):
-> 1154             return lib.astype_intsafe(arr, dtype)
   1155 
   1156         # if we have a datetime/timedelta array of objects

D:\ProgramData\Anaconda3\lib\site-packages\pandas\_libs\lib.pyx in pandas._libs.lib.astype_intsafe()

ValueError: invalid literal for int() with base 10: '12J'

df[df.时长=='12J']
名字投票人数类型产地上映时间时长年代评分首映地点
32949渔业危机41纪录片英国2009-06-19 00:00:0012J20088.2USA
df.drop(32949,inplace=True)

df['时长']=df['时长'].astype('int')
df['时长'][:5]

0    142
1    116
2    116
3    142
4    171
Name: 时长, dtype: int32

3.1.2 排序

单值排序

默认排序

df[:10]  ##根据index进行排序
名字投票人数类型产地上映时间时长年代评分首映地点
0肖申克的救赎692795剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
1控方证人42995剧情/悬疑/犯罪美国1957-12-17 00:00:0011619579.5美国
2美丽人生327855剧情/喜剧/爱情意大利1997-12-20 00:00:0011619979.5意大利
3阿甘正传580897剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
4霸王别姬478523剧情/爱情/同性中国大陆1993-01-01 00:00:0017119939.4香港
5泰坦尼克号157074剧情/爱情/灾难美国2012-04-10 00:00:0019420129.4中国大陆
6辛德勒的名单306904剧情/历史/战争美国1993-11-30 00:00:0019519939.4华盛顿首映
7新世纪福音战士剧场版：Air/真心为你 新世紀エヴァンゲリオン劇場版 Ai24355剧情/动作/科幻/动画/奇幻日本1997-07-19 00:00:008719979.4日本
8银魂完结篇：直到永远的万事屋 劇場版 銀魂 完結篇 万事屋よ21513剧情/动画日本2013-07-06 00:00:0011020139.4日本
9这个杀手不太冷662552剧情/动作/犯罪法国1994-09-14 00:00:0013319949.4法国

按照投票人数进行排序

## 默认升序排列
df.sort_values(by='投票人数')[:5]
名字投票人数类型产地上映时间时长年代评分首映地点
19797女教徒-118剧情法国1966-05-06 00:00:0013519667.8美国
19777皇家大贼 皇家大-80剧情/犯罪中国香港1985-05-31 00:00:006019856.3美国
19786日本的垃圾去中国大陆 にっぽんの“ゴミ” 大陆へ渡る ～中国式リサイクル錬-80纪录片日本1905-06-26 00:00:006020047.9美国
19804女郎漫游仙境 ドレミファ娘の血は騒5喜剧/歌舞日本1985-11-03 00:00:008019856.7日本
19791女教师 女教8剧情/犯罪日本1977-10-29 00:00:0010019776.6日本
## 降序排列
df.sort_values(by='投票人数',ascending=False)[:5]
名字投票人数类型产地上映时间时长年代评分首映地点
0肖申克的救赎692795剧情/犯罪美国1994-09-10 00:00:0014219949.6多伦多电影节
9这个杀手不太冷662552剧情/动作/犯罪法国1994-09-14 00:00:0013319949.4法国
22盗梦空间642134剧情/动作/科幻/悬疑/冒险美国2010-09-01 00:00:0014820109.2中国大陆
3阿甘正传580897剧情/爱情美国1994-06-23 00:00:0014219949.4洛杉矶首映
99三傻大闹宝莱坞549808剧情/喜剧/爱情/歌舞印度2011-12-08 00:00:0017120099.1中国大陆

按照年代进行排序

df.sort_values(by='年代')[:5]
名字投票人数类型产地上映时间时长年代评分首映地点
14048利兹大桥126短片英国1888-106018887.2美国
1700朗德海花园场景650短片英国1888-10-146018888.7美国
26170恶作剧51短片美国1905-03-04 00:00:006018904.8美国
10627可怜的比埃洛176喜剧/爱情/动画/短片法国1892-10-286018927.5法国
14455迪克森实验音膜121短片美国1905-03-08 00:00:006018947.2美国
多个值排序

先按照评分排序，再按照投票人数排序(皆为降序排序)

df.sort_values(by=['评分','投票人数'],ascending=False)[:5]
名字投票人数类型产地上映时间时长年代评分首映地点
9278平安结祈 平安結208音乐日本2012-02-24 00:00:006020129.9美国
13882武之舞128纪录片中国大陆1997-02-01 00:00:0060349439.9美国
1110未知电影76科幻/纪录片美国1905-06-23 00:00:007520019.9美国
23559未作回答的问题：伯恩斯坦哈佛六讲61纪录片美国1905-05-29 00:00:006019739.9美国
35470未知电影46纪录片/音乐韩国2013-10-31 00:00:009020139.9韩国
——————————————————————————————————————————————————————————————————————————————————————
先按照评分排序（降序），再按照投票人数排序(升序)
df.sort_values(by=['评分','投票人数'],ascending=[False,True])[:5]
名字投票人数类型产地上映时间时长年代评分首映地点
25270索科洛夫：巴黎现场43音乐法国2002-11-04 00:00:0012720029.9美国
35465未知电影46纪录片/音乐韩国2013-10-31 00:00:009020139.9韩国
23556未作回答的问题：伯恩斯坦哈佛六讲61纪录片美国1905-05-29 00:00:006019739.9美国
1110未知电影76科幻/纪录片美国1905-06-23 00:00:007520019.9美国
9278平安结祈 平安結208音乐日本2012-02-24 00:00:006020129.9美国

3.1.3基本统计分析

描述性统计

dataframe.describe()：对dataframe中的数值数据进行描述性统计

df.describe()
投票人数时长年代评分
count38737.00000038737.00000038737.00000038737.000000
mean6189.17809889.0531281998.7890916.935649
std26150.60777783.333528253.1954931.270094
min-118.0000001.0000001888.0000002.000000
25%98.00000060.0000001990.0000006.300000
50%341.00000092.0000002005.0000007.100000
75%1741.000000106.0000002010.0000007.800000
max692795.00000011500.00000039180.0000009.900000

通过描述性统计，可以发现一些异常值，很多异常值往往是需要我们逐步去发现的。

df[df.年代>2023]
名字投票人数类型产地上映时间时长年代评分首映地点
13882武之舞128纪录片中国大陆1997-02-01 00:00:0060349439.9美国
17115妈妈回来吧-中国打工村的孩子49纪录片日本2007-04-08 00:00:00109391808.9美国
df[df.时长>1000]
名字投票人数类型产地上映时间时长年代评分首映地点
19690怒海余生54剧情/家庭/冒险美国1937-09-01 00:00:001150019377.9美国
38730喧闹村的孩子们36家庭瑞典1986-12-06 00:00:00920019868.7瑞典
df.drop(df[df.年代>2023].index,inplace=True)
df.drop(df[df.时长>1000].index,inplace=True)
df.describe()
投票人数时长年代评分
count38730.00000038730.00000038730.00000038730.000000
mean6190.29700588.5238061996.9814616.935420
std26152.83845937.94615619.9346571.270018
min5.0000001.0000001888.0000002.000000
25%98.00000060.0000001990.0000006.300000
50%341.00000092.0000002005.0000007.100000
75%1741.000000106.0000002010.0000007.800000
max692795.000000958.0000002017.0000009.900000
##删除 行 后，重新分配 索引index
df.index=range(len(df))
最值
df['投票人数'].max()

692795

df['投票人数'].min()

5
均值和中值
df['投票人数'].mean()

6190.297004905758

df['投票人数'].median()

341.0
方差和标准差
df['评分'].var()

1.6129445680877672

df['评分'].std()

1.2700175463700363
求和
df['投票人数'].sum()

239750203
相关系数、协方差
## 相关性
df[['投票人数','评分']].corr()
投票人数评分
投票人数1.0000000.122925
评分0.1229251.000000
## 协方差
df[['投票人数','评分']].cov()
投票人数评分
投票人数6.839710e+084082.897271
评分4.082897e+031.612945
计数
len(df)
len(df[df.产地=='美国'])
df.count()
数据替换
len(df)

38166

## 某列的所有取值
df['产地'].unique()

array(['美国', '意大利', '中国大陆', '日本', '法国', '英国', '韩国', '中国香港', '阿根廷', '德国',
       '印度', '其他', '加拿大', '波兰', '泰国', '澳大利亚', '西班牙', '俄罗斯', '中国台湾', '荷兰',
       '丹麦', '比利时', 'USA', '苏联', '墨西哥', '巴西', '瑞典', '西德'], dtype=object)

len(df['产地'].unique())

28

产地中包含了一些重复数据，比如美国和USA，德国和西德，俄罗斯和苏联

我们可以通过数据替换的方法将这些相同的国家的电影数据合并一下

df['产地'].replace('USA','美国',inplace=True) ## USA->美国
df['产地'].replace(['西德','苏联'],['德国','俄罗斯'],inplace=True) ## 西德->德国，苏联->俄罗斯
len(df['产地'].unique())

25

计算每一年代电影的数量

df['年代'].value_counts()[:10]    ## 已经自动排序

2012    2018
2013    1977
2008    1926
2014    1867
2010    1863
2011    1845
2009    1837
2007    1685
2015    1570
2006    1488
Name: 年代, dtype: int64

电影产出前5位的国家或地区

df['产地'].value_counts()[:5]

美国      11979
日本       5051
中国大陆     3802
中国香港     2851
法国       2816
Name: 产地, dtype: int64

df.to_excel('movie_data2.xlsx')

3.1.4 数据透视

Pandas提供了一个数据透视表功能，名为pivot_table。
使用pivot_table的一个挑战是，你需要确保你理解你的数据，并清楚的知道你通过透视表解决了什么问题，虽然pivot_table看起来知识一个简单的函数，但是它能够快速的对数据进行强大的分析。

基础形式
## 前面在未设置查看行数时，中间数据是用...代替，下面代码可设置显示长度
pd.set_option('max_columns',100)  ##设置显示的最大列
pd.set_option('max_rows',500)  ##设置显示的最大行

pd.pivot_table(df,index=['年代'])  ## 未设置其他参数，默认均值计算
投票人数时长评分
年代
1888388.00000060.0000007.950000
189051.00000060.0000004.800000
1892176.00000060.0000007.500000
1894112.66666760.0000006.633333
1895959.87500060.0000007.575000
1896984.25000060.0000007.037500
189767.00000060.0000006.633333
1898578.50000060.0000007.450000
189971.0000009.5000006.900000
1900175.28571436.7142867.228571
1901164.50000047.2500007.250000
19021934.16666734.6666677.483333
1903295.62500029.6250006.968750
1904195.87500041.2500007.212500
1905332.60000043.8000006.820000
1906189.85714330.5714297.342857
1907213.60000031.8000007.020000
1908258.83333334.1666677.150000
190958.60000020.6000007.560000
1910105.20000041.8000006.940000
1911240.00000025.7500007.375000
1912152.20000016.4000007.920000
191366.12500057.7500006.862500
1914104.92307725.9230776.473077
1915314.90000056.8000007.260000
1916613.66666743.8333337.758333
1917124.41666731.3333337.075000
1918357.08333335.1666677.200000
1919179.85000062.4000007.490000
1920636.50000059.3571437.492857
1921729.81818257.3636367.750000
1922767.09090966.3636367.804545
1923426.00000074.0555567.883333
1924371.78571481.1785718.053571
19251104.28000084.4400007.788000
1926443.60869680.3043487.773913
1927695.27586287.2413797.751724
1928404.82500071.7750007.945000
1929740.54285769.3714297.440000
1930555.08000074.1600007.360000
19311468.66666778.5238107.483333
1932600.08108177.5405417.294595
1933729.72000076.3600007.430000
1934776.49019683.1960787.519608
1935887.69565273.6739137.515217
19361465.46666776.2666677.635000
19371580.22449085.5102047.575510
1938552.00000085.9736847.736842
19395911.85714397.3877557.520408
19405548.74359092.8205137.571795
19411552.80851189.1276607.427660
19422607.75471778.2641517.554717
1943742.84210578.4561407.615789
19441007.37037081.9259267.538889
1945989.02040886.9591847.673469
19461034.45762785.0169497.606780
1947439.40000087.1200007.453333
19481186.50574788.2068977.657471
1949641.68539381.9887647.646067
19502235.02631680.1578957.655263
1951956.10126685.6329117.636709
19521473.54023081.5287367.743678
19534786.11363684.1704557.567045
19542180.24509885.5490207.702941
19551983.73913083.6695657.580000
19561054.60544276.4081637.600000
19572973.57943987.3551407.652336
1958886.19672182.9754107.536885
19591725.07031290.0703127.571875
19601446.274809101.3129777.569466
19613186.83333398.2156867.744118
19621972.11888191.6153857.704895
19631184.02797292.0209797.536364
19641107.76373689.7142867.523077
19651988.18404990.4785287.576074
19661319.52514089.4860347.518994
19671237.28977391.5909097.484659
19681096.22093091.7441867.317442
1969593.11111198.6666677.370048
1970676.78947496.9736847.291053
19711368.50684996.3150687.155708
19722299.09661896.2898557.268116
1973800.10328694.8826297.250235
19741685.78923895.3183867.062332
19752222.73979697.5663277.071429
19761340.61802695.0557947.107725
1977957.12727398.0318187.148182
19781001.82089694.4676627.096517
19791878.62114596.0000007.296035
19802407.68303694.1785717.186607
19811609.06204493.3211687.157299
19822142.72932391.9849627.297368
19831541.19133692.1696757.310108
19842667.17346990.9183677.375170
19851588.09657393.6168227.278505
19862828.50617389.1450627.256790
19873128.77551088.9387767.284548
19884800.22762188.8593357.265729
19892994.41730388.4580157.210687
19904965.58778691.8829527.149109
19914685.81951293.3707327.154634
19925486.13333392.5724147.223678
19938117.75963795.2698417.195692
199411479.25506191.3441307.262348
19958132.60531794.4417187.289366
19965095.88394695.2437147.258801
19978243.93854794.9702057.330168
19987431.79029591.1317167.238302
19997137.04960092.4576007.188000
20005907.77017892.1915187.134063
20018489.75724690.9589377.110145
20026552.59333391.5844447.069778
20037891.96424890.5583607.137750
20048587.63259990.4246707.031366
20056506.11084792.0807607.030008
20067278.26072690.1445546.914719
20076253.83752286.6282886.875102
20086750.99694385.1441676.910647
20098716.36466286.3845336.750000
20109576.38759383.4342526.770361
20118763.11039784.1259386.577010
20127082.78746385.0999026.458374
20137603.72313884.9020496.392604
20147723.30259785.9978806.259777
20157841.40829189.8636936.141960
20167176.01938091.3294575.868217
2017123456.000000142.0000006.935704
多个索引 index=[‘’,‘’]

实际上，大多数的pivot_table参数可以通过列表获取多个值

pd.set_option('max_columns',100)
pd.set_option('max_rows',500)
pd.pivot_table(df,index=['年代','产地'])
投票人数时长评分
年代产地
1888英国388.00000060.0000007.950000
1890美国51.00000060.0000004.800000
1892法国176.00000060.0000007.500000
1894法国148.00000060.0000007.000000
美国95.00000060.0000006.450000
……………
2016法国39.00000093.2500007.475000
美国10563.84848591.9848486.540909
英国14607.27272785.5454557.200000
韩国1739.850000106.1000005.730000
2017美国123456.000000142.0000006.935704

1511 rows × 3 columns

指定需要统计汇总的数据 values
pd.pivot_table(df,index=['年代','产地'],values=['评分'])
评分
年代产地
1888英国7.950000
1890美国4.800000
1892法国7.500000
1894法国7.000000
美国6.450000
………
2016法国7.475000
美国6.540909
英国7.200000
韩国5.730000
2017美国6.935704

1511 rows × 1 columns

指定函数 aggfunc
pd.pivot_table(df,index=['年代','产地'],values=['投票人数'],aggfunc=np.sum)
投票人数
年代产地
1888英国776
1890美国51
1892法国176
1894法国148
美国190
………
2016法国156
美国697214
英国160680
韩国34797
2017美国123456

1511 rows × 1 columns

通过将“投票人数”和“评分”列进行对应分组，对“产地”实现数据聚合和总结

pd.pivot_table(df,index=['产地'],values=['投票人数','评分'],aggfunc=[np.sum,np.mean])
summean
投票人数评分投票人数评分
产地
中国台湾52374664367.2000008474.8640787.066667
中国大陆4143531323058.00000010898.2937936.064703
中国香港2328538918457.7000008167.4461596.474114
丹麦3947841434.7000001993.8585867.245960
俄罗斯316711011031.9000002098.8137847.310736
其他305411913895.9000001590.6869797.237448
加拿大13847654868.4000001915.3042886.733610
印度11462712453.4000003210.8431376.872269
墨西哥139613843.4000001173.2184877.087395
巴西357136733.5000003536.0000007.262376
意大利25022155377.3000003340.7409887.179306
日本1800066736339.3000003563.7828157.194476
比利时1709871003.3000001230.1223027.217986
法国1021396620384.7000003627.1186087.238885
波兰1595771347.000000881.6408847.441989
泰国15648811796.1000005322.7244906.109184
澳大利亚14157132093.4000004719.0433336.978000
瑞典2900771423.3000001510.8177087.413021
美国10192967283216.4357048509.0301366.946860
英国1324956220789.4000004797.0897907.526937
荷兰1448361114.500000934.4258067.190323
西班牙14867333139.9000003326.0246097.024385
阿根廷258271843.7000002226.4741387.273276
韩国87610808596.4000006484.8852706.362990
非数值处理 fill_value

非数值（NaN）难以处理，如果想移除他们，可以使用 fill_value 将其设置为0

pd.pivot_table(df,index=['产地'],aggfunc=[np.sum,np.mean],fill_value=0)
summean
年代投票人数时长评分年代投票人数时长评分
产地
中国台湾12353885237466539254367.2000001999.0097098474.86407887.2572827.066667
中国大陆76214884143531330960823058.0000002004.59968410898.29379381.4329306.064703
中国香港56766272328538925243118457.7000001991.1003168167.44615988.5412146.474114
丹麦395820394784174441434.7000001999.0909091993.85858688.1010107.245960
俄罗斯3006734316711014076111031.9000001992.5341292098.81378493.2809817.310736
其他3837588305411916716813895.9000001998.7437501590.68697987.0666677.237448
加拿大14477801384765579194868.4000002002.4619641915.30428880.1092676.733610
印度7161331146271432032453.4000002005.9747903210.843137121.0168076.872269
墨西哥23714513961310929843.4000001992.8151261173.21848791.8403367.087395
巴西2019873571368869733.5000001999.8712873536.00000087.8118817.262376
意大利14871422502215779025377.3000001985.5033383340.740988104.0080117.179306
日本101015051800066742786336339.3000001999.9020003563.78281584.7085737.194476
比利时277930170987114471003.3000001999.4964031230.12230282.3525187.217986
法国56088111021396625316920384.7000001991.7652703627.11860889.9037647.238885
波兰359652159577146131347.0000001987.027624881.64088480.7348077.441989
泰国5906841564881260021796.1000002009.1292525322.72449088.4421776.109184
澳大利亚6008961415713255492093.4000002002.9866674719.04333385.1633336.978000
瑞典381491290077178981423.3000001986.9322921510.81770893.2187507.413021
美国23892986101929672107031083216.4357041994.5726698509.03013689.3488616.946860
英国55149591324956224400520789.4000001996.7266474797.08979088.3435927.526937
荷兰310199144836116851114.5000002001.283871934.42580675.3870977.190323
西班牙8947101486733404553139.9000002001.5883673326.02460990.5033567.024385
阿根廷23246825827110638843.7000002004.0344832226.47413891.7068977.273276
韩国271296987610801347348596.4000002008.1191716484.88527099.7290906.362990
计算总合数据 margins=True
pd.pivot_table(df,index=['产地'],aggfunc=[np.sum,np.mean],fill_value=0,margins=True)
summean
年代投票人数时长评分年代投票人数时长评分
产地
中国台湾12353885237466539254367.2000001999.0097098474.86407887.2572827.066667
中国大陆76214884143531330960823058.0000002004.59968410898.29379381.4329306.064703
中国香港56766272328538925243118457.7000001991.1003168167.44615988.5412146.474114
丹麦395820394784174441434.7000001999.0909091993.85858688.1010107.245960
俄罗斯3006734316711014076111031.9000001992.5341292098.81378493.2809817.310736
其他3837588305411916716813895.9000001998.7437501590.68697987.0666677.237448
加拿大14477801384765579194868.4000002002.4619641915.30428880.1092676.733610
印度7161331146271432032453.4000002005.9747903210.843137121.0168076.872269
墨西哥23714513961310929843.4000001992.8151261173.21848791.8403367.087395
巴西2019873571368869733.5000001999.8712873536.00000087.8118817.262376
意大利14871422502215779025377.3000001985.5033383340.740988104.0080117.179306
日本101015051800066742786336339.3000001999.9020003563.78281584.7085737.194476
比利时277930170987114471003.3000001999.4964031230.12230282.3525187.217986
法国56088111021396625316920384.7000001991.7652703627.11860889.9037647.238885
波兰359652159577146131347.0000001987.027624881.64088480.7348077.441989
泰国5906841564881260021796.1000002009.1292525322.72449088.4421776.109184
澳大利亚6008961415713255492093.4000002002.9866674719.04333385.1633336.978000
瑞典381491290077178981423.3000001986.9322921510.81770893.2187507.413021
美国23892986101929672107031083216.4357041994.5726698509.03013689.3488616.946860
英国55149591324956224400520789.4000001996.7266474797.08979088.3435927.526937
荷兰310199144836116851114.5000002001.283871934.42580675.3870977.190323
西班牙8947101486733404553139.9000002001.5883673326.02460990.5033567.024385
阿根廷23246825827110638843.7000002004.0344832226.47413891.7068977.273276
韩国271296987610801347348596.4000002008.1191716484.88527099.7290906.362990
All773371352397497313428380268585.6357041996.9823386190.76435088.5268686.935359
对不同值执行不同函数

可以向aggfunc传递一个字典。不过，这样做有一个副作用，那就是必须将标签做的更加简洁才性。

对各个产地的投票人数求和，对评分求均值

pd.pivot_table(df,index=['产地'],values=['投票人数','评分'],aggfunc={'投票人数':np.sum,'评分':np.mean},fill_value=0)
投票人数评分
产地
中国台湾52374667.066667
中国大陆414353136.064703
中国香港232853896.474114
丹麦3947847.245960
俄罗斯31671107.310736
其他30541197.237448
加拿大13847656.733610
印度11462716.872269
墨西哥1396137.087395
巴西3571367.262376
意大利25022157.179306
日本180006677.194476
比利时1709877.217986
法国102139667.238885
波兰1595777.441989
泰国15648816.109184
澳大利亚14157136.978000
瑞典2900777.413021
美国1019296726.946860
英国132495627.526937
荷兰1448367.190323
西班牙14867337.024385
阿根廷2582717.273276
韩国87610806.362990
透视表过滤
table=pd.pivot_table(df,index=['年代'],values=['投票人数','评分'],aggfunc={'投票人数':np.sum,'评分':np.mean},fill_value=0)
type(table)

pandas.core.frame.DataFrame

table[:5]
投票人数评分
年代
18887767.950000
1890514.800000
18921767.500000
18943386.633333
189576797.575000

1994年被誉为电影史上伟大的一年，但是通过数据我们可以发现，1994年的平均分并不是很高。1924年的电影平均分最高。

table[table.index==1994]
投票人数评分
年代
199456707527.262348
table.sort_values('评分',ascending=False)[:10]
投票人数评分
年代
1924104108.053571
18887767.950000
1928161937.945000
19127617.920000
192376687.883333
1922168767.804545
1925276077.788000
1926102037.773913
191673647.758333
1927201637.751724
按照多个索引来进行汇总
pd.pivot_table(df,index=['产地','年代'],values=['投票人数','评分'],aggfunc={'投票人数':np.sum,'评分':np.mean},fill_value=0)
投票人数评分
产地年代
中国台湾19631216.400000
19654616.800000
1966517.900000
196744448.000000
19681787.400000
…………
韩国20126108296.064151
201311309836.098198
20144531525.650833
20153498085.423853
2016347975.730000

1511 rows × 2 columns

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/146.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

2022济南大学acm新生赛题解

2022济南大学acm新生赛题解

通过答题情况的难度系数&#xff1a; 签到&#xff1a;ABL 简单&#xff1a;DGKQ 中等&#xff1a;CMN 困难&#xff1a;EFHIJOPRST A-和 算出n个数的和判断正负性即可&#xff01;&#xff01;&#xff01; 发现很多同学的代码错误&#xff1a;要么sum未赋初值&#xf…
阅读更多...
DDOS攻击

DDOS攻击

注&#xff1a;本博客只是为了自己的学习&#xff0c;记录自己的学习&#xff0c;请勿用于其他途径、1、winR-->cmd2、ping 网站3、替换IP1 import java.io.BufferedInputStream;2 import java.io.IOException;3 import java.net.MalformedURLException;4 import java.net.U…
阅读更多...
Vue3做出B站【bilibili】 Vue3+TypeScript+ant-design-vue【快速入门一篇文章精通系列（一）前端项目案例】

Vue3做出B站【bilibili】 Vue3+TypeScript+ant-design-vue【快速入门一篇文章精通系列（一）前端项目案例】

本项目分为二部分 1、后台管理系统&#xff08;用户管理&#xff0c;角色管理&#xff0c;视频管理等&#xff09; 2、客户端&#xff08;登录注册、发布视频&#xff09; Vue3做出B站【bilibili】 Vue3TypeScriptant-design-vue【快速入门一篇文章精通系列&#xff08;一&…
阅读更多...
【C++】STL简介 及 string的使用

【C++】STL简介 及 string的使用

文章目录1. STL简介1.1 什么是STL1.2 STL的版本1.3 STL的六大组件2. string类的使用2.1 C语言中的字符串2.2 标准库中的string类2.3 string类的常用接口说明1. string类对象的常见构造2. string类对象的容量操作3. string类对象的修改操作4. resize和reserve5. 认识迭代器&…
阅读更多...
产品研发项目进度管理软件工具有哪些推荐？整理10款最佳进度管理软件

产品研发项目进度管理软件工具有哪些推荐？整理10款最佳进度管理软件

项目进度管理是确保项目按时完成的关键过程&#xff0c;使用合适的项目进度管理工具能确保帮助项目管理者实时了解和控制项目的进展情况&#xff0c;及时发现和解决问题&#xff0c;减少项目风险&#xff0c;提高项目效率和管理水平。这里将整理出国内外最受欢迎的10款项目进度…
阅读更多...
ASEMI低压MOS管SI2301参数，SI2301体积，SI2301尺寸

ASEMI低压MOS管SI2301参数，SI2301体积，SI2301尺寸

编辑-Z ASEMI低压MOS管SI2301参数&#xff1a; 型号&#xff1a;SI2301 漏极-源极电压&#xff08;VDS&#xff09;&#xff1a;20V 栅源电压&#xff08;VGS&#xff09;&#xff1a;8V 漏极电流&#xff08;ID&#xff09;&#xff1a;2.3A 功耗&#xff08;PD&#xf…
阅读更多...
Simulink壁咚(一)——What and How

Simulink壁咚(一)——What and How

目录 一、前言 二、Simulink 知多少 三、滤波算法 四、Model Verification 五、Model Coverage 六、Simulink测试实例 七、Simulink Test 八、Test Manager 九、Test Harness 十、 学习 一、前言 Simulink从2017b以后更加工程化和实用化&#xff0c;基于MBD的功能日趋…
阅读更多...
MATLAB绘制ROC曲线

MATLAB绘制ROC曲线

ROC曲线(Receiver Operating Characteristic Curve) 1 简介 ROC曲线是用于评估二元分类模型&#xff08;如Logistic回归&#xff09;表现优劣的一种工具&#xff0c;其横轴表示假阳性率&#xff08;false positive rate&#xff0c;FPR&#xff09;&#xff0c;即实际为负例但…
阅读更多...
MySQL事务详解

MySQL事务详解

&#x1f3c6;今日学习目标&#xff1a; &#x1f340;Spring事务和MySQL事务详解 ✅创作者&#xff1a;林在闪闪发光 ⏰预计时间&#xff1a;30分钟 &#x1f389;个人主页&#xff1a;林在闪闪发光的个人主页 &#x1f341;林在闪闪发光的个人社区&#xff0c;欢迎你的加入: …
阅读更多...
vue3 构建属于自己的组件库dxui

vue3 构建属于自己的组件库dxui

文章目录前言第一步&#xff0c;通过vue-cli搭建vue3框架第二步&#xff0c;构建一个入口&#xff0c;将所有的组件统一管理第三步 修改package.json &#xff0c;对组件进行单独打包第四步输入命令行开始打包第五步&#xff0c;修改package.json文件&#xff0c;为npm 发布做准…
阅读更多...
[ vulnhub靶机通关篇 ] 渗透测试综合靶场 DC-1 通关详解 (附靶机搭建教程)

[ vulnhub靶机通关篇 ] 渗透测试综合靶场 DC-1 通关详解 (附靶机搭建教程)

&#x1f36c; 博主介绍 &#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 _PowerShell &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【数据通信】 【通讯安全】 【web安全】【面试分析】 &#x1f389;点赞➕评论➕收藏 养成习…
阅读更多...
Python 基础教程【1】：Python介绍、变量和数据类型、输入输出、运算符

Python 基础教程【1】：Python介绍、变量和数据类型、输入输出、运算符

本文已收录于专栏&#x1f33b;《Python 基础》文章目录1、Python 介绍2、变量和数据类型2.1 注释的使用2.2 变量以及数据类型2.2.1 什么是变量&#xff1f;2.2.2 怎么给变量起名&#xff1f;2.2.3 变量的类型&#x1f3a8; 整数 int&#x1f3a8; 浮点数&#xff08;小数&…
阅读更多...
教你成为比卡卡西还牛逼的全能忍者，全拷贝与分割函数

教你成为比卡卡西还牛逼的全能忍者，全拷贝与分割函数

如何成为一个集雷切&#xff0c;写轮眼侦查和拷贝与一身的卡卡西&#xff0c;下面教你&#xff01; 目录 第一式——雷切&#xff01; strtok 第二式——写轮眼侦查&#xff01; strerror函数 第三式——写轮眼拷贝&#xff01; memcpy 模拟实现memcpy函数 &#x1f60e;…
阅读更多...
Hadoop集群搭建

Hadoop集群搭建

文章目录一、运行环境配置(所有节点)1、基础配置2、配置Host二、依赖软件安装(101节点)1、安装JDK2、安装Hadoop(root)3、Hadoop目录结构三、本地运行模式&#xff08;官方WordCount&#xff09;1、简介2、本地运行模式&#xff08;官方WordCount&#xff09;四、完全分布式运行…
阅读更多...
多线程的风险 --- 线程安全

多线程的风险 --- 线程安全

✨个人主页&#xff1a;bit me&#x1f447; ✨当前专栏&#xff1a;Java EE初阶&#x1f447; ✨每日一语&#xff1a;低头赶路&#xff0c;敬事如仪&#xff1b;自知自心&#xff0c;其路则明。 目 录&#x1f378;一. 线程不安全&#x1f379;二. 线程不安全的原因&#x1f…
阅读更多...
看完书上的栈不过瘾，为什么不动手试试呢？

看完书上的栈不过瘾，为什么不动手试试呢？

一.栈的基本概念1.栈的定义栈&#xff08;Stack&#xff09;&#xff1a;是只允许在一端进行插入或删除的线性表。首先栈是一种线性表&#xff0c;但限定这种线性表只能在某一端进行插入和删除操作。其中注意几点&#xff1a;栈顶&#xff08;Top&#xff09;&#xff1a;线性表…
阅读更多...
【C语言蓝桥杯每日一题】—— 单词分析

【C语言蓝桥杯每日一题】—— 单词分析

【C语言蓝桥杯每日一题】—— 单词分析&#x1f60e;前言&#x1f64c;单词分析&#x1f64c;总结撒花&#x1f49e;&#x1f60e;博客昵称&#xff1a;博客小梦 &#x1f60a;最喜欢的座右铭&#xff1a;全神贯注的上吧&#xff01;&#xff01;&#xff01; &#x1f60a;作者…
阅读更多...
三天吃透MySQL面试八股文

三天吃透MySQL面试八股文

本文已经收录到Github仓库&#xff0c;该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点&#xff0c;欢迎star~ Github地址&#xff1a;https://github.com/…
阅读更多...
C 语言编程 — 线程池设计与实现

C 语言编程 — 线程池设计与实现

目录 文章目录目录线程池&#xff08;Thread Pool&#xff09;tiny-threadpool数据结构设计Task / JobTask / Job QueueWorker / ThreadThread Pool ManagerPublic APIsPrivate Functions运行示例线程池&#xff08;Thread Pool&#xff09; 线程池&#xff08;Thread Pool&am…
阅读更多...
Spring Cloud学习笔记【初识微服务基础框架搭建】

Spring Cloud学习笔记【初识微服务基础框架搭建】

文章目录微服务架构介绍架构图核心组件Spring Cloud版本对应基础框架搭建1.建造父工程2.建造子工程user工程建造auth工程建造RestTemplate 实现微服务远程调用RestTemplate 介绍配置RestTemplate测试远程访问总结微服务架构 介绍 微服务架构是一种将应用程序拆分成小型、自治…
阅读更多...
最新文章

Copyright @ 2022~2023