电脑基础 · 2023年3月28日

数据分析之Pandas(2)

3.Pandas

文章目录

    • 3.Pandas
      • 3.3 Pandas进阶
        • 3.3.1 数据重塑和轴向旋转
          • (1)层次化索引
            • Series的层次化索引
            • DataFrame的层次化索引
            • 层次化——电影数据示列
          • (2)数据旋转
        • 3.3.2 数据分组、分组运算
        • 3.3.3 离散化处理
        • 3.3.4 合并数据集
          • (1)append
          • (2)merge
          • (3)concat

3.3 Pandas进阶

import pandas as pd
import numpy as np

3.3.1 数据重塑和轴向旋转

(1)层次化索引

层次化索引是pandas的一项重要功能,他能使我们再一个轴上拥有多个索引

Series的层次化索引
s=pd.Series(np.arange(1,10),index=[['a','a','a','b','b','c','c','d','d'],[1,2,3,1,2,3,1,2,3]])
s
a  1    1
   2    2
   3    3
b  1    4
   2    5
c  3    6
   1    7
d  2    8
   3    9
dtype: int32
s.index
MultiIndex([('a', 1),
            ('a', 2),
            ('a', 3),
            ('b', 1),
            ('b', 2),
            ('c', 3),
            ('c', 1),
            ('d', 2),
            ('d', 3)],
           )
s['a':'b']
a  1    1
   2    2
   3    3
b  1    4
   2    5
dtype: int32
s[:,1]
a    1
b    4
c    7
dtype: int32

通过unstack方法可以将Series变成一个DataFrame

数据分析之Pandas(2)

s.unstack()
1 2 3
a 1.0 2.0 3.0
b 4.0 5.0 NaN
c 7.0 NaN 6.0
d NaN 8.0 9.0
s.unstack().stack()
a  1    1.0
   2    2.0
   3    3.0
b  1    4.0
   2    5.0
c  1    7.0
   3    6.0
d  2    8.0
   3    9.0
dtype: float64
DataFrame的层次化索引

对于DataFrame来说,行和列都能够进行层次化索引。

data=pd.DataFrame(np.arange(12).reshape(4,3))
data
0 1 2
0 0 1 2
1 3 4 5
2 6 7 8
3 9 10 11
data=pd.DataFrame(np.arange(12).reshape(4,3),index=[['a','a','b','b'],[1,2,1,2]])
data
0 1 2
a 1 0 1 2
2 3 4 5
b 1 6 7 8
2 9 10 11
data=pd.DataFrame(np.arange(12).reshape(4,3),index=[['a','a','b','b'],[1,2,1,2]],columns=[['A','A','B'],['Z','X','C']])
data

数据分析之Pandas(2)

选取列

data['A']

数据分析之Pandas(2)

设置名称

data.index.names=['row1','row2']
data

数据分析之Pandas(2)

data.columns.names=['column1','column2']
data

数据分析之Pandas(2)

行顺序调整

data.swaplevel('row1','row2')

数据分析之Pandas(2)

层次化——电影数据示列

数据导入

df=pd.read_excel('movie_data2.xlsx')
df.head()
Unnamed: 0 名字 投票人数 类型 产地 上映时间 时长 年代 评分 首映地点
0 0 肖申克的救赎 692795 剧情/犯罪 美国 1994-09-10 00:00:00 142 1994 9.6 多伦多电影节
1 1 控方证人 42995 剧情/悬疑/犯罪 美国 1957-12-17 00:00:00 116 1957 9.5 美国
2 2 美丽人生 327855 剧情/喜剧/爱情 意大利 1997-12-20 00:00:00 116 1997 9.5 意大利
3 3 阿甘正传 580897 剧情/爱情 美国 1994-06-23 00:00:00 142 1994 9.4 洛杉矶首映
4 4 霸王别姬 478523 剧情/爱情/同性 中国大陆 1993-01-01 00:00:00 171 1993 9.4 香港
df.drop('Unnamed: 0',axis=1)
df.index
RangeIndex(start=0, stop=38166, step=1)

set_index:可以把列变成索引
reset_index:把索引变成列

把产地和年代同时设置成索引,产地是外层索引,年代是内层索引

df=df.set_index(['产地','年代'])
df.head()

数据分析之Pandas(2)

每一个索引都是一个元组

df.index[0]
('美国', 1994)

获取所有的美国电影,由于产地信息已经变成了索引,因此可以用loc方法

df.loc['美国'].head()

| | 名字 | 投票人数 | 类型 | 上映时间 | 时长 | 评分 | 首映地点 |
| —: | —: | -----------: | -------: | -------------: | ------------------: | —: | —: | -----------: |
| 年代 | | | | | | | |
| 1994 | 肖申克的救赎 | 692795 | 剧情/犯罪 | 1994-09-10 00:00:00 | 142 | 9.6 | 多伦多电影节 |
| 1957 | 控方证人 | 42995 | 剧情/悬疑/犯罪 | 1957-12-17 00:00:00 | 116 | 9.5 | 美国 |
| 1994| 阿甘正传 | 580897 | 剧情/爱情 | 1994-06-23 00:00:00 | 142 | 9.4 | 洛杉矶首映 |
| 2012 | 泰坦尼克号 | 157074 | 剧情/爱情/灾难 | 2012-04-10 00:00:00 | 194 | 9.4 | 中国大陆 |
| 1993 | 辛德勒的名单 | 306904 | 剧情/历史/战争 | 1993-11-30 00:00:00 | 195 | 9.4 | 华盛顿首映 |

这样做最大的好处就是我们可以简化很多的筛选环节

索引交换 swaplevel

df=df.swaplevel('产地','年代')
df.head()

数据分析之Pandas(2)

取消层次化索引

df=df.reset_index()
df.head()
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 00:00:00 142 9.6 多伦多电影节
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 00:00:00 116 9.5 美国
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 00:00:00 116 9.5 意大利
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 00:00:00 142 9.4 洛杉矶首映
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.4 香港
(2)数据旋转

行列转化

data=df[:5]
data
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 00:00:00 142 9.6 多伦多电影节
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 00:00:00 116 9.5 美国
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 00:00:00 116 9.5 意大利
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 00:00:00 142 9.4 洛杉矶首映
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.4 香港

T 可以直接让数据的行和列进行交换

data.T
0 1 2 3 4
年代 1994 1957 1997 1994 1993
产地 美国 美国 意大利 美国 中国大陆
Unnamed: 0 0 1 2 3 4
名字 肖申克的救赎 控方证人 美丽人生 阿甘正传 霸王别姬
投票人数 692795 42995 327855 580897 478523
类型 剧情/犯罪 剧情/悬疑/犯罪 剧情/喜剧/爱情 剧情/爱情 剧情/爱情/同性
上映时间 1994-09-10 00:00:00 1957-12-17 00:00:00 1997-12-20 00:00:00 1994-06-23 00:00:00 1993-01-01 00:00:00
时长 142 116 116 142 171
评分 9.6 9.5 9.5 9.4 9.4
首映地点 多伦多电影节 美国 意大利 洛杉矶首映 香港

dataframe也可以使用stack和unstack,转化为层次索引的Series

data.stack()
0  年代                           1994
   产地                             美国
   Unnamed: 0                      0
   名字                         肖申克的救赎
   投票人数                       692795
   类型                          剧情/犯罪
   上映时间          1994-09-10 00:00:00
   时长                            142
   评分                            9.6
   首映地点                       多伦多电影节
1  年代                           1957
   产地                             美国
   Unnamed: 0                      1
   名字                           控方证人
   投票人数                        42995
   类型                       剧情/悬疑/犯罪
   上映时间          1957-12-17 00:00:00
   时长                            116
   评分                            9.5
   首映地点                           美国
2  年代                           1997
   产地                            意大利
   Unnamed: 0                      2
   名字                          美丽人生
   投票人数                       327855
   类型                       剧情/喜剧/爱情
   上映时间          1997-12-20 00:00:00
   时长                            116
   评分                            9.5
   首映地点                          意大利
3  年代                           1994
   产地                             美国
   Unnamed: 0                      3
   名字                           阿甘正传
   投票人数                       580897
   类型                          剧情/爱情
   上映时间          1994-06-23 00:00:00
   时长                            142
   评分                            9.4
   首映地点                        洛杉矶首映
4  年代                           1993
   产地                           中国大陆
   Unnamed: 0                      4
   名字                           霸王别姬
   投票人数                       478523
   类型                       剧情/爱情/同性
   上映时间          1993-01-01 00:00:00
   时长                            171
   评分                            9.4
   首映地点                           香港
dtype: object
data.stack().unstack()
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 142 9.6 多伦多电影节
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 116 9.5 美国
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 116 9.5 意大利
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 142 9.4 洛杉矶首映
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 171 9.4 香港

3.3.2 数据分组、分组运算

GroupBy技术:实现数据的分组,和分组运算,作用类似于数据透视表

数据分析之Pandas(2)

按照电影产地进行分组

先定义一个分组变量group

group=df.groupby(df['产地'])
group
<pandas.core.groupby.generic.DataFrameGroupBy object at 0x000002238D9028B0>

可以计算分组后的各个统计量

group.mean().head()
年代 Unnamed: 0 投票人数 时长 评分
产地
中国台湾 1999.009709 19350.590615 8474.864078 87.257282 7.066667
中国大陆 2004.599684 20391.791426 10898.293793 81.432930 6.064703
中国香港 1991.100316 19230.117152 8167.446159 88.541214 6.474114
丹麦 1999.090909 20415.611111 1993.858586 88.101010 7.245960
俄罗斯 1992.534129 20061.753479 2098.813784 93.280981 7.310736

计算每年的平均评分

df['评分'].groupby(df['年代']).mean().head()
年代
1888    7.950000
1890    4.800000
1892    7.500000
1894    6.633333
1895    7.575000
Name: 评分, dtype: float64

只会对数值变量进行分组运算

df['年代']=df['年代'].astype('str')
df.groupby(df['产地']).mean().head()
Unnamed: 0 投票人数 时长 评分
产地
中国台湾 19350.590615 8474.864078 87.257282 7.066667
中国大陆 20391.791426 10898.293793 81.432930 6.064703
中国香港 19230.117152 8167.446159 88.541214 6.474114
丹麦 20415.611111 1993.858586 88.101010 7.245960
俄罗斯 20061.753479 2098.813784 93.280981 7.310736

我们也可以传入多个分组变量

df.groupby([df['产地'],df['年代']]).mean().head()
Unnamed: 0 投票人数 时长 评分
产地 年代
中国台湾 1963 14805.0 121.000000 113.0 6.4
1965 30282.0 153.666667 105.0 6.8
1966 26305.0 51.000000 60.0 7.9
1967 16605.0 4444.000000 112.0 8.0
1968 21282.5 89.000000 83.0 7.4

获得每个地区,每一年的电影的评分的均值

df['评分'].groupby([df['产地'],df['年代']]).mean()
产地    年代
中国台湾  1963    6.400000
      1965    6.800000
      1966    7.900000
      1967    8.000000
      1968    7.400000
                ...
韩国    2012    6.064151
      2013    6.098198
      2014    5.650833
      2015    5.423853
      2016    5.730000
Name: 评分, Length: 1511, dtype: float64

Series通过unstack方法转化为dataframe——会产生缺失值

df['评分'].groupby([df['产地'],df['年代']]).mean().unstack().head()
年代 1888 1890 1892 1894 1895 1896 1897 1898 1899 1900 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
产地
中国台湾 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 7.420000 7.100000 7.053846 7.231818 6.556098 7.076471 6.522222 6.576000 NaN NaN
中国大陆 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 6.589726 6.536628 6.357831 5.824606 5.727187 5.316667 4.963757 4.969189 4.712000 NaN
中国香港 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 6.476786 6.442553 6.245455 5.971053 6.110526 6.105714 5.616667 5.589189 5.390909 NaN
丹麦 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 7.050000 7.118182 7.362500 7.016667 7.418750 6.555556 7.120000 7.166667 7.000000 NaN
俄罗斯 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 7.024468 6.922727 6.974324 7.006000 6.784127 6.890566 6.965957 7.089655 NaN NaN

5 rows × 127 columns

3.3.3 离散化处理

再实际的数据分析项目中,对有的数据属性,我们往往并不关注数据的绝对取值,只关注它所处的区间或等级。
比如我们可以把评分9分及以上定义为A,7-9分为B,5-7分为C,3-5分为D,小于3分的为E。

离散化也可以称为分组、区间化

Pandas为我们提供了方便的函数cut():
pd.cut (x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False)
参数:
x:需要离散化的数组、Series、DataFrame对象
bins:分组的依据
right=True:默认包括右端点
include_lowest=False:默认不包括左端点
labels:是否要用标记替换分组
retbins:返回x中对应的bins的列表
precision:精度

df['评分等级']=pd.cut(df['评分'],[0,3,5,7,9,10],labels=['E','D','C','B','A'])
df
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 00:00:00 142 9.600000 多伦多电影节 A
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 00:00:00 116 9.500000 美国 A
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 00:00:00 116 9.500000 意大利 A
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 00:00:00 142 9.400000 洛杉矶首映 A
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.400000 香港 A
38725 1935 美国 38728 1935年 57 喜剧/歌舞 1935-03-15 00:00:00 98 7.600000 美国 B
38726 1986 中国大陆 38729 血溅画屏 95 剧情/悬疑/犯罪/武侠/古装 1905-06-08 00:00:00 91 7.100000 美国 B
38727 1986 中国大陆 38730 魔窟中的幻想 51 惊悚/恐怖/儿童 1905-06-08 00:00:00 78 8.000000 美国 B
38728 1977 俄罗斯 38731 列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме… 32 剧情/战争 1905-05-30 00:00:00 97 6.600000 美国 C
38729 2017 美国 38732 复仇者联盟3 123456 剧情/科幻 2017-05-04 00:00:00 142 6.935704 美国 C

38730 rows × 11 columns

根据投票人数来刻画电影的热门
投票人数越多,热门程度越高

使用 np.percentile 进行分位数计算

bins=np.percentile(df['投票人数'],[0,20,40,60,80,100])
df['热门程度']=pd.cut(df['投票人数'],bins,labels=['E','D','C','B','A'])
df
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级 热门程度
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 00:00:00 142 9.600000 多伦多电影节 A A
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 00:00:00 116 9.500000 美国 A A
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 00:00:00 116 9.500000 意大利 A A
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 00:00:00 142 9.400000 洛杉矶首映 A A
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.400000 香港 A A
38725 1935 美国 38728 1935年 57 喜剧/歌舞 1935-03-15 00:00:00 98 7.600000 美国 B E
38726 1986 中国大陆 38729 血溅画屏 95 剧情/悬疑/犯罪/武侠/古装 1905-06-08 00:00:00 91 7.100000 美国 B D
38727 1986 中国大陆 38730 魔窟中的幻想 51 惊悚/恐怖/儿童 1905-06-08 00:00:00 78 8.000000 美国 B E
38728 1977 俄罗斯 38731 列宁格勒围困之星火战役 Блокада: Фильм 2: Ленинградский ме… 32 剧情/战争 1905-05-30 00:00:00 97 6.600000 美国 C E
38729 2017 美国 38732 复仇者联盟3 123456 剧情/科幻 2017-05-04 00:00:00 142 6.935704 美国 C A

38730 rows × 12 columns

查看烂片:投票人数多,评分低

df[(df.热门程度=='A')&(df.评分等级=='E')]
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级 热门程度
655 2011 中国大陆 655 B区 5187 剧情/惊悚/恐怖 2011-06-03 00:00:00 89 2.3 中国大陆 E A
4376 2014 中国大陆 4376 怖偶 4867 悬疑/惊悚 2014-05-07 00:00:00 88 2.8 中国大陆 E A
5413 2011 中国大陆 5413 床下有人 4309 悬疑/惊悚 2011-10-14 00:00:00 100 2.8 中国大陆 E A
6802 2013 中国大陆 6802 帝国秘符 4351 动作/冒险 2013-09-18 00:00:00 93 3.0 中国大陆 E A
8232 2011 中国大陆 8232 飞天 4764 剧情 2011-07-01 00:00:00 115 2.9 中国大陆 E A
8406 2014 中国大陆 8406 分手达人 3937 喜剧/爱情 2014-06-06 00:00:00 90 2.7 中国大陆 E A
9601 2012 中国大陆 9601 孤岛惊魂 2982 悬疑/惊悚/恐怖 2013-01-26 00:00:00 93 2.8 中国大陆 E A
10513 2013 中国大陆 10513 海天盛宴·韦口 3788 情色 2013-10-12 00:00:00 88 2.9 网络 E A
16799 2013 中国大陆 16799 孪生密码 6390 动作/悬疑 2013-11-08 00:00:00 96 2.9 中国大陆 E A
21533 2010 日本 21536 拳皇 6329 动作/科幻/冒险 2012-10-12 00:00:00 93 3.0 中国大陆 E A
22705 2013 中国大陆 22708 闪魂 3119 惊悚/犯罪 2014-02-21 00:00:00 94 2.6 中国大陆 E A
22883 2015 中国大陆 22886 少年毛泽东 3058 动画/儿童/冒险 2015-04-30 00:00:00 76 2.4 中国大陆 E A
24128 2013 英国 24131 史前怪兽 3543 动作/惊悚/冒险 2014-01-01 00:00:00 89 3.0 中国大陆 E A
28261 2011 中国大陆 28264 无极限之危情速递 6319 喜剧/动作/爱情/冒险 2011-08-12 00:00:00 94 2.8 中国大陆 E A
32098 2010 中国大陆 32101 异度公寓 3639 惊悚 2010-06-04 00:00:00 93 2.7 中国大陆 E A
32491 2014 中国大陆 32494 英雄之战 8359 动作/爱情 2014-03-21 00:00:00 90 3.0 中国大陆 E A
32664 2013 中国大陆 32667 咏春小龙 8861 剧情/动作 2013-07-20 00:00:00 90 3.0 中国大陆 E A
33488 2014 中国大陆 33491 再爱一次好不好 6999 喜剧/爱情 2014-04-11 00:00:00 94 3.0 中国大陆 E A
38657 2014 中国大陆 38660 大话天仙 21629 喜剧/奇幻/古装 2014-02-02 00:00:00 91 3.0 中国大陆 E A
38659 2013 中国大陆 38662 天机·富春山居图 74709 动作/冒险 2013-06-09 00:00:00 122 2.9 中国大陆 E A
38660 2014 中国大陆 38663 特工艾米拉 10852 动作/悬疑 2014-04-11 00:00:00 96 2.7 中国大陆 E A
38664 2015 中国大陆 38667 汽车人总动员 12892 喜剧/动画/冒险 2015-07-03 00:00:00 85 2.3 中国大陆 E A
38669 2016 中国大陆 38672 2016年中央电视台春节 17328 歌舞/真人秀 2016-02-07 00:00:00 280 2.3 中国大陆 E A
38675 2014 中国大陆 38678 放手爱 29254 喜剧/爱情 2014-04-30 00:00:00 93 2.3 中国大陆 E A

冷门高分电影

df[(df.热门程度=='E')&(df.评分等级=='A')]
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级 热门程度
456 2015 美国 456 未知电影 45 音乐 2015-12-14 00:00:00 60 9.3 美国 A E
587 2011 英国 587 BBC喜剧音 38 喜剧/音乐/歌舞 2011-08-13 00:00:00 95 9.3 美国 A E
642 2003 美国 642 未知电影 38 纪录片/音乐 2003-02-03 00:00:00 55 9.2 美国 A E
686 2014 英国 686 未知电影 63 音乐/舞台艺术 2014-05-18 00:00:00 49 9.5 美国 A E
698 2008 英国 698 未知电影 52 纪录片 2008-07-25 00:00:00 40 9.8 美国 A E
37579 1986 英国 37582 歌唱神探 36 剧情/悬疑/歌舞 1986-11-16 00:00:00 415 9.1 美国 A E
37705 1972 美国 37708 未知电影 56 纪录片 1972-12-23 00:00:00 70 9.3 美国 A E
38111 1975 美国 38114 山那边 70 剧情 1975-11-14 00:00:00 103 9.1 美国 A E
38444 2015 美国 38447 62 纪录片/短片 2015-08-19 00:00:00 9 9.1 纽约电影论坛 A E
38500 2007 英国 38503 未知电影 41 纪录片/短片 1905-06-29 00:00:00 57 9.2 美国 A E

245 rows × 12 columns

将处理的数据保存

df.to_excel('movies_data3.xlsx')

3.3.4 合并数据集

(1)append

先把数据集拆分为多个,再进行合并

df_usa=df[df.产地=='美国']
df_cn=df[df.产地=='中国大陆']
df_cn.append(df_usa)
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级 热门程度
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.400000 香港 A A
21 1961 中国大陆 21 大闹天宫 74881 动画/奇幻 1905-05-14 00:00:00 114 9.200000 上集 A A
29 2015 中国大陆 29 穹顶之下 51113 纪录片 2015-02-28 00:00:00 104 9.200000 中国大陆 A A
38 1982 中国大陆 38 茶馆 10678 剧情/历史 1905-06-04 00:00:00 118 9.200000 美国 A A
45 1988 中国大陆 45 山水情 10781 动画/短片 1905-06-10 00:00:00 19 9.200000 美国 A A
38718 1987 美国 38721 零下的激情 199 剧情/爱情/犯罪 1987-11-06 00:00:00 98 7.400000 美国 B D
38720 1986 美国 38723 离别秋波 240 剧情/爱情/音乐 1986-02-19 00:00:00 90 8.200000 美国 B C
38723 1986 美国 38726 极乐森林 45 纪录片 1986-09-14 00:00:00 90 8.100000 美国 B E
38725 1935 美国 38728 1935年 57 喜剧/歌舞 1935-03-15 00:00:00 98 7.600000 美国 B E
38729 2017 美国 38732 复仇者联盟3 123456 剧情/科幻 2017-05-04 00:00:00 142 6.935704 美国 C A

15781 rows × 12 columns

(2)merge

pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixes=(‘_x’,‘_y’), copy=True, indicator=False)

left:对象
right:另一个对象
on:要加入的列。必须在左、右综合对象中找到。如果不能通过,left_index和right_index是假,将推断DataFrame中的列的交叉点为连接键
left_on:从左边的综合使用作为键列。可以是列名或数组的长度等于长度综合。
right_on:从右边的综合使用作为键列。可以是列名或数组的长度等于长度综合。
left_index:如果为True,则使用索引(行标签)从左综合作为其连接键。在与多重(层次)的综合,级别数必须匹配连接键从右综合的数目。
right_index:先沟通用法作为正确综合left_index。
how:之一‘左’,‘右’,‘外在’,‘内部’。默认为内联。
sort:综合通过连接键按字典顺序对结果进行排序。默认为True,设置为False在大多数情况下将提高性能。
suffixes:字符串后缀并不适用于重叠列的元组。默认为(‘_x’,‘_y’)
copy:即使重新索引是不必要总是从传递的综合对象,赋值的数据(默认为True)。在许多情况下不能避免,但可能会提高性能/内存使用情况,可以避免赋值上述案件有些病理,但尽管如此提供此选项。
indicator:将列添加到输出综合呼吁_merge与信息源的每一行。_merge是绝对类型,并对观测其合并键只出现在‘左’的综合,关策其合并键只会出现在‘正确’的综合,和两个如果观测合并关键发现在两个 right_only left_only 的值。

选取6部热门电影进行操作

df1=df.loc[:5]
df1
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级 热门程度
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 00:00:00 142 9.6 多伦多电影节 A A
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 00:00:00 116 9.5 美国 A A
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 00:00:00 116 9.5 意大利 A A
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 00:00:00 142 9.4 洛杉矶首映 A A
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.4 香港 A A
5 2012 美国 5 泰坦尼克号 157074 剧情/爱情/灾难 2012-04-10 00:00:00 194 9.4 中国大陆 A A
df2=df.loc[:5][['名字','产地']]
df2['票房']=[111,222,333,444,555,666]
df2
名字 产地 票房
0 肖申克的救赎 美国 111
1 控方证人 美国 222
2 美丽人生 意大利 333
3 阿甘正传 美国 444
4 霸王别姬 中国大陆 555
5 泰坦尼克号 美国 666
##打乱样本
df2=df2.sample(frac=1)
df2
名字 产地 票房
0 肖申克的救赎 美国 111
5 泰坦尼克号 美国 666
4 霸王别姬 中国大陆 555
2 美丽人生 意大利 333
1 控方证人 美国 222
3 阿甘正传 美国 444
## 重新设置索引
df2.index=range(len(df2))
df2
名字 产地 票房
0 肖申克的救赎 美国 111
1 泰坦尼克号 美国 666
2 霸王别姬 中国大陆 555
3 美丽人生 意大利 333
4 控方证人 美国 222
5 阿甘正传 美国 444

对df1和df2进行合并

pd.merge(df1,df2,how='inner',on='名字')
年代 产地_x Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级 热门程度 产地_y 票房
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 00:00:00 142 9.6 多伦多电影节 A A 美国 111
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 00:00:00 116 9.5 美国 A A 美国 222
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 00:00:00 116 9.5 意大利 A A 意大利 333
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 00:00:00 142 9.4 洛杉矶首映 A A 美国 444
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.4 香港 A A 中国大陆 555
5 2012 美国 5 泰坦尼克号 157074 剧情/爱情/灾难 2012-04-10 00:00:00 194 9.4 中国大陆 A A 美国 666

两个样本都有 产地 列,所以会有两个产地列

(3)concat

将多个数据集进行批量合并

df1=df[:5]
df2=df[100:105]
df3=df[200:205]
print(df1)
print(df2)
print(df3)
     年代    产地  Unnamed: 0      名字    投票人数        类型                 上映时间   时长  \
0  1994    美国           0  肖申克的救赎  692795     剧情/犯罪  1994-09-10 00:00:00  142
1  1957    美国           1    控方证人   42995  剧情/悬疑/犯罪  1957-12-17 00:00:00  116
2  1997   意大利           2   美丽人生   327855  剧情/喜剧/爱情  1997-12-20 00:00:00  116
3  1994    美国           3    阿甘正传  580897     剧情/爱情  1994-06-23 00:00:00  142
4  1993  中国大陆           4    霸王别姬  478523  剧情/爱情/同性  1993-01-01 00:00:00  171
    评分    首映地点 评分等级 热门程度
0  9.6  多伦多电影节    A    A
1  9.5      美国    A    A
2  9.5     意大利    A    A
3  9.4   洛杉矶首映    A    A
4  9.4      香港    A    A
       年代  产地  Unnamed: 0          名字    投票人数        类型                 上映时间  \
100  1993  韩国         100         101     146     喜剧/爱情  1993-06-19 00:00:00
101  1995  英国         101          10     186        喜剧  1995-01-25 00:00:00
102  2013  韩国         102          素媛  114819     剧情/家庭  2013-10-02 00:00:00
103  2003  美国         103  101忠狗续集:伦敦     924  喜剧/动画/家庭  2003-01-21 00:00:00
104  2000  美国         104          10    9514     喜剧/家庭  2000-09-22 00:00:00
      时长   评分 首映地点 评分等级 热门程度
100  112  7.4   韩国    B    D
101  101  7.4   美国    B    D
102  123  9.1   韩国    A    A
103   70  7.5   美国    B    B
104  100  7.0   美国    C    A
       年代    产地  Unnamed: 0              名字   投票人数        类型  \
200  2014    日本         200  最完美的离婚 2014特别篇  18478  剧情/喜剧/爱情
201  2009    日本         201          2001夜物     84     剧情/动画
202  2009  中国香港         202            头七 頭   7039        恐怖
203  1896    法国         203          火车进站 L   7001    纪录片/短片
204  2009    美国         204            银行舞蹈   6944        短片
                    上映时间   时长   评分 首映地点 评分等级 热门程度
200  2014-02-08 00:00:00  120  9.1   日本    A    A
201  2009-10-02 00:00:00   80  6.6   美国    C    D
202  2009-05-21 00:00:00   60  6.2   美国    C    A
203           1896-01-06   60  8.8   法国    B    A
204  1905-07-01 00:00:00   60  7.8   美国    B    A
dff=pd.concat([df1,df2,df3],axis=0) ##默认axis=0 增加行数,axis=1增加列数
dff
年代 产地 Unnamed: 0 名字 投票人数 类型 上映时间 时长 评分 首映地点 评分等级 热门程度
0 1994 美国 0 肖申克的救赎 692795 剧情/犯罪 1994-09-10 00:00:00 142 9.6 多伦多电影节 A A
1 1957 美国 1 控方证人 42995 剧情/悬疑/犯罪 1957-12-17 00:00:00 116 9.5 美国 A A
2 1997 意大利 2 美丽人生 327855 剧情/喜剧/爱情 1997-12-20 00:00:00 116 9.5 意大利 A A
3 1994 美国 3 阿甘正传 580897 剧情/爱情 1994-06-23 00:00:00 142 9.4 洛杉矶首映 A A
4 1993 中国大陆 4 霸王别姬 478523 剧情/爱情/同性 1993-01-01 00:00:00 171 9.4 香港 A A
100 1993 韩国 100 101 146 喜剧/爱情 1993-06-19 00:00:00 112 7.4 韩国 B D
101 1995 英国 101 10 186 喜剧 1995-01-25 00:00:00 101 7.4 美国 B D
102 2013 韩国 102 素媛 114819 剧情/家庭 2013-10-02 00:00:00 123 9.1 韩国 A A
103 2003 美国 103 101忠狗续集:伦敦 924 喜剧/动画/家庭 2003-01-21 00:00:00 70 7.5 美国 B B
104 2000 美国 104 10 9514 喜剧/家庭 2000-09-22 00:00:00 100 7.0 美国 C A
200 2014 日本 200 最完美的离婚 2014特别篇 18478 剧情/喜剧/爱情 2014-02-08 00:00:00 120 9.1 日本 A A
201 2009 日本 201 2001夜物 84 剧情/动画 2009-10-02 00:00:00 80 6.6 美国 C D
202 2009 中国香港 202 头七 頭 7039 恐怖 2009-05-21 00:00:00 60 6.2 美国 C A
203 1896 法国 203 火车进站 L 7001 纪录片/短片 1896-01-06 60 8.8 法国 B A
204 2009 美国 204 银行舞蹈 6944 短片 1905-07-01 00:00:00 60 7.8 美国 B A