Pandas 【Chapter 6】

关系型连接

在关系型连接中， 键 是十分重要的，往往用 on 参数表示。
另一个重要的要素是连接的形式。在 pandas 中的关系型连接函数 merge 和 join 中提供了 how 参数来代表连接形式，分为左连接 left 、右连接 right 、内连接 inner 、外连接 outer ，它们的区别可以用如下示意图表示：

即只要两边同时出现的值，就以笛卡尔积的方式加入，如果单边出现则根据连接形式进行处理。其中，关于笛卡尔积可用如下例子说明：设左表中键 张三 出现两次，右表中的 张三 也出现两次，那么逐个进行匹配，最后产生的表必然包含 2*2 个姓名为 张三 的行。

值的连接

In [3]: df1 = pd.DataFrame({'Name':['San Zhang','Si Li'],
   ...:                     'Age':[20,30]})
   ...: 

In [4]: df2 = pd.DataFrame({'Name':['Si Li','Wu Wang'],
   ...:                     'Gender':['F','M']})
   ...: 

In [5]: df1.merge(df2, on='Name', how='left')
Out[5]: 
        Name  Age Gender
0  San Zhang   20    NaN
1      Si Li   30      F

• 如果两个表中想要连接的列不具备相同的列名，可以通过 left_on 和 right_on 指定

df1.merge(df2, left_on='df1_name', right_on='df2_name', how='left')

• 如果两个表中的列出现了重复的列名，那么可以通过 suffixes 参数指定。

df1.merge(df2, on='Name', how='left', suffixes=['_Chinese','_Math'])

• 在某些时候出现重复元素是麻烦的，例如两位同学来自不同的班级，但是姓名相同，这种时候就要指定 on 参数为多个列使得正确连接

df1.merge(df2, on=['Name', 'Class'], how='left') 

索引连接

pandas 中利用 join 函数来处理索引连接，它的参数选择要少于 merge ，除了必须的 on 和 how 之外，可以对重复的列指定左右后缀 lsuffix 和 rsuffix 。其中， on 参数指索引名，单层索引时省略参数表示按照当前索引连接。

方向连接

在 concat 中，最常用的有三个参数，它们是 axis, join, keys ，分别表示拼接方向，连接形式，以及在新表中指示来自于哪一张旧表的名字。
当确认要使用多表直接的方向合并时，尤其是横向的合并，可以先用 reset_index 方法恢复默认整数索引再进行合并，防止出现由索引的误对齐和重复索引的笛卡尔积带来的错误结果。

序列与表的合并

在 append 中，如果原表是默认整数序列的索引，那么可以使用 ignore_index=True 对新序列对应索引的自动标号，否则必须对 Series 指定 name 属性。

df1.append(s, ignore_index=True)

对于 assign 而言，虽然可以利用其添加新的列，但一般通过 df['new_col'] = ... 的形式就可以等价地添加新列。同时，使用 [] 修改的缺点是它会直接在原表上进行改动，而 assign 返回的是一个临时副本：

In [45]: s = pd.Series([80, 90])

In [46]: df1.assign(Grade=s)
Out[46]: 
        Name  Age  Grade
0  San Zhang   20     80
1      Si Li   21     90

类连接操作

compare 是在 1.1.0 后引入的新函数，它能够比较两个表或者序列的不同处并将其汇总展示：

In [51]: df1.compare(df2)
Out[51]: 
    Name         Class       
    self  other   self  other
1  Si Li  Li Si    NaN    NaN
2    NaN    NaN  three  Three

结果中返回了不同值所在的行列，如果相同则会被填充为缺失值 NaN ，其中 other 和 self 分别指代传入的参数表和被调用的表自身。如果想要完整显示表中所有元素的比较情况，可以设置 keep_shape=True 。

组合

combine 函数能够让两张表按照一定的规则进行组合，在进行规则比较时会自动进行列索引的对齐。对于传入的函数而言，每一次操作中输入的参数是来自两个表的同名 Series ，依次传入的列是两个表列名的并集

def choose_min(s1, s2):
            s2 = s2.reindex_like(s1)
            res = s1.where(s1<s2, s2)
            res = res.mask(s1.isna()) # isna表示是否为缺失值，返回布尔序列
            return res

df1 = pd.DataFrame({'A':[1,2], 'B':[3,4], 'C':[5,6]})
df2 = pd.DataFrame({'B':[5,6], 'C':[7,8], 'D':[9,10]}, index=[1,2])
df1.combine(df2, choose_min)

Out[12]: 
    A    B    C   D
0 NaN  NaN  NaN NaN
1 NaN  4.0  6.0 NaN
2 NaN  NaN  NaN NaN

• 此外，设置 overtwrite 参数为 False 可以保留 被调用表 中未出现在传入的参数表中的列，而不会设置未缺失值

作业

第一题

import pandas as pd
import numpy as np
import os

path='C:/Users/joyful-pandas-master/data/us_report'
filename=os.listdir(path)
coviddata=pd.DataFrame()

for i in range(0,len(filename),1):
    target_path='C:/Users/joyful-pandas-master/data/us_report/{}'.format(filename[i])
    df=pd.read_csv(target_path)
    coviddata=coviddata.append(df)
    
df_drop=coviddata.loc[coviddata['Province_State']=='New York',['Last_Update','Confirmed','Deaths','Recovered','Active']]

date = pd.date_range('20200412', '20201116').to_series()
#题目的里面的方法我一直报错。date.dt.month.astype('string').str.zfill(2） 
# why?一直说ValueError: StringArray requires a sequence of strings or pandas.NA 
#是因为要用object类型才能用astype('string') 吗
date = date.apply(lambda x: x.strftime('%m-%d-%Y'))
date = date.tolist()

df_drop.sort_values(by='Last_Update')
df_drop=df_drop.assign(Date=date)
df_drop.set_index(["Date"], inplace=True)
df_drop.drop(['Last_Update'],axis=1,inplace=True)
df_drop