阅读 21 SEO

数据处理基石:Pandas数据探索

Pandas数据初探索

本文介绍的是Pandas数据初探索。当我们生成或者导入了数据之后,通过数据的探索工作能够快速了解和认识数据基本信息,比如数据中字段的类型、索引、最值、缺失值等,可以让我们对数据的全貌有一个初步了解。

image

思维导图

image

模拟数据

本文中的方法介绍使用的是一份模拟数据,有字符型、数值型,还有时间类型;同时数据刻意存在了缺失值:

image

使用pandas的read_excel方法对数据进行读取:

image

同时生成一个Series类型数据:

image

数据样本

头尾数据查看

  • head(N):默认是头部5条,可以指定查看N条
  • tail(N):默认是尾部5条,可以指定查看N条
image

随机查看sample

默认是随机看一条数据,也可以指定查看的条数:

image

查看数据形状shape

在这里的形状指的是数据有多少行和多少列,通过查看数据的shape就能知道数据的大小

  • DataFrame类型:两个数值,表示行和列
  • Series类型:只有行数
image

数据大小size

数据大小表示的是数据中总共有多少个数据,即shape方法的结果中两个数值相乘

df.size  # 56=7*8

数据维度ndim

表示数据是多少维,比如二维,三维等

image

数据基本信息info

显示数据类型、索引情况、行列数、列属性名称、占用的内存等信息;Series数据没有该方法

image

数据类型dtypes

df.dtypes  # 每个列属性的数据类型
s.dtype  # 没有s,结果一个类型
image

列属性和行索引

通过axes来查看;DataFrame数据既有行索引也有列名,Series数据只有行索引。

image

查看行索引

通过专门的index属性来查看行索引

image

查看列属性

df.columns
image

查看数据

两个方法或属性查看:

  • values
  • to_numpy()
image

查看缺失值

在数据帧中如果存在缺失值,则用True表示,否则取值为False:

image

查看内存情况memory_usage()

查看每列的内存使用情况,以字节为单位:

df.memory_usage()
s.memory_usage()
image

统计信息

描述信息只针对数值型的数据,可以看到该字段中数据的统计值信息

整体信息describe

返回的是数值型数据中的个数、均值、方差、四分位数等统计值情况

df.describe()
image

查看均值

一般 DataFrame 计算后为一个 Series,Series 计算后是一个具体的数值

下面的代码是按照列来计算均值:

df.mean()  # 按列计算

# 结果
age         21.714286
chinese    111.285714
math       117.000000
english    119.571429
dtype: float64

查看某个列的均值:

df["math"].mean()  # 117.0

下面的代码是按照行来计算均值:

df.mean(1)  # 按照行计算

0    89.50
1    96.25
2    87.50
3    93.50
4    89.25
5    95.50
6    95.25
dtype: float64
image

Pandas内置数学计算方法

Pandas中内置的多种数学计算函数

# 默认按照列0计算,1表示按照行计算

df.abs() # 绝对值
df.mode() # 众数
df.mean() # 返回所有列的均值
df.mean(1) # 返回所有行的均值
df.max() # 返回每一列的最大值
df.min() # 返回每一列的最小值
df.median() # 返回每一列的中位数
df.std() # 返回每一列的标准差, 贝塞尔校正的样本标准偏差
df.var() # 无偏方差
df.corr() # 返回列与列之间的相关系数
df.count() # 返回每一列中的非空值的个数
df.prod() # 连乘
df.mad() # 平均绝对偏差
df.cumprod() # 累积连乘,累乘
df.cumsum(axis=0) # 累积连加,累加
df.nunique() # 去重数量,不同值的量
df.sem() # 平均值的标准误差
df.idxmax() # 每列最大的值的索引名
df.idxmin() # 最小
df.cummin() # 累积最小值
df.cummax() # 累积最大值
df.skew() # 样本偏度 (第三阶)
df.kurt() # 样本峰度 (第四阶)
df.quantile() # 样本分位数 (不同 % 的值)

总结

本文主要是对Pandas中的数据探索做了一个详细介绍,帮助我们快速了解数据的基本信息,同时也方便后续的数据处理和分析。

作者:皮皮大

原文链接:https://www.jianshu.com/p/71eb6c6522ca

文章分类
后端
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 gxwowoo@163.com 举报,一经查实,本站将立刻删除。
相关推荐