动手学深度学习—

动手学深度学习——pandas

1. 简介

作用：对数据进行预处理，是数据科学常使用的库。

支持多种数据格式读取： CSV/Excel/SQL/JSON/HTML
数据清洗：处理缺失值、重复值、异常值、数据转换合并
数据过滤：灵活的索引、切片、筛选功能，方便选择和过滤数据
数据计算：数据分组统计、汇总、聚合、合并、连接
数据可视化：结合matplotlib可以绘制折线图、柱状图、散点图等多种图表

安装：pip install pandas

2. 读取csv

import pandas as pd

data = pd.read_csv(data_file)
print(data)

   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

NaN表示缺失的数据

3. 处理缺失值

数据科学家的一个主要工作：处理缺失的数据（NaN)。
处理缺失值最常用的方法是插值法：用一个替代值来弥补缺失数据。

3.1 数字缺失值处理

对于数字类型的列：可以采用均值来替换NaN

iloc(): 切片
mean()：计算均值
fillna(): 缺失值填充

data.iloc[:, 0:1].mean()

NumRooms    3.0
dtype: float64

data['NumRooms'].fillna(data['NumRooms'].mean(), inplace=True)
data

	NumRooms	Alley	Price
0	3.0			Pave	127500
1	2.0			NaN		106000
2	4.0			NaN		178100
3	3.0			NaN		140000

4. 字符串缺失值处理

对于字符串类型的列，可以采用独热编码，作法是：

将列中所有可能值（包括NaN在内）单独作为一列，例如：Alley拆成“Alley_Pave”和“Alley_nan”
原值为“Pave”的行会将“Alley_Pave”列的值设置为1，其它列设成0
原值缺失的行则会将“Alley_nan”列的值设置为1，其它列设成0

pandas中使用get_dummies函数进行独热编码，参数释义：

dummy_na：是否将缺失值也单独作为一列
columns：指定要进行独热编码的列
dtype: 指定独热编码采用的数据类型

df = pd.get_dummies(data, columns=['Alley'], dummy_na=True, dtype=int)
df

	NumRooms	Price	Alley_Pave	Alley_nan
0	3.0			127500	1			0
1	2.0			106000	0			1
2	4.0			178100	0			1
3	3.0			140000	0			1

5. 转换为张量

将Pandas中的DataFrame转换为PyTorch中的tensor：

import torch

# 或者：Y = torch.tensor(df.values, dtype=torch.float32)
X = torch.tensor(df.to_numpy(dtype=float))
X

tensor([[3.0000e+00, 1.2750e+05, 1.0000e+00, 0.0000e+00],
        [2.0000e+00, 1.0600e+05, 0.0000e+00, 1.0000e+00],
        [4.0000e+00, 1.7810e+05, 0.0000e+00, 1.0000e+00],
        [3.0000e+00, 1.4000e+05, 0.0000e+00, 1.0000e+00]], dtype=torch.float64)