|
|
# 3.2 数据预处理常用技巧---标准化
|
|
|
|
|
|
|
|
|
## 为什么要进行标准化
|
|
|
|
|
|
对于大多数数据挖掘算法来说，数据集的标准化是基本要求。这是因为有些数据挖掘算法中需要计算距离或梯度等信息，而这些信息需要数据中的特征处于同一量纲内才会有比较好的效果。
|
|
|
|
|
|
比如现在问你个问题，是 1000 克的棉花重，还是 1 公斤的铁重？你肯定能不假思索的回答：一样重！但是，有些数据挖掘算法会觉得 1000 克的棉花重，因为它并不会看 1000 后面的单位是克还是公斤。所以如果想要使用这类算法来进行数据挖掘，那么首先要做的事情就是对数据进行标准化，因为标准化能够解决特征量纲不一致的问题。
|
|
|
|
|
|
## Z-score标准化
|
|
|
|
|
|
这种方法基于原始数据的均值和标准差进行数据的标准化。对特征`A`的原始值`x`使用`z-score`标准化，将其值标准化为到`x’`。`z-score`标准化方法适用于特征`A`的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。将数据按其特征(按列进行)减去其均值，然后除以其方差。最后得到的结果是，对每个特征/每列来说所有数据都聚集在`0`附近，方差值为`1`。数学公式如下：
|
|
|
|
|
|
$$
|
|
|
x^,=\frac{x-x_{mean}}{x_{std}}
|
|
|
$$
|
|
|
|
|
|
|
|
|
`sklearn`的`preprocessing`模块中的函数`scale`实现了`Z-score`标准化的功能。实例代码如下：
|
|
|
|
|
|
```python
|
|
|
# 导入preprocessing模块
|
|
|
from sklearn import preprocessing
|
|
|
# 导入numpy库
|
|
|
import numpy as np
|
|
|
|
|
|
# 定义数据，该数据中有3条记录，每条记录有3个特征
|
|
|
X_train = np.array([[ 1., -1., 2.],
|
|
|
[ 2., 0., 0.],
|
|
|
[ 0., 1., -1.]])
|
|
|
|
|
|
# 对数据进行z-score标准化，并将结果保存至X_scaled
|
|
|
X_scaled = preprocessing.scale(X_train)
|
|
|
|
|
|
# z-score标准化的结果
|
|
|
>>>X_scaled
|
|
|
array([[ 0. ..., -1.22..., 1.33...],
|
|
|
[ 1.22..., 0. ..., -0.26...],
|
|
|
[-1.22..., 1.22..., -1.06...]])
|
|
|
```
|
|
|
|
|
|
从结果上看，可以看出`scale`函数好像起了作用，为了验证标准化是否正确，我们可以检查一下`X_scaled`的均值和方差。代码如下：
|
|
|
|
|
|
```python
|
|
|
# 计算X_scaled中每个特征的均值，发现全是0
|
|
|
>>> X_scaled.mean(axis=0)
|
|
|
array([ 0., 0., 0.])
|
|
|
|
|
|
# 计算X_scaled中每个特征的方差，发现全是1
|
|
|
>>> X_scaled.std(axis=0)
|
|
|
array([ 1., 1., 1.])
|
|
|
```
|
|
|
|
|
|
嗯，不错，`scale`成功地对数据进行了标准化。
|
|
|
|
|
|
|
|
|
## Min-max标准化
|
|
|
|
|
|
`Min-max`标准化方法是对原始数据进行线性变换。设`minA`和`maxA`分别为特征`A`的最小值和最大值，将`A`的一个原始值`x`通过`min-max`标准化映射成在区间`[0,1]`中的值`x'`，其公式为：
|
|
|
|
|
|
$$
|
|
|
x^, = \frac{x-x_{min}}{x_{max}-x_{min}}
|
|
|
$$
|
|
|
|
|
|
|
|
|
`sklearn`的`preprocessing`模块中的`MinMaxScaler`类的`fit_transform`函数实现了`Min-max`标准化的功能。实例代码如下：
|
|
|
|
|
|
```python
|
|
|
# 导入preprocessing模块
|
|
|
from sklearn import preprocessing
|
|
|
# 导入numpy库
|
|
|
import numpy as np
|
|
|
|
|
|
# 定义数据，该数据中有3条记录，每条记录有3个特征
|
|
|
X_train = np.array([[ 1., -1., 2.],
|
|
|
[ 2., 0., 0.],
|
|
|
[ 0., 1., -1.]])
|
|
|
|
|
|
# 实例化MinMaxScaler对象
|
|
|
min_max_scaler = preprocessing.MinMaxScaler()
|
|
|
# 对数据进行Min-max标准化，并将结果保存至X_train_minmax
|
|
|
X_train_minmax = min_max_scaler.fit_transform(X_train)
|
|
|
|
|
|
# Min-max标准化的结果
|
|
|
>>> X_train_minmax
|
|
|
array([[ 0.5 , 0. , 1. ],
|
|
|
[ 1. , 0.5 , 0.33333333],
|
|
|
[ 0. , 1. , 0. ]])
|
|
|
```
|
|
|
|
|
|
可以看出，经过`Min-max`标准化后，数据中的所有特征值都缩放到了`[0, 1]`的区间内。
|
|
|
|
|
|
|
|
|
## MaxAbs标准化
|
|
|
|
|
|
`MaxAbs`的工作原理与`Min-max`非常相似，但是它只通过除以每个特征的最大值将训练数据特征缩放至 `[-1, 1]` 范围内，这就意味着，训练数据应该是已经零中心化或者是稀疏数据。公式如下：
|
|
|
|
|
|
$$
|
|
|
x^, = \frac{x}{x_{max}}
|
|
|
$$
|
|
|
|
|
|
`sklearn`的`preprocessing`模块中的`MaxAbsScaler`类的`fit_transform`函数实现了`MaxAbs`标准化的功能。实例代码如下：
|
|
|
|
|
|
```python
|
|
|
# 导入preprocessing模块
|
|
|
from sklearn import preprocessing
|
|
|
# 导入numpy库
|
|
|
import numpy as np
|
|
|
|
|
|
# 定义数据，该数据中有3条记录，每条记录有3个特征
|
|
|
X_train = np.array([[ 1., -1., 2.],
|
|
|
[ 2., 0., 0.],
|
|
|
[ 0., 1., -1.]])
|
|
|
|
|
|
# 实例化MaxAbsScaler对象
|
|
|
max_abs_scaler = preprocessing.MaxAbsScaler()
|
|
|
# 对数据进行MaxAbs标准化，并将结果保存至X_train_maxabs
|
|
|
X_train_maxabs = max_abs_scaler.fit_transform(X_train)
|
|
|
|
|
|
# MaxAbs标准化的结果
|
|
|
>>> X_train_maxabs
|
|
|
array([[ 0.5, -1. , 1. ],
|
|
|
[ 1. , 0. , 0. ],
|
|
|
[ 0. , 1. , -0.5]])
|
|
|
```
|
|
|
|
|
|
可以看出，经过`MaxAbs`标准化后，数据中的所有特征值都缩放到了`[-1, 1]`的区间内。
|
|
|
|
