From f81049b827f88ad98731b4097a3e6463656c527b Mon Sep 17 00:00:00 2001
From: aolingwen <747620155@qq.com>
Date: Mon, 8 Jul 2019 19:28:27 +0800
Subject: [PATCH] werwer
---
AGNES.md | 34 +-
README.md | 21 +-
SUMMARY.md | 55 +--
algorithm.md | 15 +-
bayes.md | 233 ++++++++++++
classification_metrics.md | 109 +++---
cluster_metrics.md | 65 +++-
decision_tree.md | 36 +-
img/1011.jpg | Bin 0 -> 9606 bytes
img/1012.jpg | Bin 0 -> 28490 bytes
img/1013.jpg | Bin 0 -> 36142 bytes
img/1014.jpg | Bin 0 -> 23127 bytes
img/1015.jpg | Bin 0 -> 24203 bytes
img/1016.jpg | Bin 0 -> 36283 bytes
img/1017.jpg | Bin 0 -> 21697 bytes
img/1018.jpg | Bin 0 -> 12311 bytes
img/1019.jpg | Bin 0 -> 16182 bytes
img/1020.jpg | Bin 0 -> 17722 bytes
img/1021.jpg | Bin 0 -> 16798 bytes
img/1022.jpg | Bin 0 -> 17152 bytes
img/1023.jpg | Bin 0 -> 17029 bytes
img/1024.jpg | Bin 0 -> 10907 bytes
img/1025.jpg | Bin 0 -> 8887 bytes
img/1026.jpg | Bin 0 -> 8235 bytes
img/1027.jpg | Bin 0 -> 8571 bytes
img/1028.jpg | Bin 0 -> 13330 bytes
img/1029.jpg | Bin 0 -> 11997 bytes
img/1030.jpg | Bin 0 -> 8704 bytes
img/1031.jpg | Bin 0 -> 12543 bytes
img/1032.jpg | Bin 0 -> 13830 bytes
img/1562573820.png | Bin 0 -> 5362 bytes
kMeans.md | 11 +-
kNN.md | 16 +-
linear_regression.md | 24 +-
logistic_regression.md | 15 +-
machine_learning.md | 107 +-----
metrics.md | 9 +-
multi-class-learning.md | 39 +++
my.pdf | Bin 0 -> 4446309 bytes
pingpong/Policy Gradient.md | 32 +-
pingpong/coding.md | 8 +-
pingpong/introduction.md | 11 +
pingpong/what is reinforce learning.md | 18 +-
random_forest.md | 4 +-
recommand.md | 2 +-
regression_metrics.md | 2 +-
sklearn.md | 4 +-
some term.md | 51 +++
svm.md | 467 +++++++++++++++++++++++++
titanic/EDA.md | 70 ++--
titanic/feature engerning.md | 20 +-
titanic/introduction.md | 10 +-
titanic/tuning.md | 4 +-
what's machine_learning.md | 47 +++
work flow.md | 44 +++
xx introduction.md | 4 +
56 files changed, 1268 insertions(+), 319 deletions(-)
create mode 100644 bayes.md
create mode 100644 img/1011.jpg
create mode 100644 img/1012.jpg
create mode 100644 img/1013.jpg
create mode 100644 img/1014.jpg
create mode 100644 img/1015.jpg
create mode 100644 img/1016.jpg
create mode 100644 img/1017.jpg
create mode 100644 img/1018.jpg
create mode 100644 img/1019.jpg
create mode 100644 img/1020.jpg
create mode 100644 img/1021.jpg
create mode 100644 img/1022.jpg
create mode 100644 img/1023.jpg
create mode 100644 img/1024.jpg
create mode 100644 img/1025.jpg
create mode 100644 img/1026.jpg
create mode 100644 img/1027.jpg
create mode 100644 img/1028.jpg
create mode 100644 img/1029.jpg
create mode 100644 img/1030.jpg
create mode 100644 img/1031.jpg
create mode 100644 img/1032.jpg
create mode 100644 img/1562573820.png
create mode 100644 multi-class-learning.md
create mode 100644 my.pdf
create mode 100644 pingpong/introduction.md
create mode 100644 some term.md
create mode 100644 svm.md
create mode 100644 what's machine_learning.md
create mode 100644 work flow.md
create mode 100644 xx introduction.md
diff --git a/AGNES.md b/AGNES.md
index 6789eae..17cc77b 100644
--- a/AGNES.md
+++ b/AGNES.md
@@ -1,31 +1,31 @@
# 以距离为尺-AGNES算法
-AGNES 算法是一种聚类算法，最初将每个对象作为一个簇，然后这些簇根据某些距离准则被一步步地合并。两个簇间的相似度有多种不同的计算方法。聚类的合并过程反复进行直到所有的对象最终满足簇数目。所以理解 AGNES 算法前需要先理解一些距离准则。
+`AGNES`算法是一种聚类算法，最初将每个对象作为一个簇，然后这些簇根据某些距离准则被一步步地合并。两个簇间的相似度有多种不同的计算方法。聚类的合并过程反复进行直到所有的对象最终满足簇数目。所以理解`AGNES`算法前需要先理解一些距离准则。
# 距离准则
## 为什么需要距离
-AGNES 算法是一种自底向上聚合的层次聚类算法，它先会将数据集中的每个样本看作一个初始簇，然后在算法运行的每一步中找出距离最近的两个簇进行合并，直至达到预设的簇的数量。所以AGNES算法需要不断的计算簇之间的距离，这也符合聚类的核心思想（物以类聚，人以群分），因此怎样度量两个簇之间的距离成为了关键。
+`AGNES`算法是一种自底向上聚合的层次聚类算法，它先会将数据集中的每个样本看作一个初始簇，然后在算法运行的每一步中找出距离最近的两个簇进行合并，直至达到预设的簇的数量。所以AGNES算法需要不断的计算簇之间的距离，这也符合聚类的核心思想（物以类聚，人以群分），因此怎样度量两个簇之间的距离成为了关键。
## 距离的计算
-衡量两个簇之间的距离通常分为最小距离、最大距离和平均距离。在 AGNES 算法中可根据具体业务选择其中一种距离作为度量标准。
+衡量两个簇之间的距离通常分为最小距离、最大距离和平均距离。在`AGNES`算法中可根据具体业务选择其中一种距离作为度量标准。
### 最小距离
-最小距离描述的是两个簇之间距离最近的两个样本所对应的距离。例如下图中圆圈和菱形分别代表两个簇，两个簇之间离得最近的样本的**欧式距离**为 3.3 ，则最小距离为 3.3。
+最小距离描述的是两个簇之间距离最近的两个样本所对应的距离。例如下图中圆圈和菱形分别代表两个簇，两个簇之间离得最近的样本的**欧式距离**为`3.3`，则最小距离为`3.3`。
-
+
假设给定簇$$C_i$$与$$C_j$$，则最小距离为：$$d_{min}=min_{x\in i,z\in j}dist(x,z)$$
### 最大距离
-最大距离描述的是两个簇之间距离最远的两个样本所对应的距离。例如下图中圆圈和菱形分别代表两个簇，两个簇之间离得最远的样本的**欧式距离**为 23.3 ，则最大距离为 23.3 。
+最大距离描述的是两个簇之间距离最远的两个样本所对应的距离。例如下图中圆圈和菱形分别代表两个簇，两个簇之间离得最远的样本的**欧式距离**为`23.3`，则最大距离为`23.3`。
-
+
假设给定簇$$C_i$$与$$C_j$$，则最大距离为：$$d_{min}=max_{x\in i,z\in j}dist(x,z)$$
@@ -33,13 +33,13 @@ AGNES 算法是一种自底向上聚合的层次聚类算法，它先会将数
平均距离描述的是两个簇之间样本的平均距离。例如下图中圆圈和菱形分别代表两个簇，计算两个簇之间的所有样本之间的欧式距离并求其平均值。
-
+
假设给定簇$$C_i$$与$$C_j$$，$$|C_i|,|C_j|$$分别表示簇 i 与簇 j 中样本的数量，则平均距离为：$$d_{min}=\frac{1}{|C_i||C_j|}\sum_{x\in i}\sum_{z\in j}dist(x, z)$$
# AGNES 算法流程
-AGNES 算法是一种自底向上聚合的层次聚类算法，它先会将数据集中的每个样本看作一个**初始簇**，然后在算法运行的每一步中找出距离最近的两个簇进行合并，直至达到预设的簇的数量。
+`AGNES`算法是一种自底向上聚合的层次聚类算法，它先会将数据集中的每个样本看作一个**初始簇**，然后在算法运行的每一步中找出距离最近的两个簇进行合并，直至达到预设的簇的数量。
举个例子，现在先要将西瓜数据聚成两类，数据如下表所示：
@@ -51,21 +51,21 @@ AGNES 算法是一种自底向上聚合的层次聚类算法，它先会将数
| 4 | 3.5 | 6.9 |
| 5 | 1.5 | 2.5 |
-一开始，每个样本都看成是一个簇( 1 号样本看成是 1 号簇， 2 号样本看成是 2 号簇，...， 5 号样本看成是 5 号簇)，假设簇的集合为 C=\[[1], [2], [3], [4], [5]] 。
+一开始，每个样本都看成是一个簇(`1`号样本看成是`1`号簇，`2`号样本看成是`2`号簇，...，`5`号样本看成是`5`号簇)，假设簇的集合为`C=[[1], [2], [3], [4], [5]]` 。
-假设使用簇间最小距离来度量两个簇之间的远近，从表中可以看出 1 号簇与 3 号簇的簇间最小距离最小。因此需要将 1 号簇和 3 号簇合并，那么此时簇的集合 C=\[[1, 3], [2], [4], [5]]。
+假设使用簇间最小距离来度量两个簇之间的远近，从表中可以看出 `1`号簇与`3`号簇的簇间最小距离最小。因此需要将`1`号簇和`3`号簇合并，那么此时簇的集合`C=[[1, 3], [2], [4], [5]]`。
-然后继续看这 4 个簇中哪两个簇之间的最小距离最小，我们发现 2 号簇与 4 号簇的最小距离最小，因此我们要进行合并，合并之后 C=\[[1, 3], [2, 4], [5]]。
+然后继续看这`4`个簇中哪两个簇之间的最小距离最小，我们发现 `2`号簇与`4`号簇的最小距离最小，因此我们要进行合并，合并之后`C=[[1, 3], [2, 4], [5]]`。
-然后继续看这 3 个簇中哪两个簇之间的最小距离最小，我们发现 5 号簇与 [1, 3] 簇的最小距离最小，因此我们要进行合并，合并之后 C=\[[1, 3, 5], [2, 4]]。
+然后继续看这`3`个簇中哪两个簇之间的最小距离最小，我们发现 `5`号簇与`[1, 3]`簇的最小距离最小，因此我们要进行合并，合并之后`C=[[1, 3, 5], [2, 4]]`。
-这个时候 C 中只有两个簇了，达到了我们的预期目标（想要聚成两类），所以算法停止。算法停止后会发现，我们已经将 5 个西瓜，聚成了两类，一类是小西瓜，另一类是大西瓜。
+这个时候`C`中只有两个簇了，达到了我们的预期目标（想要聚成两类），所以算法停止。算法停止后会发现，我们已经将`5`个西瓜，聚成了两类，一类是小西瓜，另一类是大西瓜。
-如果将整个聚类过程中的合并，与合并的次序可视化出来，就能看出为什么说 AGNES 是自底向上的层次聚类算法了。
+如果将整个聚类过程中的合并，与合并的次序可视化出来，就能看出为什么说`AGNES`是自底向上的层次聚类算法了。
-
+
-所以 AGNES 伪代码如下：
+所以`AGNES`伪代码如下：
```python
#假设数据集为D，想要聚成的簇的数量为k
diff --git a/README.md b/README.md
index 69e3323..994dbb5 100644
--- a/README.md
+++ b/README.md
@@ -1,4 +1,21 @@
-本资料主要介绍一些机器学习的入门知识，例如什么是机器学习，常见的机器学习算法原理，常用的模型性能评估指标，怎样快速入门 sklearn 等内容。
+# 前言
+
+机器学习(`Machine Learning`)是一门多领域交叉学科，涉及概率论、统计学、最优化、算法复杂度理论等多个学科方向。专门研究如何借助计算机模拟实现人类的学习行为，以获取新的知识或技能，或者更好地组织已有的知识结构。机器学习是人工智能的核心，是使计算机具有智能的根本途径之一，其应用遍及人工智能的各个领域。
+
+机器学习正在迅速改变我们的世界，我们几乎每天都会看到机器学习如何改变日常的生活。如果你在淘宝或者京东这样的电商平台购买商品，或者只是进行一次百度搜索，就已经触碰到了机器学习的应用。使用这些服务的用户会产生数据，这些数据会被手机，在进行预处理之后用来训练模型，而模型会通过这些数据来提供更好的用户体验。此外，还有很多使用机器学习技术的产品或服务即将在我们的生活当中普及。可以说如果想要深入机器学习的应用开发当中，现在是一个非常理想的时机。
+
+
+# 说明
+
+本书主要介绍一些机器学习的入门知识，例如什么是机器学习，常见的机器学习算法原理，常用的模型性能评估指标，怎样快速入门`sklearn`等内容。
+
+若想更加全面，系统的学习机器学习相关知识，可以在本书的最后扫码体验整套机器学习实训课程。该课程是与南京大学合作共建的实训课程，总共有`65`个实践任务，涵盖了《机器学习》中的前十章内容，并已在南京大学投入使用。可以通过扫码查看整套课程。
+
+
+
+
+
+
+
-若想更加全面，系统的学习机器学习相关知识，可以在本书的最后扫码体验整套机器学习实训课程。该课程是与南京大学合作共建的实训课程，总共有 65 个实践任务，涵盖了《机器学习》中的前十章内容，并已在南京大学投入使用。
diff --git a/SUMMARY.md b/SUMMARY.md
index 1cc8882..ccbd675 100644
--- a/SUMMARY.md
+++ b/SUMMARY.md
@@ -1,30 +1,35 @@
# 机器学习
* [简介](README.md)
-* [机器学习概述](machine_learning.md)
-* [常见机器学习算法](algorithm.md)
- * [近朱者赤近墨者黑-kNN](kNN.md)
- * [最简单的回归算法-线性回归](linear_regression.md)
- * [使用回归的思想进行分类-逻辑回归](logistic_regression.md)
- * [最接近人类思维的算法-决策树](decision_tree.md)
- * [群众的力量是伟大的-随机森林](random_forest.md)
- * [物以类聚人以群分-kMeans](kMeans.md)
- * [以距离为尺-AGNES](AGNES.md)
-* [模型评估指标](metrics.md)
- * [分类性能评估指标](classification_metrics.md)
- * [回归性能评估指标](regression_metrics.md)
- * [聚类性能评估指标](cluster_metrics.md)
-* [使用sklearn进行机器学习](sklearn.md)
-* [综合实战案例]()
- * [泰坦尼克生还预测]()
- * [简介](./titanic/introduction.md)
- * [探索性数据分析(EDA)](./titanic/EDA.md)
- * [特征工程](./titanic/feature engerning.md)
- * [构建模型进行预测](./titanic/fit and predict.md)
- * [调参](./titanic/tuning.md)
- * [使用强化学习玩乒乓球游戏]()
- * [什么是强化学习](./pingpong/what is reinforce learning.md)
- * [Policy Gradient原理](./pingpong/Policy Gradient.md)
- * [使用Policy Gradient玩乒乓球游戏](./pingpong/coding.md)
+* [第1章：机器学习概述](machine_learning.md)
+ * [1.1 什么是机器学习](what's machine_learning.md)
+ * [1.2 机器学习常见术语](some term.md)
+ * [1.3 机器学习项目流程](work flow.md)
+* [第2章：常见机器学习算法](algorithm.md)
+ * [2.1 kNN](kNN.md)
+ * [2.2 线性回归](linear_regression.md)
+ * [2.3 逻辑回归](logistic_regression.md)
+ * [2.4 多分类学习](multi-class-learning.md)
+ * [2.5 决策树](decision_tree.md)
+ * [2.6 随机森林](random_forest.md)
+ * [2.7 朴素贝叶斯分类器](bayes.md)
+ * [2.8 支持向量机](svm.md)
+ * [2.9 kMeans](kMeans.md)
+ * [2.10 AGNES](AGNES.md)
+* [第3章：模型评估指标](metrics.md)
+ * [3.1 常用分类性能评估指标](classification_metrics.md)
+ * [3.2 常用回归性能评估指标](regression_metrics.md)
+ * [3.3 常用聚类性能评估指标](cluster_metrics.md)
+* [第4章：使用sklearn进行机器学习](sklearn.md)
+* [第5章：综合实战案例](xx introduction.md)
+ * [5.1 泰坦尼克生还预测](./titanic/introduction.md)
+ * [5.1.1 探索性数据分析(EDA)](./titanic/EDA.md)
+ * [5.1.2 特征工程](./titanic/feature engerning.md)
+ * [5.1.3 构建模型进行预测](./titanic/fit and predict.md)
+ * [5.1.4 调参](./titanic/tuning.md)
+ * [5.2 使用强化学习玩乒乓球游戏](./xx introduction.md)
+ * [5.2.1 什么是强化学习](./pingpong/what is reinforce learning.md)
+ * [5.2.2 Policy Gradient原理](./pingpong/Policy Gradient.md)
+ * [5.2.3 使用Policy Gradient玩乒乓球游戏](./pingpong/coding.md)
* [实训推荐](recommand.md)
diff --git a/algorithm.md b/algorithm.md
index 7d0e32a..39fc6e3 100644
--- a/algorithm.md
+++ b/algorithm.md
@@ -1 +1,14 @@
-本章主要介绍一些常见的机器学习算法(模型)的原理，理解模型的原理对于以后使用一些机器学习库实现业务功能时是有好处的。
\ No newline at end of file
+本章主要介绍`10`种常见的机器学习算法(模型)的原理，理解模型的原理对于以后使用一些机器学习库实现业务功能时是有好处的。
+
+本章主要涉及的知识点有：
+
+- kNN
+- 线性回归
+- 逻辑回归
+- 多分类学习
+- 决策树
+- 随机森林
+- 朴素贝叶斯分类器
+- 支持向量机
+- k-Means
+- AGNES
\ No newline at end of file
diff --git a/bayes.md b/bayes.md
new file mode 100644
index 0000000..909b677
--- /dev/null
+++ b/bayes.md
@@ -0,0 +1,233 @@
+# 用概率说话-朴素贝叶斯分类器
+
+朴素贝叶斯分类算法是基于贝叶斯理论和特征条件独立假设的分类算法。对于给定的训练集，首先基于特征条件独立假设学习数据的概率分布。然后基于此模型，对于给定的特征数据`x`，利用贝叶斯定理计算出标签`y`。朴素贝叶斯分类算法实现简单，预测的效率很高，是一种常用的分类算法。
+
+##条件概率
+
+朴素贝叶斯分类算法是基于贝叶斯定理与特征条件独立假设的分类方法，因此想要了解朴素贝叶斯分类算法背后的算法原理，就不得不用到概率论的一些知识，首当其冲就是**条件概率**。
+
+###什么是条件概率
+
+概率指的是某一事件`A`发生的可能性，表示为`P(A)`。而条件概率指的是某一事件`A`已经发生了条件下，另一事件`B`发生的可能性，表示为`P(B|A)`，举个例子：
+
+今天有`25%`的可能性下雨，即`P(下雨)=0.25`;
+今天`75%`的可能性是晴天，即`P(晴天)=0.75`;
+如果下雨，我有`75%`的可能性穿外套，即`P(穿外套|下雨)=0.75`;
+如果下雨，我有`25%`的可能性穿T恤，即`P(穿T恤|下雨)=0.25`;
+
+从上述例子可以看出，条件概率描述的是`|`右边的事件已经发生之后，左边的事件发生的可能性，**而不是两个事件同时发生的可能性！**
+
+
+###怎样计算条件概率
+
+设`A，B`是两个事件，且`P(A)>0`，称`P(B|A)=P(AB)/P(A)`为在事件`A`发生的条件下，事件`B`发生的条件概率。(**其中`P(AB)`表示事件A和事件B同时发生的概率**)
+
+举个例子，**现在有一个表格，表格中统计了甲乙两个厂生产的产品中合格品数量、次品数量的数据。数据如下：**
+
+| | 甲厂 |乙厂 |合计 |
+| ------------ | ------------ | ------------ | ------------ |
+| 合格品 | 475 | 644 | 1119 |
+| 次品| 25 | 56 | 81 |
+| 合计| 500 | 700 | 1200 |
+
+现在想要算一下已知产品是甲厂生产的，那么产品是次品的概率是多少。这个时候其实就是在算条件概率，计算非常简单。
+
+假设事件`A`为产品是甲厂生产的，事件`B`为产品是次品。则根据表中数据可知`P(AB)=25/1200`，`P(A)=500/1200`。则`P(B|A)=P(AB)/P(A)=25/500`。
+
+
+###乘法定理
+
+将条件概率的公式两边同时乘以`P(A)`，就变成了**乘法定理**，即`P(AB)=P(B|A)*P(A)`。那么乘法定理怎么用呢？举个例子：
+
+**现在有一批产品共`100`件，次品有`10`件，从中不放回地抽取`2`次，每次取`1`件。现在想要算一下第一次为次品，第二次为正品的概率。**
+
+从问题来看，这个问题问的是第一次为次品，第二次为正品这两个事件同时发生的概率。所以可以用乘法定理来解决这个问题。
+
+假设事件`A`为第一次为次品，事件`B`为第二次为正品。则`P(AB)=P(A)*P(B|A)=(10/100)*(90/99)=0.091`。
+
+##全概率公式
+
+**贝叶斯公式**是**朴素贝叶斯分类算法**的核心数学理论，在了解贝叶斯公式之前，我们需要先了解**全概率公式**的相关知识。
+
+###引例
+
+小明从家到公司上班总共有三条路可以直达，如下图：
+
+
+
+但是每条路每天拥堵的可能性不太一样，由于路的远近不同，选择每条路的概率如下表所示：
+
+| L1 | L2 | L3 |
+| ------------ | ------------ | ------------ |
+| 0.5 | 0.3 | 0.2 |
+
+每天从上述三条路去公司时不堵车的概率如下表所示：
+
+| L1不堵车 | L2不堵车 | L3不堵车 |
+| ------------ | ------------ | ------------ |
+| 0.2 | 0.4 | 0.7 |
+
+如果不堵车就不会迟到，现在小明想要算一算去公司上班不会迟到的概率是多少，应该怎么办呢？
+
+其实很简单，假设事件`C`为小明不迟到，事件`A1`为小明选`L1`这条路并且不堵车，事件`A2`为小明选`L2`这条路并且不堵车，事件`A3`为小明选`L3`这条路并且不堵车。那么很显然`P(C)=P(A1)+P(A2)+P(A3)`。
+
+那么问题来了，`P(A1)`、`P(A2)`和`P(A3)`怎么算呢？其实只要会算`P(A1)`其他的就都会算了。我们同样可以假设事件`D1`为小明选择`L1`路，事件`E1`为不堵车。那么`P(A1)=P(D1)*P(E1)`。但是在从表格中我们只知道`P(D1)=0.5`，怎么办呢？
+
+回忆一下上面介绍的**乘法定理**，不难想到`P(A1)=P(D1)*P(E1|D1)`。从表格中可以看出`P(E1|D1)=0.2`。因此`P(A1)=0.5*0.2=0.1`。
+
+然后依葫芦画瓢可以很快算出，`P(A2)=0.3*0.4=0.12`，`P(A3)=0.2*0.7=0.14`。所以`P(C)=0.1+0.12+0.14=0.36`。
+
+
+###全概率公式
+
+当为了达到某种目的，但是达到目的有很多种方式，如果想知道通过所有方式能够达到目的的概率是多少的话，就需要用到**全概率公式**（**上面的例子就是这种情况！**）。全概率公式的定义如下：
+
+若事件$$B_1$$,$$B_2$$,...,$$B_n$$两两互不相容，并且其概率和为`1`。那么对于任意一个事件`C`都满足：
+
+
+$$
+P(C)=P(B_1)P(C|B_1)+...+P(B_n)P(C|B_n)=\sum_{i=1}^{n}P(B_i)P(C|B_i)
+$$
+
+
+
+引例中小明选择哪条路去公司的概率是**两两互不相容的**（只能选其中一条路去公司），**并且和为`1`**。所以小明不迟到的概率可以通过全概率公式来计算，而引例中的计算过程就是用的全概率公式。
+
+
+##贝叶斯公式
+
+当已知引发事件发生的各种原因的概率，想要算该事件发生的概率时，我们可以用**全概率公式**。但如果现在反过来，已知事件已经发生了，但想要计算引发该事件的各种原因的概率时，我们就需要用到**贝叶斯公式**了。
+
+贝叶斯公式定义如下，其中$$A$$表示已经发生的事件，$$B_i$$为导致事件$$A$$发生的第$$i$$个原因：
+
+
+$$
+P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{i=1}^nP(A|B_i)P(B_i)}
+$$
+
+
+
+贝叶斯公式看起来比较复杂，其实非常简单，分子部分是**乘法定理**，分母部分是**全概率公式**（分母等于$$P(A)$$）。
+
+如果我们对贝叶斯公式进行一个简单的数学变换（两边同时乘以分母，再两边同时除以$$P(B_i)$$）。就能够得到如下公式：
+
+
+$$
+P(A|B_i)=\frac{P(B_i|A)P(A)}{P(B_i)}
+$$
+
+
+
+##贝叶斯算法流程
+
+在炎热的夏天你可能需要买一个大西瓜来解暑，但虽然你的挑西瓜的经验很老道，但还是会有挑错的时候。尽管如此，你可能还是更愿意相信自己经验。假设现在在你面前有一个纹路清晰，拍打西瓜后声音浑厚，按照你的经验来看这个西瓜是好瓜的概率有`80`%，不是好瓜的概率有`20`%。那么在这个时候你下意识会认为这个西瓜是好瓜，因为它是好瓜的概率大于不是好瓜的概率。
+
+###朴素贝叶斯分类算法的预测流程
+
+**朴素贝叶斯分类算法的预测思想和引例中挑西瓜的思想一样，会根据以往的经验计算出待预测数据分别为所有类别的概率，然后挑选其中概率最高的类别作为分类结果。**
+
+假如现在一个西瓜的数据如下表所示：
+
+| 颜色 | 声音 | 纹理 | 是否为好瓜 |
+| ------------ | ------------ | ------------ | ------------ |
+| 绿 | 清脆 | 清晰 | ？ |
+
+若想使用朴素贝叶斯分类算法的思想，根据这条数据中`颜色`、`声音`和`纹理`这三个特征来推断是不是好瓜，我们需要计算出这个西瓜是好瓜的概率和不是好瓜的概率。
+
+假设事件`A1`为好瓜，事件`B`为绿，事件`C`为清脆，事件`D`为清晰，则这个西瓜是好瓜的概率为`P(A1|BCD)`。根据贝叶斯公式可知:
+
+
+$$
+P(A_1|BCD)=\frac{P(A_1)P(B|A_1)P(C|A_1)P(D|A_1)}{P(BCD)}
+$$
+
+
+
+同样，假设事件`A2`为好瓜，事件`B`为绿，事件`C`为清脆，事件`D`为清晰，则这个西瓜不是好瓜的概率为`P(A2|BCD)`。根据贝叶斯公式可知:
+
+
+$$
+```latex
+P(A_2|BCD)=\frac{P(A_2)P(B|A_2)P(C|A_2)P(D|A_2)}{P(BCD)}
+```
+$$
+
+
+
+朴素贝叶斯分类算法的思想是取概率最大的类别作为预测结果，所以如果满足下面的式子，则认为这个西瓜是好瓜，否则就不是好瓜：
+
+
+$$
+\frac{P(A_1)P(B|A_1)P(C|A_1)P(D|A_1)}{P(BCD)}>\frac{P(A_2)P(B|A_2)P(C|A_2)P(D|A_2)}{P(BCD)}
+$$
+
+
+
+从上面的式子可以看出，`P(BCD)`是多少对于判断哪个类别的概率高没有影响，所以式子可以简化成如下形式：
+
+
+$$
+P(A_1)P(B|A_1)P(C|A_1)P(D|A_1)>P(A_2)P(B|A_2)P(C|A_2)P(D|A_2)
+$$
+
+
+
+所以在预测时，需要知道`P(A1)`，`P(A2)`，`P(B|A_1)`，`P(C|A_1)`，`P(D|A_1)`等于多少。而这些概率在训练阶段可以计算出来。
+
+
+###朴素贝叶斯分类算法的训练流程
+
+训练的流程非常简单，主要是计算各种**条件概率**。假设现在有一组西瓜的数据，如下表所示：
+
+| 编号 | 颜色 | 声音 | 纹理 | 是否为好瓜 |
+| ------------ | ------------ | ------------ | ------------ | ------------ |
+| 1 | 绿 | 清脆 | 清晰 | 是 |
+| 2 | 黄 | 浑厚 | 模糊 | 否 |
+| 3 | 绿 | 浑厚 | 模糊 | 是 |
+| 4 | 绿 | 清脆 | 清晰 | 是 |
+| 5 | 黄 | 浑厚 | 模糊 | 是 |
+| 6 | 绿 | 清脆 | 清晰 | 否 |
+
+从表中数据可以看出：
+
+`P(是好瓜)=4/6`
+`P(颜色绿|是好瓜)=3/4`
+`P(颜色黄|是好瓜)=1/4`
+`P(声音清脆|是好瓜)=1/2`
+`P(声音浑厚|是好瓜)=1/2`
+`P(纹理清晰|是好瓜)=1/2`
+`P(纹理模糊|是好瓜)=1/2`
+`P(不是好瓜)=2/6`
+`P(颜色绿|不是好瓜)=1/2`
+`P(颜色黄|是好瓜)=1/2`
+`P(声音清脆|不是好瓜)=1/2`
+`P(声音浑厚|不是好瓜)=1/2`
+`P(纹理清晰|不是好瓜)=1/2`
+`P(纹理模糊|不是好瓜)=1/2`
+
+当得到以上概率后，训练阶段的任务就已经完成了。我们不妨再回过头来预测一下这个西瓜是不是好瓜。
+
+| 颜色 | 声音 | 纹理 | 是否为好瓜 |
+| ------------ | ------------ | ------------ | ------------ |
+| 绿 | 清脆 | 清晰 | ？ |
+
+假设事件`A1`为好瓜，事件`B`为绿，事件`C`为清脆，事件`D`为清晰。则有：
+
+
+$$
+P(A_1)P(B|A_1)P(C|A_1)P(D|A_1)=\frac{4}{6}*\frac{3}{4}*\frac{1}{2}*\frac{1}{2}=\frac{1}{8}
+$$
+
+
+
+假设事件`A2`为不是瓜，事件`B`为绿，事件`C`为清脆，事件`D`为清晰。则有：
+
+
+$$
+P(A_2)P(B|A_2)P(C|A_2)P(D|A_2)=\frac{2}{6}*\frac{1}{2}*\frac{1}{2}*\frac{1}{2}=\frac{1}{24}
+$$
+
+
+
+由于$$\frac{1}{8}>\frac{1}{24}$$，所以这个西瓜是好瓜。
+
diff --git a/classification_metrics.md b/classification_metrics.md
index 24f0dfd..efb83ac 100644
--- a/classification_metrics.md
+++ b/classification_metrics.md
@@ -13,22 +13,22 @@
| 4 | 1 | 1 |
| 5 | 2 | 3 |
-很明显，连小朋友都能算出来该模型的准确度为 3/5 。
+很明显，连小朋友都能算出来该模型的准确度为`3/5`。
-那么准确对越高就能说明模型的分类性能越好吗？非也！举个例子，现在我开发了一套癌症检测系统，只要输入你的一些基本健康信息，就能预测出你现在是否患有癌症，并且分类的准确度为 0.999 。您认为这样的系统的预测性能好不好呢？
+那么准确对越高就能说明模型的分类性能越好吗？非也！举个例子，现在我开发了一套癌症检测系统，只要输入你的一些基本健康信息，就能预测出你现在是否患有癌症，并且分类的准确度为`0.999`。您认为这样的系统的预测性能好不好呢？
-您可能会觉得，哇，这么高的准确度！这个系统肯定很牛逼！但是我们知道，一般年轻人患癌症的概率非常低，假设患癌症的概率为 0.001 ，那么其实我这个癌症检测系统只要一直输出您没有患癌症，准确度也可能能够达到 0.999 。
+您可能会觉得，哇，这么高的准确度！这个系统肯定很牛逼！但是我们知道，一般年轻人患癌症的概率非常低，假设患癌症的概率为 0.001 ，那么其实我这个癌症检测系统只要一直输出您没有患癌症，准确度也可能能够达到`0.999`。
假如现在有一个人本身已经患有癌症，但是他自己不知道自己患有癌症。这个时候用我的癌症检测系统检测发现他没有得癌症，那很显然我这个系统已经把他给坑了（耽误了治疗）。
-看到这里您应该已经体会到了，一个分类模型如果光看准确度是不够的，尤其是对这种样本**极度不平衡**的情况（ 10000 条健康信息数据中，只有 1 条的类别是患有癌症，其他的类别都是健康）。
+看到这里您应该已经体会到了，一个分类模型如果光看准确度是不够的，尤其是对这种样本**极度不平衡**的情况（`10000`条健康信息数据中，只有`1`条的类别是患有癌症，其他的类别都是健康）。
##混淆矩阵
想进一步的考量分类模型的性能如何，可以使用其他的一些性能指标，例如精准率和召回率。但这些指标计算的基础是**混淆矩阵**。
-继续以癌症检测系统为例，癌症检测系统的输出不是有癌症就是健康，这里为了方便，就用 1 表示患有癌症， 0 表示健康。假设现在拿 10000 条数据来进行测试，其中有 9978 条数据的真实类别是 0 ，系统预测的类别也是 0 ，有 2 条数据的真实类别是 1 却预测成了 0 ，有 12 条数据的真实类别是 0 但预测成了 1 ，有 8 条数据的真实类别是 1 ，预测结果也是 1 。
+继续以癌症检测系统为例，癌症检测系统的输出不是有癌症就是健康，这里为了方便，就用`1`表示患有癌症，`0`表示健康。假设现在拿`10000`条数据来进行测试，其中有`9978`条数据的真实类别是`0`，系统预测的类别也是`0` ，有`2`条数据的真实类别是`1`却预测成了`0`，有`12`条数据的真实类别是`0`但预测成了`1`，有`8`条数据的真实类别是`1` ，预测结果也是`1`。
如果我们把这些结果组成如下矩阵，则该矩阵就成为**混淆矩阵**。
@@ -44,16 +44,16 @@
| 0 | 预测 0 正确的数量 | 预测 1 错误的数量 |
| 1 | 预测 0 错误的数量 | 预测 1 正确的数量 |
-如果将正确看成是 True ，错误看成是 False ， 0 看成是 Negtive ， 1 看成是 Positive 。然后将上表中的文字替换掉，混淆矩阵如下：
+如果将正确看成是`True`，错误看成是`False`， `0`看成是 `Negtive`，`1`看成是`Positive`。然后将上表中的文字替换掉，混淆矩阵如下：
| 真实\预测 | 0 | 1 |
| ------------ | ------------ | ------------ |
| 0 | TN | FP |
| 1 | FN | TP |
-因此 TN 表示真实类别是 Negtive ，预测结果也是 Negtive 的数量； FP 表示真实类别是 Negtive ，预测结果是 Positive 的数量； FN 表示真实类别是 Positive ，预测结果是Negtive 的数量； TP 表示真实类别是 Positive ，预测结果也是 Positive 的数量。
+因此`TN`表示真实类别是`Negtive`，预测结果也是`Negtive`的数量； `FP`表示真实类别是`Negtive`，预测结果是`Positive`的数量； `FN`表示真实类别是`Positive`，预测结果是`Negtive`的数量； `TP`表示真实类别是`Positive`，预测结果也是`Positive`的数量。
-很明显，当 FN 和 FP 都等于 0 时，模型的性能应该是最好的，因为模型并没有在预测的时候犯错误。即如下混淆矩阵：
+很明显，当`FN`和`FP`都等于`0`时，模型的性能应该是最好的，因为模型并没有在预测的时候犯错误。即如下混淆矩阵：
| 真实\预测 | 0 | 1 |
| ------------ | ------------ | ------------ |
@@ -64,11 +64,14 @@
## 精准率
-**精准率(Precision)**指的是模型预测为 Positive 时的预测准确度，其计算公式如下：
+**精准率(Precision)**指的是模型预测为`Positive`时的预测准确度，其计算公式如下：
+
$$
Precisioin=\frac{TP}{TP+FP}
$$
+
+
假如癌症检测系统的混淆矩阵如下：
@@ -77,18 +80,21 @@ $$
| 0 | 9978 | 12 |
| 1 | 2 | 8 |
-则该系统的精准率=8/(8+12)=0.4 。
+则该系统的精准率为：`8/(8+12)=0.4`。
-0.4 这个值表示癌症检测系统的预测结果中如果有 100 个人被预测成患有癌症，那么其中有 40 人是真的患有癌症。**也就是说，精准率越高，那么癌症检测系统预测某人患有癌症的可信度就越高。**
+`0.4`这个值表示癌症检测系统的预测结果中如果有`100`个人被预测成患有癌症，那么其中有`40`人是真的患有癌症。**也就是说，精准率越高，那么癌症检测系统预测某人患有癌症的可信度就越高。**
##召回率
**召回率(Recall)**指的是我们关注的事件发生了，并且模型预测正确了的比值，其计算公式如下：
+
$$
Recall=\frac{TP}{FN+TP}
$$
+
+
假如癌症检测系统的混淆矩阵如下：
@@ -97,72 +103,81 @@ $$
| 0 | 9978 | 12 |
| 1 | 2 | 8 |
-则该系统的召回率=8/(8+2)=0.8。
+则该系统的召回率为：`8/(8+2)=0.8`。
-从计算出的召回率可以看出，假设有 100 个患有癌症的病人使用这个系统进行癌症检测，系统能够检测出 80 人是患有癌症的。**也就是说，召回率越高，那么我们感兴趣的对象成为漏网之鱼的可能性越低。**
+从计算出的召回率可以看出，假设有`100`个患有癌症的病人使用这个系统进行癌症检测，系统能够检测出`80`人是患有癌症的。**也就是说，召回率越高，那么我们感兴趣的对象成为漏网之鱼的可能性越低。**
##精准率与召回率之间的关系
-假设有这么一组数据，菱形代表 Positive ，圆形代表 Negtive 。
+假设有这么一组数据，菱形代表`Positive`，圆形代表`Negtive` 。
-
+
-现在需要训练一个模型对数据进行分类，假如该模型非常简单，就是在数据上画一条线作为分类边界。模型认为边界的左边是 Negtive ，右边是 Positive 。如果该模型的分类边界向左或者向右移动的话，模型所对应的精准率和召回率如下图所示：
+现在需要训练一个模型对数据进行分类，假如该模型非常简单，就是在数据上画一条线作为分类边界。模型认为边界的左边是`Negtive`，右边是`Positive`。如果该模型的分类边界向左或者向右移动的话，模型所对应的精准率和召回率如下图所示：
-
+
从上图可知，**模型的精准率变高，召回率会变低，精准率变低，召回率会变高。**
##F1 Score
-上一关中提到了精准率变高，召回率会变低，精准率变低，召回率会变高。那如果想要同时兼顾精准率和召回率，这个时候就可以使用**F1 Score**来作为性能度量指标了。
+上一节中提到了精准率变高，召回率会变低，精准率变低，召回率会变高。那如果想要同时兼顾精准率和召回率，这个时候就可以使用**F1 Score**来作为性能度量指标了。
-F1 Score 是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的准确率和召回率。F1 Score 可以看作是模型准确率和召回率的一种加权平均，它的最大值是 1 ，最小值是0 。其公式如下：
+`F1 Score`是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的准确率和召回率。`F1 Score`可以看作是模型准确率和召回率的一种加权平均，它的最大值是`1`，最小值是`0` 。其公式如下：
+
$$
F1=\frac{2*precision*recall}{precision+recall}
$$
+
+
-- 假设模型 A 的精准率为 0.2 ，召回率为 0.7 ，那么模型 A 的 F1 Score 为 0.31111 。
+- 假设模型`A`的精准率为`0.2`，召回率为`0.7`，那么模型`A`的`F1 Score`为`0.31111`。
-- 假设模型 B 的精准率为 0.7 ，召回率为 0.2 ，那么模型 B 的 F1 Score 为 0.31111 。
+- 假设模型`B`的精准率为`0.7`，召回率为`0.2`，那么模型`B`的`F1 Score`为`0.31111`。
-- 假设模型 C 的精准率为 0.8 ，召回率为 0.7 ，那么模型 C 的 F1 Score 为 0.74667 。
+- 假设模型`C`的精准率为`0.8`，召回率为`0.7`，那么模型`C`的`F1 Score`为`0.74667`。
-- 假设模型 D 的精准率为 0.2 ，召回率为 0.3 ，那么模型 D 的 F1 Score 为 0.24 。
+- 假设模型`D`的精准率为`0.2`，召回率为`0.3`，那么模型`D`的`F1 Score`为`0.24`。
-从上述 4 个模型的各种性能可以看出，模型C的精准率和召回率都比较高，因此它的 F1 Score 也比较高。而其他模型的精准率和召回率要么都比较低，要么一个低一个高，所以它们的 F1 Score 比较低。
+从上述`4`个模型的各种性能可以看出，模型C的精准率和召回率都比较高，因此它的`F1 Score`也比较高。而其他模型的精准率和召回率要么都比较低，要么一个低一个高，所以它们的`F1 Score`比较低。
-这也说明了只有当模型的精准率和召回率都比较高时 F1 Score 才会比较高。这也是 F1 Score 能够同时兼顾精准率和召回率的原因。
+这也说明了只有当模型的精准率和召回率都比较高时`F1 Score`才会比较高。这也是`F1 Score`能够同时兼顾精准率和召回率的原因。
## ROC曲线
-ROC曲线(Receiver Operating Characteristic Curve)描述的 TPR（True Positive Rate）与 FPR（False Positive Rate）之间关系的曲线。
+`ROC`曲线(`Receiver Operating Characteristic Curve`)描述的是`TPR`（`True Positive Rate`）与 `FPR`（`False Positive Rate`）之间关系的曲线。
-TPR 与 FPR 的计算公式如下：
+`TPR`与`FPR`的计算公式如下：
+
$$
TPR=\frac{TP}{TP+FN}
$$
+
+
+
$$
FPR=\frac{FP}{FP+TN}
$$
+
+
-其中 TPR 的计算公式您可能有点眼熟，没错！就是召回率的计算公式。**也就是说 TPR 就是召回率**。**所以 TPR 描述的是模型预测 Positive 并且预测正确的数量占真实类别为 Positive 样本的比例。而 FPR 描述的模型预测 Positive 并且预测错了的数量占真实类别为 Negtive 样本的比例。**
+其中`TPR`的计算公式您可能有点眼熟，没错！就是召回率的计算公式。**也就是说 TPR 就是召回率**。**所以 TPR 描述的是模型预测 Positive 并且预测正确的数量占真实类别为 Positive 样本的比例。而 FPR 描述的模型预测 Positive 并且预测错了的数量占真实类别为 Negtive 样本的比例。**
-和精准率与召回率一样， TPR 与 FPR 之间也存在关系。假设有这么一组数据，菱形代表 Positive ，圆形代表 Negtive 。
+和精准率与召回率一样，`TPR`与`FPR`之间也存在关系。假设有这么一组数据，菱形代表`Positive`，圆形代表`Negtive`。
-
+
-现在需要训练一个逻辑回归的模型对数据进行分类，假如将从 0 到 1 中的一些值作为模型的分类阈值。若模型认为当前数据是 Positive 的概率**小于**分类阈值则分类为 Negtive ，**否则**就分类为 Positive （**假设分类阈值为 0.8 ，模型认为这条数据是 Positive 的概率为 0.7 ， 0.7 小于 0.8 ，那么模型就认为这条数据是 Negtive**）。在不同的分类阈值下，模型所对应的 TPR 与 FPR 如下图所示（竖线代表分类阈值，模型会将竖线左边的数据分类成 Negtive ，竖线右边的分类成 Positive ）：
+现在需要训练一个逻辑回归的模型对数据进行分类，假如将从`0`到 `1`中的一些值作为模型的分类阈值。若模型认为当前数据是 `Positive`的概率**小于**分类阈值则分类为 Negtive ，**否则**就分类为`Positive`（**假设分类阈值为 0.8 ，模型认为这条数据是 Positive 的概率为 0.7 ， 0.7 小于 0.8 ，那么模型就认为这条数据是 Negtive**）。在不同的分类阈值下，模型所对应的`TPR`与`FPR`如下图所示（竖线代表分类阈值，模型会将竖线左边的数据分类成`Negtive`，竖线右边的分类成`Positive`）：
-
+
-从图中可以看出，**当模型的 TPR 越高 FPR 也会越高， TPR 越低 FPR 也会越低。这与精准率和召回率之间的关系刚好相反。**并且，模型的分类阈值一但改变，就有一组对应的 TPR 与 FPR 。假设该模型在不同的分类阈值下其对应的 TPR 与 FPR 如下表所示：
+从图中可以看出，**当模型的 TPR 越高 FPR 也会越高， TPR 越低 FPR 也会越低。这与精准率和召回率之间的关系刚好相反。**并且，模型的分类阈值一但改变，就有一组对应的`TPR`与`FPR`。假设该模型在不同的分类阈值下其对应的`TPR`与`FPR`如下表所示：
| TPR | FPR |
| ------------ | ------------ |
@@ -177,28 +192,31 @@ $$
| 0.92 | 0.41 |
| 0.93 | 0.42 |
-若将 FPR 作为横轴， TPR 作为纵轴，将上面的表格以折线图的形式画出来就是 ROC曲线 。
+若将`FPR`作为横轴，`TPR`作为纵轴，将上面的表格以折线图的形式画出来就是**ROC曲线**。
-
+
-假设现在有模型 A 和模型 B ，它们的 ROC 曲线如下图所示(其中模型 A 的 ROC曲线 为黄色，模型 B 的 ROC曲线 为蓝色)：
+假设现在有模型`A`和模型`B`，它们的`ROC`曲线如下图所示(其中模型`A`的`ROC`曲线为黄色，模型`B`的`ROC`曲线为蓝色)：
-
+
-那么模型 A 的性能比模型 B 的性能好，因为模型 A 当 FPR 较低时所对应的 TPR 比模型 B 的低 FPR 所对应的 TPR 更高。由由于随着 FPR 的增大， TPR 也会增大。所以 ROC 曲线与横轴所围成的面积越大，模型的分类性能就越高。而 ROC曲线 的面积称为 AUC。
+那么模型`A`的性能比模型`B`的性能好，因为模型`A`当`FPR`较低时所对应的`TPR`比模型`B`的低`FPR`所对应的`TPR`更高。由由于随着`FPR`的增大，`TPR`也会增大。所以ROC曲线与横轴所围成的面积越大，模型的分类性能就越高。而ROC曲线的面积称为`AUC`。
#####AUC
-很明显模型的 AUC 越高，模型的二分类性能就越强。 AUC 的计算公式如下：
+很明显模型的`AUC`越高，模型的二分类性能就越强。`AUC`的计算公式如下：
+
$$
AUC=\frac{\sum_{ie positive class}rank_i-\frac{M(M+1)}{2}}{M*N}
$$
+
+
-其中 M 为真实类别为 Positive 的样本数量， N 为真实类别为 Negtive 的样本数量。 ranki 代表了真实类别为 Positive 的样本点额预测概率从小到大排序后，该预测概率排在第几。
+其中`M`为真实类别为`Positive`的样本数量，`N`为真实类别为 `Negtive`的样本数量。`ranki`代表了真实类别为`Positive`的样本点额预测概率从小到大排序后，该预测概率排在第几。
-举个例子，现有预测概率与真实类别的表格如下所示（其中 0 表示 Negtive ， 1 表示 Positive ）：
+举个例子，现有预测概率与真实类别的表格如下所示（其中`0`表示 `Negtive` ，`1`表示`Positive`）：
| 编号 | 预测概率 | 真实类别 |
| ------------ | ------------ | ------------ |
@@ -207,7 +225,7 @@ $$
| 3 | 0.3 | 1 |
| 4 | 0.8 | 1 |
-想要得到公式中的 rank ，就需要将预测概率从小到大排序，排序后如下：
+想要得到公式中的`rank` ，就需要将预测概率从小到大排序，排序后如下：
| 编号 | 预测概率 | 真实类别 |
| ------------ | ------------ | ------------ |
@@ -216,8 +234,11 @@ $$
| 2 | 0.4 | 0 |
| 4 | 0.8 | 1 |
-排序后的表格中，真实类别为 Positive 只有编号为 3 和编号为 4 的数据，并且编号为 3 的数据排在第 2 ，编号为 4 的数据排在第 4 。所以 rank=[2, 4]。又因表格中真是类别为 Positive 的数据有 2 条，Negtive 的数据有 2 条。因此 M 为2，N 为2。所以根据 AUC 的计算公式可知：
+排序后的表格中，真实类别为`Positive`只有编号为`3`和编号为`4`的数据，并且编号为`3`的数据排在第`2` ，编号为`4`的数据排在第`4`。所以`rank=[2, 4]`。又因表格中真是类别为 `Positive`的数据有`2`条，`Negtive`的数据有`2`条。因此`M`为`2`，`N`为`2`。所以根据`AUC`的计算公式可知：
+
$$
AUC=\frac{(2+4)-\frac{2(2+1)}{2}}{2*2}=0.75
-$$。
\ No newline at end of file
+$$
+
+
\ No newline at end of file
diff --git a/cluster_metrics.md b/cluster_metrics.md
index f3824b6..d2844fb 100644
--- a/cluster_metrics.md
+++ b/cluster_metrics.md
@@ -8,21 +8,33 @@
想要计算上述指标来度量聚类的性能，首先需要计算出$$a$$，$$c$$，$$d$$，$$e$$。假设数据集$$E=\{x_1,x_2,...,x_m\}$$。通过聚类模型给出的簇划分为$$C=\{C_1,C_2,...C_k\}$$，参考模型给出的簇划分为$$D=\{D_1,D_2,...D_s\}$$。$$\lambda$$与$$\lambda^*$$分别表示$$C$$与$$D$$对应的簇标记，则有:
+
$$
a=|\{(x_i, x_j)|\lambda_i=\lambda_j, \lambda^*_i=\lambda^*_j,i < j\}|
$$
+
+
+
$$
b=|\{(x_i, x_j)|\lambda_i=\lambda_j, \lambda^*_i\neq\lambda^*_j, i < j\}|
$$
+
+
+
$$
c=|\{(x_i, x_j)|\lambda_i\neq\lambda_j, \lambda^*_i=\lambda^*_j, i < j\}|
$$
+
+
+
$$
d=|\{(x_i, x_j)|\lambda_i\neq\lambda_j, \lambda^*_i\neq\lambda^*_j, i < j\}|
$$
+
+
举个例子，参考模型给出的簇与聚类模型给出的簇划分如下：
@@ -48,9 +60,12 @@ $$
**JC系数**根据上面所提到的$$a$$，$$b$$，$$c$$来计算，并且值域为$$[0, 1]$$，值越大说明聚类性能越好，公式如下：
+
$$
JC=\frac{a}{a+b+c}
$$
+
+
因此刚刚的例子中，$$JC=\frac{2}{2+1+4}=\frac{2}{7}$$
@@ -58,9 +73,12 @@ $$
**FM指数**根据上面所提到的$$a$$，$$b$$，$$c$$来计算，并且值域为$$[0, 1]$$，值越大说明聚类性能越好，公式如下：
+
$$
FMI=\sqrt{\frac{a}{a+b}*\frac{a}{a+c}}
$$
+
+
因此刚刚的例子中，$$FMI=\sqrt{\frac{2}{2+1}*\frac{2}{2+4}}=\sqrt{\frac{4}{18}}$$
@@ -68,9 +86,12 @@ $$
**Rand指数**根据上面所提到的$$a$$和$$d$$来计算，并且值域为$$[0, 1]$$，值越大说明聚类性能越好，假设$$m$$为样本数量，公式如下：
+
$$
RandI=\frac{2(a+d)}{m(m-1)}
$$
+
+
因此刚刚的例子中，$$RandI=\frac{2*(2+8)}{6*(6-1)}=\frac{2}{3}$$。
@@ -82,9 +103,12 @@ $$
**DB指数**又称 DBI ，计算公式如下：
+
$$
DBI=\frac{1}{k}\sum_{i=1}^kmax(\frac{avg(C_i)+avg(C_j)}{d_c(\mu_i,\mu_j)}), i \neq j
$$
+
+
公式中的表达式其实很好理解，其中$$k$$代表聚类有多少个簇，$$\mu_i$$代表第$$i$$个簇的中心点，$$avg(C_i)$$代表$$C_i$$第$$i$$个簇中所有数据与第$$i$$个簇的中心点的平均距离。$$d_c(\mu_i, \mu_j)$$代表第$$i$$个簇的中心点与第$$j$$个簇的中心点的距离。
@@ -101,35 +125,56 @@ $$
从表格可以看出：
+
$$
k=2
$$
+
+
+
$$
\mu_1=(\frac{(3+2+3)}{3}, \frac{(4+3+4)}{3})=(2.67,3.67)
$$
+
+
+
$$
\mu_2=(\frac{(6+7+8)}{3}, \frac{(9+10+11)}{3})=(7,10)
$$
+
+
+
$$
d_c(\mu_1, \mu_2)=\sqrt{(2.67-7)^2+(3.67-10)^2}=7.67391
$$
+
+
+
$$
avg(C_1)=(\sqrt{(3-2.67)^2+(4-3.67)^2}+\sqrt{(2-2.67)^2+(3-3.67)^2}+\sqrt{(3-2.67)^2+(4-3.67)^2})/3=0.628539
$$
+
+
+
$$
avg(C_2)=(\sqrt{(6-7)^2+(9-10)^2}+\sqrt{(7-7)^2+(10-10)^2}+\sqrt{(8-7)^2+(11-10)^2})/3=0.94281
$$
+
+
因此有：
+
$$
DBI=\frac{1}{k}\sum_{i=1}^kmax(\frac{avg(C_i)+avg(C_j)}{d_c(\mu_i,\mu_j)})=0.204765
$$
+
+
**DB指数越小就越就意味着簇内距离越小同时簇间距离越大，也就是说DB指数越小越好。**
@@ -139,13 +184,16 @@ $$
**Dunn指数**又称DI，计算公式如下：
+
$$
DI=min_{1\leq i\leq k}\{min_{i\neq j}(\frac{d_min(C_i,C_j)}{max_{1\leq l\leq k}diam(C_l)})\}
$$
+
+
公式中的表达式其实很好理解，其中$$k$$代表聚类有多少个簇，$$d_{min}(C_i,C_j)$$代表第$$i$$个簇中的样本与第$$j$$个簇中的样本之间的最短距离，$$diam(C_l)$$代表第$$l$$个簇中相距最远的样本之间的距离。
-还是这个例子，现在有 6 条西瓜数据$$\{x_1,x_2,...,x_6\}$$，这些数据已经聚类成了 2 个簇。
+还是这个例子，现在有`6`条西瓜数据$$\{x_1,x_2,...,x_6\}$$，这些数据已经聚类成了 2 个簇。
| 编号 | 体积 | 重量 | 簇 |
| ------------ | ------------ | ------------ | ------------ |
@@ -158,26 +206,41 @@ $$
从表格可以看出：
+
$$
k=2
$$
+
+
+
$$
d_{min}(C_1,C_2)=\sqrt{(3-6)^2+(4-9)^2}=5.831
$$
+
+
+
$$
diam(C_1)=\sqrt{(3-2)^2+(4-2)^2}=1.414
$$
+
+
+
$$
diam(C_2)=\sqrt{(6-8)^2+(9-11)^2}=2.828
$$
+
+
因此有：
+
$$
DI=min_{1\leq i\leq k}\{min_{i\neq j}(\frac{d_min(C_i,C_j)}{max_{1\leq l\leq k}diam(C_l)})\}=2.061553
$$
+
+
**Dunn指数越大意味着簇内距离越小同时簇间距离越大，也就是说Dunn指数越大越好。**
\ No newline at end of file
diff --git a/decision_tree.md b/decision_tree.md
index 0bb851a..c132154 100644
--- a/decision_tree.md
+++ b/decision_tree.md
@@ -4,9 +4,9 @@
决策树说白了就是一棵能够替我们做决策的树，或者说是我们人的脑回路的一种表现形式。比如我看到一个人，然后我会思考这个男人有没有买车。那我的脑回路可能是这样的：
-
