决策树算法是机器学习中的经典算法

1.决策树(decision tree)

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。

假设小明去看电影，影响看电影的外部因素有 时间 电影类型 评分 三个情况，目前已知的样本数据如下

根据以上样本数据，整理成tree形结构如下

2.决策树算法中熵的概念

1948年香农提出了“信息熵(entropy)”的概念

一条信息的信息量大小和它的不确定性有直接，信息量的度量就等于不确定性的多少，我们用bit(比特)来衡量信息量的多少

信息熵的计算公式如下，以log2为底，取对数，然后把每一种情况相加，当每种情况下概率相等时，取最大值，为n/2 -1 ，即变量的不确定性越大，则信息熵也越大

3.决策树归纳算法

策树归纳算法是J.Ross.Quinian在19世纪70年代提出的的ID3算法.

上面小明看电影实例中，总的信息量（单位为bit）为

同理，我们可以计算不同电影类型的信息熵，结果为0.65bits

此处解释下为什么根节点从电影类型开始划分，判断应该用哪个类型划分节点，可以依据如下公式判定

Gain(A) = info(D) - Info_A(D)

即总的信息量减除以特定节点的信息获取量，如果此值越大，说明获取的信息量越多，据此可以作为根节点

以type为节点的信息获取量:

Gain(type) = 0.991 - 0.65 = 0.341 (bits)

依次类推，也可以计算出以time 和 grade获取的信息量，在此不一一计算了。因为此处以type为节点获取的信息量最大，所以根节点以type区分

其它算法

c4.5: (Quinlan)

cart: Classification and Regression Trees (L.Breiman, J.Friedman, R.Olshen, C.Stone)

以上两个算法c4.5和cart以及前面介绍的entropy都是贪心算法，主要区别在于属性的度量方法不同.

tips

决策树算法，直观，便于理解，试用于小规模的数据，对连续型变量处理不好，如果要处理，需要做到离散化。如果类型分得太细，可能会造成train较好，但是predict不好，为避免此种情况的overfitting,一般采取减枝

代码实现

本文以python为例，讲解代码的实现，本文会用到机器学习中常用的python库sklearn

下面直接看代码

其中用到了sklearn库中的DictVectorizer（转换成sklearn所能接受的类型用）, csv（处理csv格式文件用）, preprocessing(预处理数据,只能是数值类型)，tree（决策树）, StringIO(sklearn中的IO处理)

from sklearn.feature_extraction import DictVectorizer

import csv

from sklearn import preprocessing

from sklearn import tree

from sklearn.externals.six import StringIO

接下来，首先读取本读的csv数据，数据样本如第一张图片

allFilmsData = open(r'/Users/max/Desktop/seeFilm.csv', 'rb')

reader = csv.reader(allFilmsData)

headers = reader.next()

接着，我们对数据进行处理

# 特征数组

featureList = []

# 标签数组

labelList = []

for row in reader:

labelList.append(row[len(row) - 1])

rowDict = {}

for i in range(1, len(row) - 1):

rowDict[headers[i]] = row[i]

featureList.append(rowDict)

# vetoarize feature

vec = DictVectorizer()

#DictVectorizer实例化

dummyX = vec.fit_transform(featureList).toarray()

#转化成dummy viable格式的

通过以上转化，得到的数据结构如下

dumyX:[

[ 1. 0. 0. 0. 1. 0. 0. 1. 0.]

[ 0. 0. 1. 1. 0. 0. 0. 0. 1.]

[ 0. 0. 1. 1. 0. 0. 1. 0. 0.]

[ 1. 0. 0. 1. 0. 1. 0. 0. 0.]

[ 1. 0. 0. 0. 1. 0. 0. 0. 1.]

[ 0. 1. 0. 1. 0. 0. 1. 0. 0.]

[ 0. 1. 0. 0. 1. 0. 0. 0. 1.]

[ 1. 0. 0. 0. 1. 0. 1. 0. 0.]

[ 0. 0. 1. 1. 0. 0. 0. 1. 0.]

]

同时，我们可以查看feature_names和labelList

feature_names格式如下：

['grade=high', 'grade=low', 'grade=middle', 'time=weekend', 'time=workday_night', 'type=art', 'type=crime', 'type=love', 'type=science_fiction']

labelList格式如下:

labelList:['see', 'no', 'see', 'see', 'no', 'no', 'no', 'see', 'see']

把labelList转化，代码如下

# vectorize class labels

lb = preprocessing.LabelBinarizer()

dummyY = lb.fit_transform(labelList)

print("dummy:" + str(dummyY))

接下来，我们可以查看树结构

clf = tree.DecisionTreeClassifier(criterion='entropy')

'''

上述采用的信息熵的差作为度量标准，即ID3

如果此处不传，默认采用的是gini，即是cart算法

'''

clf = clf.fit(dummyX, dummyY)

print("clf:" + str(clf))

with open("/Users/max/Desktop/allFilmInfoGainOri.dot", 'w') as f:

f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)

我们把上面结果存储为allFilmInfoGainOri.dot的文件，可以看到文档信息如下，打开本地文件，可以看到文件结构如下

当然为了更加直观的查看以上部分数据结构，我们可以用Graphviz工具转换成树形结构的形式便于阅读，转换后的属性结构如下

最后，我们用代码预测

例如：我们修改第一行的数据,预测代码如下

oneRowX = dummyX[0, :]

newRowX = oneRowX

newRowX[0] = 0

newRowX[7] = 1

['grade=high', 'grade=low', 'grade=middle', 'time=weekend', 'time=workday_night', 'type=art', 'type=crime', 'type=love', 'type=science_fiction']

labelList:['see', 'no', 'see', 'see', 'no', 'no', 'no', 'see', 'see']

newRowX[0] = 0, 表示评分高为0

newRowX[7] = 1， 表示是love类型电影

predictedY = clf.predict([newRowX])

以上代码执行后，我们会得到predictedY为[1], 即说明此中情况下，小明会去看电影