机器学习实战（Machine Learning in Action）学习笔记————05.Logistic回归
关键字：Logistic回归、python、源码解析、测试作者：米仓山下时间：2018-10-26机器学习实战（Machine Learning in Action,@author: Peter Harrington）源码下载地址：https://www.manning.com/books/machine-learning-in-actiongit@github.com:pbharrin/machinelearninginaction.git*************************************************************一、Logistic回归Sigmoid函数输入为z，z=w0x0+w1x1+w2x2+…wnxn,又写成z=WTXSigmoid函数为σ(z)=1/(1+exp(-z))#Logistic回归分类的原理：训练得到系数矩阵W，将位置特征向量带入Sigmoid，计算得到一个位于0~1之间的数，大于0.5则属于1类，小于0.5则属于0类。梯度上升法：要找到某个函数的最大值，最好的方法就是沿着该函数梯度的方向探寻。如果梯度记为▽，则函数f(x,y)的梯度表示为：梯度上升算法到达每个点后都会重新估计移动的方向。从P0开始，计算该点的梯度，函数就根据梯度移动到下一个点P1。在P1点，梯度再次被重新计算，并沿新的梯度方向移动到P2。如此迭代，直到满足停止条件。迭代的过程中，梯度算子总是保证我们能够取到最佳的移动方向。梯度的方向就是导数最大值的方向，即函数变化率最快的方向。梯度可以通过对函数求导得到。向梯度相反方向移动保证每一次迭代都在减少下降局部全局最小值用向量来表示的话，梯度算法的迭代公式为：w:=w+α▽wf(w)公式一直迭代下去，直到某个指定值或算法达到某个可以允许的误差范围。这本书中用的是梯度上升，平时听到比较多的是梯度下降法，其实是一样的，只是移动的方向不同：梯度上升用来求解最大值，梯度下降用来求解最小值。接触过深度学习就知道，梯度下降在求解参数矩阵时非常重要。主要看两个函数：#Logistic函数σ(z)=1/(1+exp(-z))def sigmoid(inX): return 1.0/(1+exp(-inX))#Logistic回归梯度上升优化算法def gradAscent(dataMatIn, classLabels): dataMatrix = mat(dataMatIn) #convert to NumPy matrix labelMat = mat(classLabels).transpose() #convert to NumPy matrix m,n = shape(dataMatrix) alpha = 0.001 #移动步长 maxCycles = 500 #迭代次数 weights = ones((n,1)) #初始化系数向量 for k in range(maxCycles): #heavy on matrix operations h = sigmoid(dataMatrix*weights) #matrix mult error = (labelMat - h) #[注].vector subtraction weights = weights + alpha * dataMatrix.transpose()* error #[注].matrix mult return weights
[注]书中省略了梯度的推导过程。构造的损失函数为P(y|x;θ)=(hθ(x))^y * (1-hθ(x))^(1-y)，其中h即Logistic函数σ，取其似然函数和最大似然函数，求最大似然估计，然后求导就可以得到上面的结果。参考网址************或则书*******
--------------------------------------------------------------测试：>>> import logRegres>>> data,lable=logRegres.loadDataSet()>>> w=logRegres.gradAscent(data,lable)>>> wmatrix([[ 4.12414349], [ 0.48007329], [-0.6168482 ]])>>>#画出决策边界>>> logRegres.plotBestFit(w.getA())>>>
def classifyVector(inX, weights): prob = sigmoid(sum(inX*weights)) if prob > 0.5: return 1.0 else: return 0.0
*************************************************************
二、示例：从疝气病症预测马的死亡率处理数据中的缺失值的方法：#使用可用特征的均值来填补缺失值；#使用特殊值来填补缺失值，如-1；#忽略有缺失值的样本；使用相似样本均值补缺缺失值；使用另外的机器学习算法预测缺失值这个例子中用了0来补缺失值,数据包含28个特征和1列标签（分类两类），horseColicTraining.txt为训练数据，horseColicTest.txt为测试数据。使用改进的随机梯度上升stocGradAscent1算法，对数据进行测试>>> logRegres.colicTest()#colicTest()为循环训练1000次再进行测试的效果logRegres.py:18: RuntimeWarning: overflow encountered in exp return 1.0/(1+exp(-inX))the error rate of this test is: 0.3731340.373134328358209>>>>>> logRegres.multiTest()#colicTest()执行10次的平均错误率the error rate of this test is: 0.343284the error rate of this test is: 0.358209the error rate of this test is: 0.343284the error rate of this test is: 0.343284the error rate of this test is: 0.268657the error rate of this test is: 0.253731the error rate of this test is: 0.343284the error rate of this test is: 0.268657the error rate of this test is: 0.447761the error rate of this test is: 0.283582after 10 iterations the average error rate is: 0.325373>>>
其他代码：
sigmoidPlot.py #s = 1/(1 + exp(-t))函数在[-5,5]和[-60,60]上的形态对比plotSDerror.py #stocGradAscent1算法，在迭代过程中，三个参数的变化趋势plotGD.py #梯度下降示意图plot2D.py #stocGradAscent0进行梯度下降，决策边界