逻辑回归（Logistic Regression)详解

逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行分类。其中每一组数据都是由p 个指标构成。

（1）逻辑回归所处理的数据

逻辑回归是用来进行分类的。例如，我们给出一个人的 [身高，体重] 这两个指标，然后判断这个人是属于”胖“还是”瘦“这一类。对于这个问题，我们可以先测量n个人的身高、体重以及对应的指标”胖“,”瘦”，把胖和瘦分别用0和1来表示，把这n组数据输入模型进行训练。训练之后再把待分类的一个人的身高、体重输入模型中，看这个人是属于“胖”还是“瘦”。

如果数据是有两个指标，可以用平面的点来表示数据，其中一个指标为x轴，另一个为y轴；如果数据有三个指标，可以用空间中的点表示数据；如果是p维的话(p>3)，就是p维空间中的点。

从本质上来说，逻辑回归训练后的模型是平面的一条直线（p=2),或是平面（p=3)，超平面（p>3)。并且这条线或平面把空间中的散点分成两半，属于同一类的数据大多数分布在曲线或平面的同一侧。

如上图所示，其中点的个数是样本个数，两种颜色代表两种指标。这个直线可以看成经这些样本训练后得出的划分样本的直线。那么对于之后的样本的p1与p2的值，就可以根据这条直线来判断它属于哪一类了。

（2）算法原理

首先，我们处理二分类问题。由于分成两类，我们便让其中一类标签为0，另一类为1。我们需要一个函数，对于输入的每一组数据 $x^{(i)}$ ，都能映射成0~1之间的数。并且如果函数值大于0.5，就判定属于1，否则属于0。而且函数中需要待定参数，通过利用样本训练，使得这个参数能够对训练集中的数据有很准确的预测。

这个函数就是sigmoid函数，形式为 $\sigma (x)=\frac{1}{1+e^{-x}}$ 。所以在这里我们可以设函数为

$h(\textup{x}^{i})=\frac{1}{1+e^{-(\textup{w}^{T}\textup{x}^{i}+b)}}$

这里 $x^{i}$ 是测试集第i个数据，是p维列向量 $\begin{pmatrix} x^{i}_{1}&x^{i}_{2}&...&x^{i}_{p}\end{}^{T}$ ；w是p维列向量 $\textbf{w}=\begin{pmatrix}w_{1}&w_{2}&...&w_{p} \end{}^{T}$ ,为待求参数；b是一个数，也是待求参数。

我们发现，对于 $w^{T}x+b$ ,其结果是 $w_{1}x_{1}+w_{2}x_{2}+...+w_{p}x_{p}+b$ 。所以我们可以把

w写成 $\begin{pmatrix}w_{1}&w_{2}&...&w_{p}&b \end{}^{T}$ , $\textbf{x}^{i}$ 写成 $\begin{pmatrix}x_{1}^{i}&x_{2}^{i}&...&x_{p}^{i}&1 \end{}^{T}$ 。 $w^{T}x+b$ 就可以写成 $\textbf{w}^{T}\mathbf{x}$ ,则：

$h(\mathbf{x}^{i})=\frac{1}{1+e^{-\textbf{w}^{T}\textbf{x}^{i}}}$

这样就可以把另一个参数b合并到w中。后面推导也方便很多。当然，我们也可以用用第一种形式来做，本质是相同的。之后就是根据训练样本来求参数w了。

（3）求解参数。

这一部分便是逻辑回归的核心问题了。兔兔在下面将给出两种方法。

（1）极大似然估计。

极大似然估计是数理统计中参数估计的一种重要方法。其思想就是一个事件发生了，那么发生这个事件的概率就是最大的。对于样本i,其类别为 $y_{i}\epsilon (0,1)$ 。对于样本i，可以把 $h(\mathbf{x}_{i})$ 看成是一种概率。yi对应是1时，概率是h(xi)，即xi属于1的可能性;yi对应是0时，概率是1-h(xi)，即xi属于0的可能性。那么它构造极大似然函数

$\prod _{i=1}^{i=k}h(x_{i})\prod _{i=k+1}^{n}(1-h(x_{i}))$ .

其中i从0到k是属于类别1的个数k,i从k+1到n是属于类别0的个数n-k。由于y是标签0或1，所以上面的式子也可以写成：

$\prod _{i=1}^{n} h(\mathbf{x}_{i})^{y_{i}}(1-h(\textbf{x}_{i}))^{1-y_{i}}$

这样无论y是0还是1，其中始终有一项会变成0次方，也就是1，和第一个式子是等价的。

为了方便，我们对式子取对数。因为是求式子的最大值，可以转换成式子乘以负1,之后求最小值。同时对于n个数据，累加后值会很大，之后如果用梯度下降容易导致梯度爆炸。所以可以除以样本总数n。

$L(\textbf{w})=\frac{1}{n}\sum _{i=1}^{n} -y_{i}ln(h(\mathbf{x}_{i}))-(1-y_{i})ln(1-h(\textbf{x}_{i}))$

求最小值方法很多，机器学习中常用梯度下降系列方法。也可以采用牛顿法，或是求导数为零时w的数值等。

（2）损失函数

逻辑回归中常用交叉熵损失函数，交叉熵损失函数和上面极大似然法得到的损失函数是相同的。这里不再赘述。另一种也可以采用平方损失函数(均方误差），即

$J(w)=\frac{1}{n}\sum _{i=1}^{n}\frac{1}{2}(h(x_{i})-y_{i})^{2}$

这个是比较直观的。就是让这个预测函数h(xi)与实际的分类1或0越接近越好。也就是损失函数越小越好。求最小值还是用到上面说到的方法。

目前我们这里已经得到了这两种函数。我们以梯度下降为例，即求损失函数的导数。

对于损失函数（1），导数求解过程如下（需要用到矩阵求导）。

对于损失函数（2），推导过程如下：

（3）算法实现。

兔兔在这里以Dry_Bean_Dataset文件为例。同学们可以在 www.kaggle.com 中下载该数据集，应该比较方便的。

import pandas as pd

data=pd.read_csv(‘Dry_Bean_Dataset.csv’)

df=pd.DataFrame(data)

print(df.columns，df.shape)

我们先看一下数据集的情况，里面有很多个指标，包括菜豆的区域，周长，长轴长、短轴长等。class代表对应菜豆的种类。我们这里为了直观方便（便于在二维平面表示），就选MajorAxisLength,MinorAxisLength这两个指标。由于是二分类，我们就选SEKER和BARBUNYA这两个种类，即前3349组数据。绘制散点图观察。

import pandas as pd

import matplotlib.pyplot as plt

data=pd.read_csv(‘Dry_Bean_Dataset.csv’)

df=pd.DataFrame(data)

color=[]

for i in df[‘Class’][0:3349]:

if i==’SEKER’:

color.append(‘red’)

else:

color.append(‘blue’)

plt.scatter(df[‘MajorAxisLength’][0:3349],df[‘MinorAxisLength’][0:3349],color=color)

plt.xlabel(‘MajorAxisLength’)

plt.ylabel(‘MinorAxisLength’)

plt.show()

散点图如下：

可见，该数据是可以用一条直线分成两个部分的。

之后，我们需要处理一下数据。把每组数据两个指标及其对应的分类绑在一起（如果用随机梯度下降需要这样处理，批量梯度下降可以不用这样处理），并把每组数据转成列向量。

import numpy as np

import pandas as pd

data=pd.read_csv(‘Dry_Bean_Dataset.csv’)

df=pd.DataFrame(data)

label=[]

for i in df[‘Class’][0:3349]:

if i==’SEKER’:

label.append(0)

else:

label.append(1)

x1=df[‘MajorAxisLength’][0:3349]

x2=df[‘MinorAxisLength’][0:3349]

train_data=list(zip(x1,x2,label))

class Logistic_Regression:

def __init__(self,traindata,alpha=0.001,circle=1000,batchlength=40):

self.traindata=traindata #训练数据集

self.alpha=alpha #学习率

self.circle=circle #学习次数

self.batchlength=batchlength #把3349个数据分成多个部分，每个部分有batchlength个数据

self.w=np.random.normal(size=(3,1)) #随机初始化参数w

def data_process(self):

”’做随机梯度下降，打乱数据顺序，并把所有数据分成若干个batch”’

np.random.shuffle(self.traindata)

data=[self.traindata[i:i+self.batchlength]

for i in range(0,len(self.traindata),self.batchlength)]

return data

def train1(self):

”’根据损失函数（1）来进行梯度下降，这里采用随机梯度下降”’

for i in range(self.circle):

batches=self.data_process()

print(‘the {} epoch’.format(i)) #程序运行时显示执行次数

for batch in batches:

d_w=np.zeros(shape=(3,1)) #用来累计w导数值

for j in batch: #取batch中每一组数据

x0=np.r_[j[0:2],1] #把数据中指标取出，后面补1

x=np.mat(x0).T #转化成列向量

y=j[2] #标签

dw=(self.sigmoid(self.w.T*x)-y)[0,0]*x

d_w+=dw

self.w-=self.alpha*d_w/self.batchlength

def train2(self):

”’用均方损失函数来进行梯度下降求解”’

for i in range(self.circle):

batches=self.data_process()

print(‘the {} epoch’.format(i)) #程序运行时显示执行次数

for batch in batches:

d_w=np.zeros(shape=(3,1)) #用来累计w导数值

for j in batch: #取batch中每一组数据

x0=np.r_[j[0:2],1] #把数据中指标取出，后面补1

x=np.mat(x0).T #转化成列向量

y=j[2] #标签

dw=((self.sigmoid(self.w.T*x)-y)*self.sigmoid(self.w.T*x)*(1-self.sigmoid(self.w.T*x)))[0,0]*x

d_w+=dw

self.w-=self.alpha*d_w/self.batchlength

def sigmoid(self,x):

return 1/(1+np.exp(-x))

def predict(self,x):

”’测试新数据属于哪一类，x是2维列向量”’

s=self.sigmoid(self.w.T*x)

if s>=0.5:

return 1

elif s<0.5:

return 0

if __name__==’__main__’:

regr=Logistic_Regression(traindata=train_data)

regr.train1() #采用1的方式进行训练

处理过程需要注意数据的类型。例如当行向量与列向量相乘为一个数时，我们计算是一个数，但是numpy 返回是一个1×1的矩阵，这样再与后面向量相乘就会出错，所以需要注意把矩阵转换成数。

那么，对于这个模型如何比较直观地观察效果呢？我们知道，最终x代入h(x)中，值越接近于1说明越可能属于1类，越接近0越属于0类；那么当h(x)=0.5时，这个时候x就在分界线上面了。所以由 $\frac{1}{1+e^{-\mathbf{w}^{T}\mathbf{x}}}=0.5$ ，最终得出 $\mathbf{w}^{T}\mathbf{x}=0$ ，即 $w_{1}x_{1}+w_{2}x_{2}+w_{3}=0$ 。这个便是分界直线方程。

w=regr.w

w1=w[0,0]

w2=w[1,0]

w3=w[2,0]

x=np.arange(190,500)

y=-w1*x/w2-w3/w2

plt.plot(x,y)

plt.show()

为了动态观察直线变换，也是可以把这个部分放在train()函数当中的。

对于上面的运行结果，我们可以发现效果不是很好。一方面运行速度很慢，而且alpha设置稍稍大一点很容易造成sigmoid函数下方溢出现象，另一方面，我们发现直线并未把两组数据完全分割开，甚至是穿过了两个区域。

关于这个现象，兔兔认为：数据集数量较大，每处理一遍数据都要很大的计算量，导致运行速度慢，解决方法是：可以每次circle只从中随机选取部分数据进行训练；对于函数溢出的现象，在于 $\textbf{w}^{T}\textbf{x}$ 运行过程中变成很小的负数，导致指数运算过大，所以可以把学习率变小，防止一次迭代后w就变成使得 $\textbf{w}^{T}\textbf{x}$ 很小的数值；直线没有完全分割两个部分，我们可以从数据特征方面来考虑，由于我们人为地随便选两个指标，然后根据这两个指标训练并判断分类标准，这样做是很容易出现问题的，我们不知道两个指标的数据特征与关系，也不清楚其它的指标是否对分类起决定性作用，而且两类数据有很多公共的部分重叠，也同样导致分类出现问题。当我们训练结束后，发现直线虽然穿过两个区域，是斜率为正的直线，但实际上它也把两个区域的核心部分（两类当中数据最集中部分）分成了两个部分，说明这一部分数据起了主要作用，而且逻辑回归训练最终目的也是让损失函数达到最小，说明最终的曲线也是符合要求的。

为了直观体现逻辑回归的训练特点，兔兔选了iris数据集一部分进行训练，效果如下图所示。

像上面的情况基本上循环几十次就稳定在最优解附近。如果学习率等参数没有弄好，可能会出现下面情况：

（4）非线性逻辑回归

与线性的逻辑回归相比，非线性的逻辑回归应用应该更加普遍。例如，当两组数据无法用一条直线或一个平面分割，而是需要曲线或曲面才能分割好。这个时候就可以用非线性的逻辑回归了。比如用一个圆、椭圆、曲线等把两组数据分开。

非线性回归的训练和推导过程和前面的是一致的。只是把x1,x2两个指标做一下处理。这个过程和兔兔之前讲到的非线性回归是一致的（详见：《线性回归（线性拟合）与非线性回归（非线性拟合）原理、推导与算法实现（一）》）。

前面我们发现，我们最后训练得到的曲线方程是 $w_{1}x_{1}+w_{2}x_{2}+w_{3}=0$ 。那么，如果我们令 $\mathbf{w}=\begin{pmatrix}w_{0}&w_{1}&w_{2}&w_{3} &w_{4}\end{}^{T}$ ,把每组输入的向量x处理成： $\mathbf{\mathbf{}x}=\begin{pmatrix}1&x_{1}&x_{2}&x_{1}^{2}&x_{2}^{2} \end{}^{T}$ ,也就是类似多项式回归。这样训练之后就可以用形式为 $w_{0}+w_{1}x_{1}+w_{2}x_{2}+w_{3}x_{1}^{2}+w_{4}x_{2}^2=0$ 这样的曲线方程来分割区域了。对于三维、p维也是如此。我们甚至也可以根据需要调整多项式次数，或者函数形式等，从而达到理想的效果。但是这时要注意过拟合、欠拟合的情况发生，并且需要正则化等处理方法。

（5）逻辑回归的多分类问题。

前面所讲的都是逻辑回归的二分类问题，那么逻辑回归是否可以处理多分类呢？答案是肯定的。这时我们就不再使用sigmoid 函数，而是另一个叫做softmax函数。函数形式如下：

$softmax(k,x_{1},x_{2},...,x_{n})=\frac{e^{x_{k}}}{\sum _{i=1}^{n}e^{x_{i}}}$

那么h(x)函数就是

$h(\textbf{x})=\begin{pmatrix}e^{\textbf{w}_{1}^{T}\textbf{x }}\\e^{\mathbf{w}_{2}^{T}\mathbf{x}}\\..\\e^{\textbf{w}_{k}^{T}\mathbf{x}} \end{}\frac{1}{\sum_{j=1}^{k}e^{\textbf{w}_{j}^{T}\textbf{x}}}=\begin{pmatrix}p(y=1)\\p(y=2)\\..\\p(y=k) \end{}$

这里同样，我们把k个类用数字1，2…..k来表示，在sigmoid 函数当中，函数值表示概率。在这里也是如此，x经过h函数处理后，得到向量里面对应位置（分类）的数值就是取对应位置（分类）的概率。例如，对于三分类问题，如果向量中p(y=1)=0.7,p(y=2)=0.2,p(y=3)=0.1,那么x属于1类的概率最大，故判别为1类。

它的推导过程于前面类似，同样构造损失函数，求损失函数对w的导数，做梯度下降处理计算。

这里用的是均方损失，推导过程如上所示，对各个w求偏导，之后相应的w做梯度下降即可。

（6）总结。

逻辑回归可以分为线性与非线性，也可以根据类的个数分为二分类与多分类问题，使用时需要灵活应用，能够构造损失函数并求梯度，同时能够用算法实现并进行训练预测。

事实上，细心的同学会发现，在逻辑回归中，我们发现是多个输入（即p个指标），最终输出一个结果（0或1），处理过程是输入乘上权重w加偏置b（本文权重w与偏置b都合并到w中了），再对结果用sigmoid 函数处理，这个过程其实很接近于神经网络了，而逻辑回归的模型更接近于感知机。对于神经网络，它不只有输入和输出两层，而且增加了更多的隐藏层，每一层的处理结果都作为下一层的输入，那么它的损失函数与梯度的求解也将更加复杂，模型也复杂许多。

声明：本站所有资源，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

logistic