统计学习(6)--逻辑斯谛回归

摘要

逻辑斯谛回归模型利用了逻辑斯谛方程的对数特性,将特征参数映射到[0,1]之间,将问题转换为概率预测,从而实现判别。

1.逻辑斯谛方程

学过数学建模的应该都知道,逻辑斯谛方程最早提出是用于人口增长模型。下面进行一个简单的推导。

假设人口随时间的函数是W(t),人口增长率为β,则人口增长的微分方程为

dW(t)dt=βW(t)

解得

W(t)=expβt+C

这种指数爆炸型增长是不太可能发生的,毕竟资源是有限的,所以人口增长应该还要和生物容量K有关,再重新写出微分方程,这里的β和上面的可能存在数值上的差异。

dW(t)dt=βW(t)(KW(t))

这就是逻辑斯谛方程的微分形式,其实这个方程虽然是推猜出来的,但其蕴含了一定的自然规律,所以他从人口模型应用到了其他各个领域,这点和傅里叶变换不谋而合。

2.逻辑斯谛分布

现在我不关心数量了,我更想知道现在的人口占总容量的多少,记比例为P(t)我们有P(t)=W(t)/K

对于P(t)有

dP(t)dt=d(W(t)/K)dt=βKW(t)(KW(t))=KβP(t)[1P(t)]

等式就变成了微分方程 1P[1P]PdP=Cdt 其中C是常数

解方程得

(式1)P=exp(α+βt)1+exp(α+βt)

其中αβ是常数,令x=α+βt

将上式函数绘制出来就如下图

P的物理意义是占比,也就是说它的取值范围在[01]之间,这和概率不谋而合,将这个函数视作概率密度函数,可以得到逻辑斯谛分布函数方程和图如下

F(x)=P(Xx)=11+e(xμ)/γ

f(x)=F(x)=e(xμ)/γγ(1+e(xμ)/γ)2

其中μ为位置参数,γ>0是形状参数。

3.二项逻辑斯谛回归模型

对于二分类问题,使用统计学习中常用的wb来代替式1的βα,可以得到

P=exp(wx+b)1+exp(wx+b)

我们人为假定这个P是实例x在参数wb条件下分类为1的概率,毕竟参数是可以训练的,那么有

P(Y=0x)=11+exp(wx+b)

两者的和为1,使用训练集训练数据后,对于新实例,只需要计算两者的概率让后进行归类即可。

模型的参数可以使用极大似然估计法来得到,设

P(Y=1x)=π(x),P(Y=0x)=1π(x)

似然函数为

i=1N[π(xi)]yi[1π(xi)]1yi

对数似然函数为

L(w)=i=1N[yilogπ(xi)+(1yi)log(1π(xi))]=i=1N[yilogπ(xi)1π(xi)+log(1π(xi))]=i=1N[yi(wxi)log(1+exp(wxi)]

L(w)用梯度下降法求极大值即可得到估计值。

最后给出多项逻辑斯谛回归的公式

P(Y=kx)=exp(wkx)1+k=1K1exp(wkx),k=1,2,,K1

参考资料

[1] 《统计学习方法》 李航