统计学习(6)--逻辑斯谛回归

摘要

逻辑斯谛回归模型利用了逻辑斯谛方程的对数特性，将特征参数映射到[0，1]之间，将问题转换为概率预测，从而实现判别。

1.逻辑斯谛方程

学过数学建模的应该都知道，逻辑斯谛方程最早提出是用于人口增长模型。下面进行一个简单的推导。

假设人口随时间的函数是$W(t)$，人口增长率为$\beta$，则人口增长的微分方程为

$$\frac{\mathrm{d}W(t)}{\mathrm{d}t}=\beta W(t)$$

解得

$$W(t)=\exp （\beta t+C）$$

这种指数爆炸型增长是不太可能发生的，毕竟资源是有限的，所以人口增长应该还要和生物容量$K$有关，再重新写出微分方程,这里的$\beta$和上面的可能存在数值上的差异。

$$\frac{\mathrm{d}W(t)}{\mathrm{d}t}=\beta W(t)(K-W(t))$$

这就是逻辑斯谛方程的微分形式，其实这个方程虽然是推猜出来的，但其蕴含了一定的自然规律，所以他从人口模型应用到了其他各个领域，这点和傅里叶变换不谋而合。

2.逻辑斯谛分布

现在我不关心数量了，我更想知道现在的人口占总容量的多少，记比例为$P(t)$我们有$P(t)=W(t)/K$

对于P(t)有

$$\begin{array}{rl}\frac{\mathrm{d}P(t)}{\mathrm{d}t}& =\frac{\mathrm{d}(W(t)/K)}{\mathrm{d}t}\\ & =\frac{\beta }{K}W(t)(K-W(t))\\ & =K\beta P(t)[1-P(t)]\end{array}$$

等式就变成了微分方程 $$\frac{1}{P[1-P]}P\mathrm{d}P=C\ast \mathrm{d}t$$ 其中C是常数

解方程得

$$\begin{array}{}\text{(式1)}& P=\frac{\exp (\alpha +\beta t)}{1+\exp (\alpha +\beta t)}\end{array}$$

其中$\alpha$和$\beta$是常数，令$x=\alpha +\beta t$

将上式函数绘制出来就如下图

逻辑斯谛分布

P的物理意义是占比，也就是说它的取值范围在$[0-1]$之间，这和概率不谋而合，将这个函数视作概率密度函数，可以得到逻辑斯谛分布函数方程和图如下

$$F(x)=P(X⩽x)=\frac{1}{1+{\mathrm{e}}^{-(x-\mu )/\gamma }}$$

$$f(x)=F^{\prime }(x)=\frac{{\mathrm{e}}^{-(x-\mu )/\gamma }}{\gamma {(1+{\mathrm{e}}^{-(x-\mu )/\gamma })}^2}$$

其中$\mu$为位置参数，$\gamma >0$是形状参数。

分布函数

3.二项逻辑斯谛回归模型

对于二分类问题，使用统计学习中常用的$w$和$b$来代替式1的$\beta$和$\alpha$,可以得到

$$P=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}$$

我们人为假定这个P是实例x在参数$w$和$b$条件下分类为1的概率，毕竟参数是可以训练的，那么有

$$P(Y=0\mid x)=\frac{1}{1+\exp (w\cdot x+b)}$$

两者的和为1，使用训练集训练数据后，对于新实例，只需要计算两者的概率让后进行归类即可。

模型的参数可以使用极大似然估计法来得到，设

$$P(Y=1\mid x)=\pi (x),P(Y=0\mid x)=1-\pi (x)$$

似然函数为

$$\prod _{i=1}^N{\left[\pi \left(x_i\right)\right]}^{y_i}{[1-\pi \left(x_i\right)]}^{1-y_i}$$

对数似然函数为

$$\begin{array}{rl}L(w)& =\sum _{i=1}^N[y_i\log \pi \left(x_i\right)+(1-y_i)\log (1-\pi \left(x_i\right))]\\ & =\sum _{i=1}^N[y_i\log \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}+\log (1-\pi \left(x_i\right))]\\ & =\sum _{i=1}^N[y_i(w\cdot x_i)-\log (1+\exp (w\cdot x_i)]\end{array}$$

对$L(w)$用梯度下降法求极大值即可得到估计值。

最后给出多项逻辑斯谛回归的公式

$$P(Y=k\mid x)=\frac{\exp (w_k\cdot x)}{1+\sum _{k=1}^{K-1}\exp (w_k\cdot x)},k=1,2,\cdots ,K-1$$

参考资料

[1] 《统计学习方法》 李航