统计学习(6)--逻辑斯谛回归
摘要
逻辑斯谛回归模型利用了逻辑斯谛方程的对数特性,将特征参数映射到[0,1]之间,将问题转换为概率预测,从而实现判别。
1.逻辑斯谛方程
学过数学建模的应该都知道,逻辑斯谛方程最早提出是用于人口增长模型。下面进行一个简单的推导。
假设人口随时间的函数是
解得
这种指数爆炸型增长是不太可能发生的,毕竟资源是有限的,所以人口增长应该还要和生物容量
这就是逻辑斯谛方程的微分形式,其实这个方程虽然是推猜出来的,但其蕴含了一定的自然规律,所以他从人口模型应用到了其他各个领域,这点和傅里叶变换不谋而合。
2.逻辑斯谛分布
现在我不关心数量了,我更想知道现在的人口占总容量的多少,记比例为
对于P(t)有
等式就变成了微分方程
解方程得
其中
将上式函数绘制出来就如下图

P的物理意义是占比,也就是说它的取值范围在
其中

3.二项逻辑斯谛回归模型
对于二分类问题,使用统计学习中常用的
我们人为假定这个P是实例x在参数
两者的和为1,使用训练集训练数据后,对于新实例,只需要计算两者的概率让后进行归类即可。
模型的参数可以使用极大似然估计法来得到,设
似然函数为
对数似然函数为
对
最后给出多项逻辑斯谛回归的公式
参考资料
[1] 《统计学习方法》 李航
Gitalking ...