阅读 76

Logistic Regression

简介:

Logistic Regression 逻辑回归模型,虽然被称为回归,但其实际上是分类模型,并常用于二分类。Logistic 回归的本质是:假设数据服从这个分布,然后使用极大似然估计做参数的估计。

logistic回归是一种广义线性回归(generalized linear model),因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同,都具有 wx+b,其中w和b是待求参数,其区别在于他们的因变量不同,多重线性回归直接将wx+b作为因变量,即y =wx+b,而logistic回归则通过函数L将wx+b对应一个隐状态p,p =L(wx+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数,就是logistic回归,如果L是多项式函数就是多项式回归

logistic回归的因变量可以是二分类的,也可以是多分类的,但是二分类的更为常用,也更加容易解释,多类可以使用softmax方法进行处理。实际中最为常用的就是二分类的logistic回归

回归问题的输出是联连续的,分类问题的输出是离散的:

左回归,右分类

如何把回归问题变成分类问题:

逻辑回归=线性回归+sigmoid()

sigmoid函数

即逻辑回归是:在线性回归的实数范围输出值上施加sigmoid函数将值收敛到0~1范围

线性回归的输出值是连续的y值,通过sigmoid函数映射到0-1之间的一个概率值

线性回归是用一条直线来拟合自变量和因变量之间的关系

将线性回归的输出作为sigmoid函数的输入,得到:

如果要求多元分类,就要把sigmoid换成softmax了

逻辑回归和线性回归首先都是广义的线性回归,其次经典线性模型的优化目标函数是最小二乘,而逻辑回归则是似然函数,另外线性回归在整个实数域范围内进行预测,敏感度一致,而分类范围,需要在[0,1]。逻辑回归就是一种减小预测范围,将预测值限定为[0,1]间的一种回归模型,因而对于这类问题来说,逻辑回归的鲁棒性比线性回归的要好。

作者:三方斜阳

原文链接:https://www.jianshu.com/p/0b859d108841

文章分类
后端
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐