Logistic回归

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
思无涯咿呀咿呀讨论 | 贡献2020年10月15日 (四) 16:07的版本 (创建页面,内容为“ 你在拉斯维加斯(也许只是单机PC版)玩着一系列“公平”赌博——如果“公平”真的存在! 有的赌博胜面小,你用1元押注…”)
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳到导航 跳到搜索

你在拉斯维加斯(也许只是单机PC版)玩着一系列“公平”赌博——如果“公平”真的存在!

有的赌博胜面小,你用1元押注就可以获得额外1024元的回报;而有的赌博胜面大,要押注2元;于是还有4元,8元的押注……

你想用一个“风险值”(Risk Score)描述公平赌博的胜面,需要押注每大一倍,说明胜面多一些,这个赌博的“风险值”就下降1分。

用线性变化的得分描述倍增/倍减的押注额,或者解决类似问题,你需要的是Logistic回归。

定义

先从公平赌博开始讲:如果一场赌博,支付x元之后获胜能够超额得到A元,否则输掉这x元,那么你的胜率是多少?

令胜率为[math]\displaystyle{ P }[/math],收益随机变量为X,可知

[math]\displaystyle{ 0=E(X)=AP-x(1-P); P=\frac{x}{A+x} }[/math]

如果我们加倍赌注,胜率就变成了[math]\displaystyle{ P^*=\frac{2x}{A+2x} }[/math]

胜率不是在翻倍的,此时胜率/输率在翻倍(胜面对负面按比例扩张)

[math]\displaystyle{ \frac{p}{1-p}=\frac{x}{A}, \frac{p^*}{1-p^*}=\frac{2x}{A} }[/math],...

使用之前的等差线性风险记分来描述胜负面比例的等比大小,在不知道胜负面大小的时候,我们使用一系列观测变量的线性组合[math]\displaystyle{ \beta_0+\sum_{i=1}^k{\beta_kX_k} }[/math]来估计出胜负面比例,可以构建模型如下:

[math]\displaystyle{ \mbox{Logit}(P)=log(\frac{p}{1-p}) = f(X) = \beta_0+\sum_{i=1}^k{\beta_kX_k} + \epsilon }[/math]

其中联合正态分布的变量集[math]\displaystyle{ \{X_k\} }[/math]与正态分布的误差项[math]\displaystyle{ \epsilon }[/math]互相独立。

与线性回归的比较

如果在实际问题中,我们观测到的是一批偏向于“实验设计出”的数据,往往会得到如下形式的数据:

[math]\displaystyle{ \bar{P}\backslash X }[/math] 观测数 X1 X2
0.8 [math]\displaystyle{ N_1 }[/math] 0 0
0.65 [math]\displaystyle{ N_2 }[/math] 1 0
0.7 [math]\displaystyle{ N_3 }[/math] 0 1
0.55 [math]\displaystyle{ N_4 }[/math] 1 1

[math]\displaystyle{ \mbox{Logit}(P)=log(\frac{p}{1-p}) = f(X) = \beta_0+\beta_1X_1+\beta_2X_2 + \epsilon }[/math]

在数据点N的数目较大的情况下,先估计[math]\displaystyle{ Logit(\hat{p}) }[/math]的方差,并给每一条观测加上适当的权重[math]\displaystyle{ \sqrt{Np(1-p)} }[/math],可以把问题简化为一般线性模型并使用最小二乘法迭代求解。

这样求解的问题在于,十分依赖变量需要离散化成为水平数有限的列名型或者序数型变量,考察变量间相互作用时往往带来大量待估参数。


Logistic回归求解

Logistic回归的目标在于如何更准确的建立泛用性的Logistic线性模型,允许变量集[math]\displaystyle{ \{X_1,X_2,...X_k\} }[/math]是连续型变量,如下图所示:

Y [math]\displaystyle{ \backslash }[/math] X 观测数 X1 X2
1 1 [math]\displaystyle{ x_{1,1} }[/math] [math]\displaystyle{ x_{1,2} }[/math]
0 1 [math]\displaystyle{ x_{2,1} }[/math] [math]\displaystyle{ x_{2,2} }[/math]
0 1 [math]\displaystyle{ x_{3,1} }[/math] [math]\displaystyle{ x_{2,3} }[/math]
1 1 [math]\displaystyle{ x_{4,1} }[/math] [math]\displaystyle{ x_{2,4} }[/math]

可以得到“事件发生/未发生”的单条观测,[math]\displaystyle{ x_{i,j} }[/math]可以取到连续值,但因为观测量只有一条,此时的目标变量变成了二值变量,无法再使用“先估计合理p再调整权重”的思路了。

为了解决这个问题,我们把Logistic回归放在“寻找参数的最大似然估计(MLE)”框架下求解。

[math]\displaystyle{ }[/math]

求解最优问题:Newton-Raphson迭代

简化版问题:信用风险评分卡

相关wiki