本发明涉及回归分析领域，具体涉及一种基于切线单折线法的信赖域求解逻辑回归分析的方法。
背景技术：
逻辑回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。逻辑回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率等。
逻辑回归分析的通常做法是先构造出一个代价函数，然后对其求解，找到最优解。如果这个函数存在解析解，那么求导就可以得出结果了，然而事实上大多数情况是该函数很难求导或者得不到解析解，此时就需要用到最优化方法了。以往人们都会偏向选择梯度下降法，这是一种古老简单的方法，但是缺点是收敛慢、效率不高、有时候达不到最优解。
鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。
技术实现要素：
为解决上述技术缺陷，本发明采用的技术方案在于，提供了一种基于切线单折线法的信赖域求解逻辑回归分析的方法，该方法包括以下步骤：
步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；
表示n维的模型参数，即回归系数，
Logistic函数为：
由公式(1)和(2)得到的预测拟合函数为：
步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；
其中，代价函数为：
逻辑回归分析的求解目标为：
步骤S3：构造信赖域模型子问题；
在θk的Δk邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题；
其中δ＝θ-θk，Jk＝J(θk)，gk＝▽J(θk)，Gk是Hessian矩阵▽2J(θk)或其近似，Δk＞0为信赖域半径；
步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解；
记其最优解为dk，ΔJk:＝Jk-J(θk+dk)为J在第k步中的实际下降量，对应的预测下降量为Δqk:＝qk(0)-qk(dk)；
定义比值为
其中，Δqk＞0，若rk＜0，表明qk(δ)与目标函数J(θ)的一致性程度不好，需要缩小信赖域半径重新信赖域模型子问题(4)；rk越接近1，表明qk(δ)与J(θ)的一致性程度越好，此时θk+1:＝θk+dk作为新的迭代点，同时增大Δk进行下一次迭代；对于其他情况，Δk可以保持不变；直到迭代点θk满足终止准则，那么θ＝θk即为逻辑回归分析的求解目标的最优数值解。
较佳的，逻辑回归分析的求解目标的推导过程为：
现已得到预测拟合函数它表示结果取1的概率，因此有
综合起来就是P(y|x；θ)＝(hθ(x))y(1-hθ(x))1-y
取似然函数为
对其求对数，得
最大似然估计就是求使得l(θ)取最大值时的θ，取则变为J(θ)取最小值时的θ，即
与现有技术相比，本发明提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，相对于常用的经典的梯度下降法，具有更快速的局部收敛性、更理想的总体收敛性，且由于利用了二次模型来求修正量，使得目标函数的下降比线性搜索方法更有效。其次，结合了比传统解决信赖域子问题的Dogleg方法的改进算法：切线单折线法，进一步提升了运算效率。
附图说明
为了更清楚地说明本发明各实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法的流程图；
图2为信赖域方法的流程图；
图3为切线单折线法流程示意图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。
如图1所示，为本发明提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法的流程图，该方法包括以下步骤：
步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数。
Logistic函数为：
由公式(1)和(2)得到的预测拟合函数为：
步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标。
其中，代价函数为：
逻辑回归分析的求解目标为：
推导过程为：现已得到预测拟合函数它表示结果取1的概率，因此有
综合起来就是P(y|x；θ)＝(hθ(x))y(1-hθ(x))1-y
取似然函数为
对其求对数，得
最大似然估计就是求使得l(θ)取最大值时的θ，取则变为J(θ)取最小值时的θ。即
步骤S3：构造信赖域模型子问题。
具体的，在θk的Δk邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题。
其中δ＝θ-θk，Jk＝J(θk)，gk＝▽J(θk)，Gk是Hessian矩阵▽2J(θk)或其近似，Δk＞0为信赖域半径。
步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解。
具体的，记其最优解为dk，ΔJk:＝Jk-J(θk+dk)为J在第k步中的实际下降量，对应的预测下降量为Δqk:＝qk(0)-qk(dk)。
定义比值为
一般地，Δqk＞0。因此：
1.若rk＜0，表明qk(δ)与目标函数J(θ)的一致性程度不好，需要缩小信赖域半径重新信赖域模型子问题(4)。
2.rk越接近1，表明qk(δ)与J(θ)的一致性程度越好，此时θk+1:＝θk+dk作为新的迭代点，同时增大Δk进行下一次迭代。
3.对于其他情况，Δk可以保持不变。
直到迭代点θk满足终止准则，那么θ＝θk即为逻辑回归分析的求解目标的最优数值解。
如图2所示为信赖域方法的流程图，信赖域方法包括以下步骤：
Step 0.选取初始参数0≤η1＜η2＜1，0＜τ1＜1＜τ2，0≤ε＜＜1，θ0∈Rn，取定信赖域半径的上限为初始信赖域
半径令k:＝0
Step 1.计算gk＝▽J(θk)。若||gk||≤ε，停止迭代
Step 2.求解信赖域模型子问题(4)的解dk
Step 3.计算
Step 4.校正信赖域半径
Step 5.若rk＞η1，则令θk+1:＝θk+dk，更新Gk+1(可以直接计算，也可以用BFGS等公式估算)。令k:＝k+1，转Step 1；否则θk+1:＝θk+dk，令k:＝k+1,转Step 2。
如图3所示为切线单折线法流程示意图，切线单折线法包括以下步骤：
将信赖域模型子问题(4)的符号简化，得到
Step 0.给定梯度g，Hessian矩阵G，信赖域半径Δ
Step 1.计算牛顿步δnp＝-G-1g
Step 2.计算投影矩阵P＝A(ATA)-1AT，其中A＝[-g,δnp]
Step 3.确定βz。y＝-δnp，s＝PB-1y，确定s和g的第k个分量，使得g(1)s(k)-g(k)s(1)≠0，则
Step 4.形成切线单折线Γ＝[0,δzp,δnp]
Step 5.确定问题的解δ＝dk
其中η使得||dk||＝Δ
本发明提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，相对于常用的经典的梯度下降法，具有更快速的局部收敛性、更理想的总体收敛性，且由于利用了二次模型来求修正量，使得目标函数的下降比线性搜索方法更有效。其次，结合了比传统解决信赖域子问题的Dogleg方法的改进算法：切线单折线法，进一步提升了运算效率。于是整个逻辑回归分析过程的就得到了有效的改进。
以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。