合作专线:17362615757
行业资讯

AI新闻

当前位置:首页 > 行业资讯 > AI新闻

不断优化具体思路千万种,基于凡间函数定义的效益最大化速度和效率如何?


作者丨stephenDC来源 | 大数据与人工智能(ID:ai-big-data)

导读:生活中我们处处面临最优化的问题,比如,怎么样一个月减掉的体重最高?怎么样学习效率最高?怎么样可以最大化实现个人价值? 
显然,每一个目标都受很多因素的影响,我们称之为目标函数的最优化。
优化的思路有很多种,比如基于梯度的梯度下降,基于二阶梯度的牛顿法,基于近似的二阶梯度的拟牛顿法,基于下界函数的最优化,贪婪算法,坐标下降法,将约束条件转移到目标函数的拉格朗日乘子法等等。
本文我们讨论一下基于下界函数的最优化,且将讨论的范围限定为无约束条件的凸优化。

基于下界函数的优化
在有些情况下,我们知道目标函数的表达形式,但因为目标函数形式复杂不方便对变量直接求导。这个时候可以尝试找到目标函数的一个下界函数,通过对下界函数的优化,来逐步的优化目标函数。                                         上面的描述性推导很是抽象,下面我们来看两个具体的例子,EM算法和改进的迭代尺度法。限于篇幅,我们重点推导EM算法,改进的迭代尺度法只是提及一下。
EM算法       
                                                                          改进迭代算法
概率模型中最大熵模型的训练,最早用的是通用迭代法GIS(Generalized Iterative Scaling)。GIS的原理很简单,大致包括以下步骤:
假定初始模型(第0次迭代)为等概率的均匀分布。用第k次迭代的模型来估算每种信息特征在训练数据中的分布,如果超过了实际的,就把相应的模型参数变小;反之,将参数变大。重复步骤2,直到收敛。
GIS算法,本质上就是一种EM算法,原理简单步骤清晰,但问题是收敛太慢了。Della Pietra兄弟在1996年对GIS进行了改进,提出了IIS(Improved Iterative Scaling)算法。IIS利用log函数的性质,以及指数函数的凸性,对目标函数进行了两次缩放,来求解下界函数。详情可参阅李航的《统计学习方法》一书。 小结
本文讨论了一下基于下界函数的最优化这样一种优化思路,希望对大家有所帮助。同时也一如既往地欢迎批评指正,以及大神拍砖。
(*本文为 AI科技大本营转载文章,转载请联系原作者)
◆精彩推荐◆


推荐阅读百度与华为重磅合作!李彦宏:技术是百度的信仰入门必备 | 一文读懂神经架构搜索爬虫到底违法吗?这位爬虫工程师给出了答案印度人才出口:一半美国科技企业CEO是印度裔 | 数据分析中印青年为什么说“大公司的技术顽疾根本挽救不了”25 年 IT 老兵零基础写小说,作品堪比《三体》| 人物志中小企业搭建混合云,服务器如何选?从0到1 | 文本挖掘的传统与深度学习算法一览微软在机器阅读理解、推荐系统、人机对话等最新研究进展 | ACL 20191.2w星!火爆GitHub的Python学习100天刷爆朋友圈!
你点的每个“在看”,我都认真当成了喜欢
Auto_z