广告
科学新闻
来自研究机构

信息论对机器学习有着惊人的影响

戴特:
1月24日,二千零一十九
来源:
圣菲研究所
总结:
新的研究挑战了机器学习算法如何“思考”某些任务的普遍概念。
分享:
全文

这些是mnist手写数字数据库中的示例。
学分:约瑟夫·斯帕潘

新的研究挑战了机器学习算法如何“思考”某些任务的普遍概念。

这个概念是这样的:因为他们有能力丢弃无用的信息,一类叫做深度神经网络的机器学习算法可以从原始数据中学习一般概念,比如在不同情况下遇到数万张不同猫的图像后,通常识别猫。这种看似人类的能力据说是网络分层架构的副产品。早期的层编码“cat”标签以及预测所需的所有原始信息。随后的层压缩信息,好像通过了一个瓶颈。无关数据,就像猫外套的颜色,或者旁边的一碟牛奶,被遗忘,只留下一般特征。信息论为每一层的优化程度提供了界限,在如何平衡压缩和预测的竞争需求方面。

“很多时候,当你有一个神经网络,它学会将面孔映射到名字,或将图片转换为数字,或是一些神奇的东西,比如法语文本到英语文本,它有许多中间的隐藏层,信息通过这些隐藏层,”Artemy Kolchinsky说,SFI博士后研究员和该研究的主要作者。“因此,有一个长期存在的观点,即原始输入被转换为这些中间表示,系统正在交易压缩预测,并通过这一信息瓶颈构建更高层次的概念。”

然而,Kolchinsky和他的合作者Brendan Tracey(SFI,麻省理工学院)和Steven van Kuyk(惠灵顿大学)发现了一个令人惊讶的弱点,当他们将这一解释应用于常见的分类问题时,其中每个输入都有一个正确的输出(例如,其中每张图片可以是猫或狗)。在这种情况下,他们发现,具有许多层的分类器通常不会放弃对改进压缩的一些预测。他们还发现,有许多“微不足道的”输入表示,它们是,从信息论的角度来看,在预测和压缩之间达到最佳平衡。

“我们发现这个信息瓶颈度量并没有像您或我那样看到压缩。有了选择,把“马提尼杯”和“拉布拉多杯”放在一起也很高兴,特蕾西解释说:“就像是把他们塞进香槟长笛一样。”“这意味着我们应该继续寻找更符合我们压缩概念的压缩度量。”

虽然压缩输入的思想在机器学习中仍然发挥着有益的作用,这项研究表明,它不足以评估不同机器学习算法使用的内部表示。

同时,Kolchinsky说,压缩和预测之间的权衡的概念仍然适用于不太确定的任务,就像从嘈杂的数据集中预测天气。“我们并不是说信息瓶颈对受监督的(机器)学习是无用的,”科尔钦斯基强调。“我们在这里展示的是,它在许多常见的机器学习问题上表现得与直觉相反,这是机器学习界的人们应该意识到的。”

该文件已被2019年国际学习代表大会(ICLR 2019)接受。

故事来源:

资料提供者圣菲研究所.注意:内容可以根据样式和长度进行编辑。


日记帐引用

  1. 阿尔特米·科尔钦斯基,布伦丹D特蕾西史蒂文·范库克。确定性场景中的信息瓶颈警告.提交给ARXIV,2019链接]

引用这一页

圣达菲研究所。《科学日报》:“信息理论为机器学习带来惊喜”。betway必威安卓betway必威安卓科学日报,2019年1月24日。 .
圣达菲研究所。(2019)1月24日)。信息论对机器学习来说是个惊喜。 betway必威安卓.3月5日检索,2019来自www.sciebetway必威安卓ncedaily.com/releases/2019/01/190124095106.htm
圣达菲研究所。《科学日报》:“信息理论为机器学习带来惊喜”。betway必威安卓www.betway必威安卓sciencedaily.com/releases/2019/01/190124095106.htm(3月5日访问)2019)。

相关故事

从网络周围

以下是您可能感兴趣的相关文章。betway必威安卓《科学日报》与 趋势网络从第三方广告商那里获得收入,如有指示。