广告
科学新闻
来自研究机构

信息论对机器学习有着惊人的影响

日期:
1月24日,二千零一十九
来源:
圣菲研究所
简介:
一项新的研究对机器学习算法如何“思考”某些任务的流行观点提出了挑战。
分享:
全文

这些是mnist手写数字数据库中的示例。
学分:约瑟夫·斯帕潘

一项新的研究对机器学习算法如何“思考”特定任务的流行概念提出了挑战。

这个概念是这样的:因为他们能够丢弃无用的信息,一类叫做深度神经网络的机器学习算法可以从原始数据中学习一般概念,比如在不同情况下遇到数万张不同猫的图像后,通常识别猫。这种看似人类的能力据说是网络分层结构的副产品。早期层编码“cat”标签以及预测所需的所有原始信息。随后的层压缩信息,好像通过了一个瓶颈。无关的数据,就像猫外套的颜色,或者旁边的一碟牛奶,是忘记了,只留下一般的功能。信息论为每一层的优化程度提供了界限,在如何平衡压缩和预测的竞争需求方面。

“很多时候,当你有一个神经网络,它学会将面孔映射到名字,或将图片转换为数字,或是一些神奇的东西,比如法语文本到英语文本,它有很多中间的隐藏层,信息通过这些层流动。SFI博士后研究员,该研究的第一作者。“所以有一个长期存在的想法,当原始输入被转换成这些中间表示,这个系统用预测来交换压缩,并通过这一信息瓶颈构建更高层次的概念。”

然而,Kolchinsky和他的合作者Brendan Tracey(SFI,)和Steven Van Kuyk(惠灵顿大学)发现了一个惊人的弱点,当他们将这种解释应用于常见的分类问题时,其中每个输入都有一个正确的输出(例如,其中每张图片可以是猫或狗)。在这种情况下,他们发现有很多层的分类器通常不会放弃对改进压缩的一些预测。他们还发现,有许多“微不足道的”输入表示,它们是,从信息论的观点来看,在预测和压缩之间达到最佳平衡。

“我们发现这个信息瓶颈度量并没有像您或我那样看到压缩。如果可以选择,把“马提尼酒杯”和“拉布拉多犬”混为一谈,特蕾西解释说:“就像是把他们塞进香槟长笛一样。”“这意味着我们应该继续寻找更符合我们压缩概念的压缩度量。”

虽然压缩输入的思想在机器学习中仍然发挥着有益的作用,这项研究表明,它不足以评估不同机器学习算法使用的内部表示。

同时,Kolchinsky说压缩和预测之间的平衡的概念仍然适用于不太确定的任务,就像从嘈杂的数据集中预测天气。“我们并不是说信息瓶颈对受监督的(机器)学习是无用的,”科尔钦斯基强调。“我们在这里展示的是,它在许多常见的机器学习问题上表现得与直觉相反,这是机器学习社区的人们应该意识到的。

该文件已被2019年国际学习代表大会(ICLR 2019)接受。

故事来源:

资料提供者圣菲研究所.注意:内容可以根据样式和长度进行编辑。


期刊引用

  1. Artemy Kolchinsky,布伦丹D。特蕾西史蒂文·范库克。确定性场景中的信息瓶颈警告.提交给ARXIV,2019年(链接]

引用这个页面

圣达菲研究所。《科学日报》:“信息理论为机器学习带来惊喜”。betway必威安卓betway必威安卓科学日报,2019年1月24日。 .
圣达菲研究所。(2019)1月24日)。信息论为机器学习带来了惊喜。 betway必威安卓.1月28日检索,2019来自www.sciebetway必威安卓ncedaily.com/releases/2019/01/190124095106.htm
圣达菲研究所。《科学日报》:“信息理论为机器学习带来惊喜”。betway必威安卓www.betway必威安卓sciencedaily.com/releases/2019/01/190124095106.htm(浏览日期:2019)。

有关的故事

从网络周围

下面是你可能感兴趣的相关文章。betway必威安卓《科学日报》在 TrendMD网络从第三方广告商那里获得收入,显示的地方。