全球人工智能与机器人峰会 CCF-GAIR 2019
                    您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
                    专栏 正文
                    发私信给songwenhui
                    发送

                    1

                    眺望新NLP模型:利用人类眼动来提升性能

                    本文作者:songwenhui 2019-03-22 18:56
                    ?#21152;錚?#24819;要让机器像人一样精准识别网络行为背后的意图,以当前NLP的阅读理解能力,真的是想太多。

                    (本文转载自公众号“脑极体”,未经授权不?#24066;?#20108;次转载)

                    前不久,Facebook一口气删除783个“水军”帐号,原因是存在虚假宣传和舆论攻击行为。其中356个Facebook帐户和162个Instagram帐户,早在2010年就开始在网络任性活动了。但由于他们很容易伪装自己,导致系统根本无法自动清理,最后还是靠手动审查才发现了蛛丝马迹。

                    看来,想要让机器像人一样精准识别网络行为背后的意图,以当前NLP的阅读理解能力,真的是想太多。

                    也因此,去年一篇利用人类眼动来提升NLP模型性能的论?#27169;?#19968;经问世,就迅速受到关注,为与网络暴力斗智斗勇的程序员们打开了一扇新的技术之窗。

                    我们不妨就以这个最新研究成果为契机,来猜想一下,技术如何才能打赢这场争夺网络话语权的无声战争。


                    机器之殇:远不够完美的RNN

                    在了解这个新的RNN模型做了哪些创新之前,我想有必要先简单介绍一下,NLP的世界里一般是如何使用注意力机制来完成任务的。

                    以最为常用的序列对序列(sequence to sequence)模型为例,比如说我们要将中文翻译成英?#27169;?#22914;果我们拥有大量的双语语料,就可以得到两个知识丰富而结构相似的编码和解码网络,从而训练出很?#34892;?#30340;模型,来实现很好的机器翻译效果。

                    但序列模型对机器的记忆力提出了比较残酷的要求,需要先背诵全文再翻译,如果是长篇大论,机器就放飞自我了。

                    于是,注意力模型出现了。

                    试想一下,人类是如何翻译?#27169;?#27492;处致敬高考英语老师):先完整地读完整个句子,结合上下文理解大概含义,然后对关键单词和短语重点思索,再着手进行翻译。

                    而注意力模型试图模仿的正是人类这种理解能力。它被设计成一个双向的RNN网络,每个单元由LSTM或GRU组成,能够向前和向后获取信息,通俗点说就是“联系上下文”。

                    每次翻译时,注意力模型会根据待翻译部分以及上下?#27169;?#32473;予不一样的注意力(权重参数),接着循序渐进地翻译出整?#20301;啊?/p>

                    注意力机制解决了传统神经机器翻译中基于短语的生搬硬套,但并不意味着毫无缺陷。

                    眺望新NLP模型:利用人类眼动来提升性能


                    它的不完美主要体现在三个方面:

                    1.需要大规模标注数据。

                    原始RNN在解码过程中,机器的焦点是分散在整个序列当中?#27169;?#38656;要先对序列上的每个元素进行标记,再进行?#20113;?#25805;作。里面就包含了词性标注、CHUNK识别、句法分析、语义角色识别,甚至包括关键词抽取等很多子任务,显然不是一个小工程。

                    2.增加额外运算负担。

                    人类在阅读时,并不关注所有的字,往往会自动忽略掉不想关注或无意义的部分,只重点处理关注需要注意的那一部分。比如“Courage is like a muscle”中,“Courage”和“muscle?#26412;?#20250;让人多看两眼。这样做不仅能够降低任务的复杂度,还能避免脑负荷过载。

                    而NLP的注意力机制虽然是在模仿人类行为,但机器必须对所有对象进行处理?#22270;?#31639;,还要用一个矩阵去存储不同字节的权重,这些都增加了额外的运算压力?#32479;?#26412;。

                    3.容易出现归纳偏置。

                    通俗点说,就是机器在遇到某种没有见过的东西时,会倾向于给出一个简单的预测或判断,以此来决定输出规则。

                    比如通过分析,它认为出现“but”?#23433;弧?#31561;单词,就说明对方会开始释放?#22909;?#29978;至攻击性的语言了。但要是遇上“我跳起来反手就是一个么么哒”之类玩梗的骚操作,可能就会误伤友军。

                    了解了注意力机制的基本工作方式,我们就赶紧来看看这项新的研究成果,究竟是凭什么惊艳了整个学界吧。


                    NLP希望之钥,还掌握在人类手中

                    一句话概括,就是论文作者Maria Barrett和她的同事们,将人类在阅读时的眼部动作引入了RNN网络的训练中,使其能够在标注型文本和人类注意力信息之间来回切换,以此获得性能更好的循?#39134;?#32463;网络。

                    具体是怎么实现的呢?

                    首先,研究人员利用两个公开的眼动追踪语料库:Dundee Corpus和ZuCo Corpus来研究人类的注意力机制。

                    其中,Dundee Corpus包含了20篇报纸文章,共2368个句子,阅读屏幕可以感知眼部动作。ZuCo Corpus则包含了1000个单独的英语句子,有一部分来自斯坦福情感树库,通过红外染色仪来记录眼睛运动和面部情绪分析。

                    根据这些人类阅读语料时的眼睛动作追踪数据(比如注视?#20013;?#26102;间MEAN FIX DUR),得到了一个“人类注意力”的数据集。

                    眺望新NLP模型:利用人类眼动来提升性能


                    第二步,使用人类眼动数据集与标注好的序列数据集,来共同训练RNN模型。

                    从两个数据集中随机选择一个数据,让机器判断属于哪一个数据集。

                    如果属于序列数据集,则进一步判断该句子的类别,计算并预测标签blabla;如果属于人类眼动数据集,则计算每个单词的权重(即attention?#25285;?#20877;进行归一化(最小平方差)处理。

                    那么,经受了人机双重挑战的新RNN网络效果如?#25991;兀?#25509;下来,研究人员通过三个任务?#20113;?#24615;能进行了测试:

                    任务一:句子情感分析。使用新RNN来检测机器是否能识别出数据集(SEMEVAL TWITTER POS | NEG)中的?#22909;?#21477;子和非?#22909;?#21477;子;

                    任务二:语法错误检测。让新的RNN阅读经专?#26131;?#37322;的英语论?#27169;?#25968;据集FCF),并?#39029;?#20854;中的语法错误,与正确的句子区分开;

                    任务三:暴力语言检测。研究人员安排了20940条设计性别歧视和种族主义等辱骂型语言的推特(数据集Waseem和Hovy),来对新的RNN进行测试。

                    眺望新NLP模型:利用人类眼动来提升性能

                    最终的实验结果?#20801;荊?#21152;入了人类注意力训练之后的RNN,找重点的能力,以及预测的精准程度,要远高于原本的序列模型。

                    这项研究成果很快就引起了反响,并获得了NLP顶会CoNLL 2018年度最佳研究论文特别奖。

                    那么,接下来请回答一道送分题:这项成果有何特别之处?


                    RNN的一小步,NLP的一大步

                    将人类注意力引入机器学习算法的训练,究竟有何意义?#35838;?#26469;?#26469;?#19968;下:

                    首先,降低了对序列分类标注语料的?#35272;担?#35753;NLP模型的训练有了更多可能性。

                    让机器学习注意力函数需要非常大规模的数据,结果就是让开发者不得不陷入争夺计算?#35797;?#30340;“金钱战争”。该项研究为 NLP 中的许多注意力函数提供一个不错的归纳偏置性能,同时还不要求目标任务数据带有眼睛跟踪信息,直接减少了数据需求量。

                    其次,是从语义到推理的性能跨越。

                    传统的序列到序列模型和RNN网络,只能解决语义理解问题,而该论文证明,使用人眼注意力来规范机器的注意力功能,可以让一系列NLP任务实现显著?#32435;疲?#29978;至触及了常识、推理等?#29616;?#33021;力。

                    机器能从“凝视”信息中获取对多重表达、情绪分析的精准判断,某种程度上已经学会了模拟人类的注意力。

                    以后机器也许就能够轻松挑战女朋友说“我没有不高兴”这样双重否定表否定的高难度阅读理解了。是不是很期待呢?

                    眺望新NLP模型:利用人类眼动来提升性能

                    而最重要也最?#25317;?#27668;?#27169;?#21017;是新模型带来的网络冲浪体验革命了。

                    研?#23458;?#38431;认为,该模型很快就能够在一些比较关键的?#23548;视?#29992;中,判断网络文本的犯罪意图、评论信息和情感倾向。

                    比如通过帖子或推文的训练,帮助微博/推特/脸书等社交媒体精准识别出恶意评论的杠精和废话连篇的水军,并予以精准过滤和清楚,营造一个更美好的社区氛围;

                    再比如通过?#21592;?亚马逊/Yelp,以及各种应用商店中不同类别的反馈,对特殊属性(衣服的尺寸、使用感受)和商品评价的不同反馈进行分类和提取,帮助商家优化经营,并精准打击刷单等欺骗行为。

                    除此之外,该模型还能根据意图对文本进行分类,比如在遇到紧急问题或检测到请求帮助的需求(发出带有自?#34987;?#21457;社会倾向的推文或聊天记录)时,能够及时通知执法人员,从而避免灾难性?#24405;?#30340;发生。

                    这样一?#21592;齲?#26159;不是感觉一个“机器懂我、天下无杠”的?#35272;?#26032;世界在向你招手呢?

                    再说一点

                    由此延展到整个AI领域,或许可以发现,人类和智能机器,本质上在做着同样的事情,只不过AI的功能是将其抽象化并用新的逻辑演绎出来,然后人类给它投喂数据,它消化之后返还给我们或理想或智障的结果……

                    而机器的内化过程,一直遭遇着黑箱性的诟病,越来越庞大的神经网络层和数据需求量,也已经让研究者不堪重负。

                    前路在哪里?或许那张大家快看吐了的人类与机器人指尖对指尖的图,正印证着机器学习的未来,那就是:人机协同。

                    越来越多的研究者开始将人类推理和决策行为引入到机器训练之中,比如MIT和微软在训练无人驾驶汽车时,开始让它们从人类反馈中?#19994;餃现?#30450;点,以此应?#38405;?#20123;模糊决策情?#22330;?/p>

                    DeepMind和OpenAI让没有技术经验的人类控制员来选择预期目标,并以此训练激励预期侧,让智能体根据人类的偏好?#24917;?#33258;己的行为,最终完成复杂的任务目标,比如后空翻;基于人眼注意力的新RNN网络也是如此。

                    眺望新NLP模型:利用人类眼动来提升性能

                    这种改变,可以?#36824;?#32467;为深度学习的阶段性技术瓶颈,只能靠向人类借力来攻破。

                    但从某种意义上来说,与人类携手,将人类的抽象能力与计算机系统逻辑进行更高耦合度的融合,可能才是机器智能更现实也更?#34892;?#30340;解决方案。

                    肯尼迪的那句话放在AI的世界里依然无比适合——不要问机器为你做了什么,要问你能为机器做些什么。相比于等待机器自?#19994;?#20195;到成熟的那一天来服务我们,参与“智能养成游戏”不是更令人期待吗?

                    雷锋网版权文章,未经授权禁止转载。详情见转载须知

                    分享:
                    相关文章

                    文章点评:

                    表情
                    最新文章
                    请填写申请人资料
                    姓名
                    电话
                    邮箱
                    微信号
                    作品链接
                    个人简介
                    为了您的账户安全,请验证邮箱
                    您的邮箱还未验证,完成可获20积分哟!
                    请验证您的邮箱
                    立即验证
                    完善账号信息
                    您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
                    立即设置 以后再说
                    捷豹时时彩分分彩网站

                                                        广西快3豹子间隔统计 深圳风采中了3个号 欢乐升级腾讯 体彩刮刮乐卧虎藏龙 重庆幸运农场规律公式 安徽快3走势图 .h赛马会 野狐围棋狐币 快乐十分任三稳赚技巧 中国福利彩票七乐彩 昨天青海快3今天开奖号码 全民快乐8 麻将雀帝apk下载 第54期绝对一肖两码中特 彩票大奖得主访谈