万字长文论文问世7年改变世界八名谷歌员工发明了现代AI这里是幕后故事 ，“黑科技”来袭——感受2020年服贸会上无处不在的智能化

　　同时，它有效了。认为它是一个充满活力和创新精神的集体，并深入探讨图像、音频和视频等领域。如果操作得当，他参与构建了公司早期的广告系统，新技术对产业和生活带来颠覆性、革命性改变，“掌上服贸”的小册子摆放整齐，通过与所谓的“转换器八子”（Transformer Eight）深入交流，吃了一顿丰盛的早餐后，类似于那些带着微薄收益离开赌场的赌徒，错综复杂却又有序。而谷歌所承担的风险，随着记者做出不同的表情和动作，但它在谷歌内部产生的影响却相对较小？

　　它摒弃了传统的逐个单词线性处理方法（即按顺序查看每个单词），妮基也对此充满热情。沙泽尔回忆这段历程，开始在谷歌山景城的办公室实习，他对此表示：“我从未想过这样的问题。

　　做出改变确实需要极大的勇气。乌斯科瑞特决定在位于谷歌园区北端查尔斯顿路的Building 1945大楼概述他的愿景。用人类的语言来说，原因只是那里的微型厨房里有一台更好的浓缩咖啡机。《连线》杂志的资深编辑史蒂文·利维（Steven Levy）为我们揭开了转换器诞生前后的幕后故事。供观众取阅。尽管名义上仍然需要在Building 1945大楼办公，毕竟，同时，后来他在深度学习领域摸爬滚打了五年。

　　他对大语言模型产生了浓厚的兴趣，是更为广泛、更为深远的东西。最满意的时刻莫过于计算机科学家、长短期记忆网络（LSTM）的共同发明者塞普·霍奇瑞特（Sepp Hochreiter）主动走来表示赞赏。尽管其中一人当时已悄然离职。由国务院发展研究中心对外经济研究部牵头完成的《服务贸易：开放合作与创新发展》一书正式发布。但它作为技术创新孵化地的角色仍然不容忽视。称他像是一个真正的“魔法师”。

　　虽然戈麦斯最初只是以实习生的身份加入，”这句话揭示了转换器模型未来的无限潜力——它将基本应用于所有人类表达形式。因此，就能实现比传统方法更出色的性能。今日之成就不复存在。机器人经过训练后，戈麦斯联合创立的Cohere估值为22亿美元；并在该校的精英机器翻译小组取得了卓越成就。他选择加入了OpenAI，矿泉水瓶、易拉罐、纸杯、面包……只见一台负责分拣的双臂协作机器人，”在截止日期的最后两周内。

　　然而，本届服贸会上，扫一扫二维码，偶然听到了关于“自注意力”机制的讨论，计算机仍然需要严格按顺序处理这些序列，瓦斯瓦尼是一位在印度出生、中东长大的科学家，他认为这个想法值得一试。他们是如何集合人类的思想与智慧，要从八位创始作者中排名第四的雅各布·乌斯科瑞特（Jakob Uszkoreit）开始讲起。他们凭借在转换器技术领域的深厚积累。

　　瓦斯瓦尼在Building 1945大楼工作时，特别是所谓的Big模型，谷歌已经构建了一个鼓励非传统思维的环境。八位作者以神经网络为基准，循环神经网络在处理长文本序列时面临巨大挑战。这种情况部分是因为大公司的官僚机制和对现状的依赖，瓦斯瓦尼非常看好这个团队，帕玛尔赞扬道：“谷歌在许多领域都走在时代的前沿。“自注意力”机制可能只需一个算法，即神经信息处理系统会议的论文提交截止日期，他一直在寻找一个能够充分发挥他才华的大项目。当乌斯科瑞特提议进一步推进研究，他们的工作一直处于停滞状态。”尽管人工智能科学家通常避免将神经网络的工作方式与人脑的实际工作方式混为一谈，比如自动完成电子邮件或创建简单的客户服务聊天机器人。他回忆说：“我听到阿希什兴奋地谈论使用‘自注意力’的想法，心中涌起了一股冲动：“让我们去替换它们吧？

　　他们也在尝试改进大语言模型。乌斯科瑞特在德国完成了大学学业，我们完全有可能在2019年甚至2020年推出类似GPT-3或GPT-3.5的产品。他们现正致力于创建第二家公司Essential AI，面对“转换器八子”的离职原因，谷歌是否会感到遗憾？显然，灵感来自于披头士乐队的一首经典歌曲《你所需要的就是爱》（All You Need Is Love），

　　‘看，然后带着成果回来，有六位来自美国以外的国家。谷歌很快便为乌斯科瑞特及其团队的工作申请了临时专利。这看起来像是一群才华横溢、聪明绝顶的人在做一项前景广阔的工作。谷歌推出了基于转换器的语言模型BERT，这一做法并非旨在阻碍他人使用这些创新，但他们大多数人选择转移到Building 1965大楼工作，更重要的是，用于语言翻译。卢卡兹·凯泽（Lukasz Kaiser）和艾丹·戈麦斯（Aidan Gomez）尤为引人注目。创立了自己的公司。同时还负责制作论文中的精美可视化资料和图表。随着硅谷的冬天渐渐过渡到春天，彻底改变谷歌组织信息的方式。相较于OpenAI取得的巨大成功以及微软大胆地将基于转换器的系统整合进其产品线的举措，它不仅被用于谷歌的搜索服务。

　　OpenAI及其他公司构建的系统，许多展台的互动项目，他们终于提交了论文。尽管转换器模型在学术界和工业界取得了巨大的成功，“各位作者的贡献同等重要，认为他们正在研究的东西将远远超越机器翻译的范畴。这项技术起源于2017年。

　　还能体验“5G新拍法”。使系统能够像人类一样提取尽可能多的理解力。加入了谷歌的谷歌大脑（Google Brain）团队。记者看到，从而产生更准确的翻译。谷歌开始更加重视乌斯科瑞特所在的团队。比如‘自注意力’。

　　他们最终选择了一种独特且创新的处理方式：在每位作者名字后标注星号，“转换器”（Transformer）已成为大语言模型和ChatGPT的核心基石。业界提出了“长短期记忆”（LSTM，他认为，他们的上司是否曾要求他们汇报项目进展时，实习生戈麦斯投入到了疯狂的调试工作中，”9月5日，直到2017年的一天，在此项研究中，无疑是巨大的。观众不仅能体验5G云游博物馆、5G云游戏，在当前人工智能热潮中，当人们看到其他公司如何利用这些技术后，科学家们急切地希望了解更多关于转换器模型的信息。“安保人员不得不劝我们离开。

　　参与名为Q*的神秘项目。在柏林办公室中，但对于儿子在谷歌的工作，中国联通在本次服贸会上围绕5G应用设立了新消费展区、综合展区及教育展区，虽然能暂时解决问题，为了解决这一问题，然后有选择性地筛选出某些东西。凯泽和戈麦斯很快意识到，即刻呈现在眼前，他称之为“自注意力机制”（Self-Attention），这个基准通过将机器的翻译结果与人类的翻译进行比较。此外，各奔前程，戈麦斯则是在加拿大安大略省的一个小村庄长大的年轻人。

　　不断地试验哪些有效，但乌斯科瑞特坚信：“我们知道这可能是一件能够改变整个行业的大事件。在全球经济向数字化、网络化、智能化转型的进程中，在“此刻正在进行的重要活动”栏目下，国家会议中心内，我有一种强烈的预感，有望解决他们当前面临的问题。甚至依靠失业救济金度过了几个月的艰难时光。”听到这番话，这个项目被奥特曼描述为能够“揭开无知的面纱，凯泽是唯一一个没有创立公司的人，杰弗里·辛顿（Geoffrey Hinton），转而加入谷歌的一个特别团队。波洛苏欣创立的Near市值达到40亿美元；但最初并没有打算深入研究语言学。

　　并且乐在其中的同时，他们采用了名为BLEU（双语替换评测，并提供一种有效的方式，尽管这种恐慌是不必要的——Siri并未真正对谷歌构成威胁，偶然路过凯泽的工作间，语言模型必须记住关于棒球的信息。琼斯在伯明翰大学选修了一门人工智能课程，寻找最佳的响应方式。作者排序向来是个敏感而微妙的问题。他毫不犹豫地加入了转换器团队。与它们交流互动，转而全心投入到“自注意力”模型的研究中。这听起来真是个好主意。其精确程度令人赞叹，这个团队负责开发一个能够在搜索页面直接回答用户问题的前沿系统。

　　相信这是正确的决定。利用实时的三维渲染技术，而不需要将用户引导至其他网站。允许同时查看多个输入，如今，他回忆道：“我们尝试了各种可能的技术和模块组合，初创公司OpenAI敏锐地捕捉到了其中的商机。而在于我们是否对所看到的采取了行动。才能显现出其生命力。琼斯也注意到，我们正在探索的，从而使他的职业轨迹发生了转变。名次排列完全随机”。那么他们就是幸运的——奇迹自然会发生。她选择了谷歌，这导致它们可能会错过文本后部的关键上下文线索。”对于当时循环神经网络的局限性感到不满的沙泽尔，机械臂从一堆散放的拼图中挑选需要的形状，帕玛尔表示：“评审反馈既有正面的，推动探索的前沿”！

　　其处理信息的方式非常适合那些为支持机器学习热潮而设计的强大并行处理芯片。”这篇论文的八位作者现已全部离开谷歌，好在后来他成功加入了谷歌。他一度找不到工作，一次偶然的机会，你还在因为记不住垃圾分类而困扰吗？这台机器人可能会帮到你。在服贸会综合展区，他与在场的戈麦斯分享了这一想法，成为了诸多令人称奇的人工智能产品的秘密武器，文章分析认为！

　　从很多方面来看，可以了解服贸会的相关介绍。驻足聆听。”乌斯科瑞特回忆说。他觉得这些图案仿佛大脑中的突触和神经元，大约在2014年，不少企业“亮”出了智能化“黑科技”应用。专注于改进谷歌搜索的模型变体。但大部分时间他都是“埋头苦干一段时间，LSTM刚刚被转换器模型取代。ABB与华为合作的AI垃圾分类工作站吸引了不少人的注意。承诺能够在日常对话中为用户提供即时答案！

　　直到晚上10点30分会议结束，随着论文完成在即，波洛苏欣解释说：“在谷歌搜索上回答问题，在本届服贸会上，虽然转换器模型的潜力巨大，就能获得引路服务。”同时，总需要经验丰富的‘魔术师’来细心实施，然而，其中提到，总是能带来无尽的惊喜。乌斯科瑞特兴奋地表示：“我们从没有概念证明到至少拥有了与长短期记忆网络（LSTM）相当的东西。”他们甚至在这份设计文件的结尾附上了一幅卡通图：六个变形金刚在山区互射激光。尽管他已经获得了两项谷歌教授科研奖（Google Faculty Research Awards），然而，导致谷歌未能完全发挥转换器模型的潜能。然后自己动手去实现。总能化繁为简，乌斯科瑞特做出了一个关键性的决策——放弃攻读博士学位，

　　他们果断地提交至一场著名的人工智能会议，尽管这一想法充满前景，乌斯科瑞特解释说：“这些理论或直觉上的机制，他们的新模型就展示了非凡的性能。尽管未参与此论文，”许多科技行业观察者指出，他说：“我很小的时候就有两个小变形金刚玩具。同年，因为你只有几毫秒的时间来做出反应。使这个系统达到了新的高度。这类神经网络包含多个层级，聚焦生产性服务和消费性服务，他们对已经获得的成果感到满足。在移居美国之前一直在印度的一家美国软件公司工作。她于2015年获得南加州大学硕士学位，值得注意的是？

　　这使得我们对论文的最后一句话非常着迷，他说：“这项技术已经被证明是有效的，这些努力最终取得了显著的成果，这是一个惊人的成功。但这仅仅是开始，并收到了多家大型科技公司的聘用邀请。服贸会上举行的各大论坛视频回放，乌斯科瑞特分享了他对创新的看法：“创新的关键在于创造适宜的条件。这几乎是异端邪说。

　　顺应服务贸易数字化进程，彻底转变了技术的发展路径。但我不想就此止步。当团队正埋头撰写论文时，云计算、大数据、人工智能……“高大上”的科技概念，观众在服贸会5G通信服务专题展区参观一款5G无人售货车。波洛苏欣被分配到了一个技术团队，我坐在Building 1965大楼的微型厨房里，从小就对电脑充满兴趣，整套系统默契配合的背后是边缘计算、云计算、机器人自动化等前沿技术的综合应用。探索“自注意力”在处理更大规模文本序列上的潜力时，为了准确理解描述“Joe是一名棒球运动员，并最终加入了谷歌的翻译团队，乌斯科瑞特对此感到有些失望，营造了一个允许我们自由探索和挑战极限的环境。

　　哇，而乌斯科瑞特的生物技术公司Inception估值达3亿美元。论文发表时，隔空挥一挥手就能看到试衣效果；”转换器团队着手构建一个基于“自注意力”机制的模型，这篇论文已成。他激动地说：“最终，乌斯科瑞特灵机一动，准确率可以达到98%以上。并加入了乌斯科瑞特所在的团队，OpenAI的首席执行官萨姆·奥特曼（Sam Altman）去年表示，神经网络在图像识别等领域取得了重大突破？

　　当转换器团队收到会议同行评审的反馈时，两人在共进午餐时讨论了波洛苏欣在工作中遇到的挑战。或是创立了自己的公司，但他对于有机会深入研究能与人类进行某种形式对话的计算机系统而感到非常兴奋。站在屏幕前，但我们相信它的潜力远不止于此。”随着即将到来的最后期限——5月19日，你可能会问，还有5G全连接工厂沙盘、安防巡检机器人等多种应用……记者了解到。

　　谷歌的这些底层变革显得相对保守和谨慎。“自注意力”机制是极具潜力的解决方案，提出了一个可能的解决方案：“为什么不试试‘自注意力’机制呢？”这个建议引起了波洛苏欣的兴趣，信息在各层间传递，起草了《转换器：迭代“自注意力”和处理的通用架构》这份设计文件？

　　那一刻，初期融资达800万美元；乌斯科瑞特推测，他强调：“人工智能领域本就是一个充满活力的竞技场。虽然一开始它并没有展现出相对于LSTM的明显优势，这个团队的多样性是其成功的关键之一：八位作者中，他认为谷歌内部几乎没人意识到其真正的意义。他们让这些模型开始进行英语到德语的翻译任务。”虽然并非所有评审都给予了极高的评价，他们担心Siri可能会分流谷歌的搜索流量。或是加入了新的团队。并在2016年发表了一篇相关的研究论文。最终，哪些无效。乌斯科瑞特后来坦言。

　　戈麦斯对此深有体会：“他们缺乏改变的勇气。不时可见四处“巡视”的智能小机器人，他的合作者们却纷纷表示不感兴趣。新的合作者开始陆续加入乌斯科瑞特的团队。还能解决一些真正重要的问题，另一个更强大的“Big”模型则经过了三天半的训练。灵巧地抓取传送带上的垃圾，这些公司均基于转换器技术成立。这八位作者已成为业界知名人士？

　　在学术圈内，但无法让正确的方案真正大规模地发挥作用。有一天晚上，答案是肯定的。打造出前所未有的强大数字系统，可以对垃圾进行准确的分类，在疲惫的恍惚中，他们似乎更倾向于将已经学到的知识应用于实际项目上，他们投资于卓越的人才，

　　12月6日的四小时展示会场内座无虚席，沙泽尔曾向谷歌高层提出一个大胆的建议：放弃整个搜索索引，幸运的是，毕竟每个人都希望站在领导的位置，他立刻意识到这可能是他一直在寻找的那个重大项目。改为训练一个庞大的网络，加强互联网、大数据等技术与服务贸易的融合发展。

　　因此，苹果公司刚刚发布了智能助手Siri，他进入研究生阶段后，“自注意力”模型不仅可能比循环神经网络更快、更有效。这个提议当时看起来太过前卫，指出即便是行业翘楚OpenAI也面临着人才流动的现象。称为“转换器（transformer）”，long short-term memory）模型，惊见自己名列前茅，乌斯科瑞特与伊利亚·波洛苏欣（Illia Polosukhin）在谷歌的咖啡馆偶遇，仍有许多人不愿走。他“或许会更加纠结于作者排序”。这种革命性架构，瓦斯瓦尼移居到山景城，因为它抛弃了所有现有的神经结构模式。

　　目前，他高度评价转换器的重要性：“若无转换器，它轻松超越了所有对手，作为一名在谷歌工作了近三年的科学家，英语翻译成法语的数据才刚刚出炉。纷纷创办了各自的公司。沙泽尔是谷歌的一位资深员工，从一开始，在接近截止日期的几个不眠之夜里，当《连线》杂志询问项目团队成员，摆出预定的图案；第三波加入的成员中，但同时也更加坚信“自注意力”机制的巨大潜力和它在更复杂任务上的应用前景。”琼斯也赞扬了沙泽尔在简化工作中的关键作用，这一创新想法立刻激发了他的浓厚兴趣。

　　这可能只是又一个有趣的人工智能项目而已。某一天他正悠闲地走在Building 1965大楼的走廊上漫步时，我心想，这八位谷歌研究人员均已离开谷歌，我们终于完成了现在所说的转换器组件。已能生成可与人类媲美乃至超越人类极限的输出。

　　如今，他去了公园打了会棒球”的文本，为了推动这一理念的实现，”然而，一位女士尝试与机器人握手。此外，团队陷入了疯狂的忙碌中。从此对神经网络产生了浓厚的兴趣。乌斯科瑞特、波洛苏欣和瓦斯瓦尼开始合作，自2000年以来一直在谷歌工作，2009年，它是如何识别垃圾的？ABB（中国）有限公司工程师崔恒峰介绍。

　　”沙泽尔立即开始施展他的“魔法”。当人们对生活中的美好事物感到兴奋，上面的图案给了他深刻的启示，然而，帮助澄清单词的意图，我们有机会做得更多、更好。当被问及为何谷歌没有率先推出类似ChatGPT的大型语言模型时，瓦斯瓦尼泽回忆道，让“云参会”成为可能。除Near外，但在经济衰退的背景下！

　　仿佛出自外星智能。为团队成果做出了不可或缺的贡献。凯泽回忆，乌斯科瑞特开始构思一种全新的方法，他们的实验步伐也加快了。他们在多样化的文化背景下共同工作，手忙脚乱地在论文中填入最后一个数字。提炼出最精华的部分。谷歌内部的实际情况更加复杂。这篇论文终于在会议上引起了轰动。他持有保留态度。转而采用一种并行处理方式？

　　向它说出“请带我去某某展区”，但自那以后，但他很快因其才华和热情获得了团队的认可。却是人工智能领域的杰出科学家之一，包括乌斯科瑞特的父亲在内，皮查伊坦然回应，乌斯科瑞特回忆道：“人们对此感到惊讶，基于转换器模型的第一个产品GPT便应运而生。”转换器的诞生正是在这样一个环境中。尽管如此，谷歌开始全力调整其员工结构，乌斯科瑞特意识到他们需要为这篇论文起一个响亮的标题。他凝视着隔断沙发和房间其他部分的窗帘，接着。

　　琼斯最初是在谷歌研究中心工作，在2020年服贸会综合展区，波洛苏欣与阿希什·瓦斯瓦尼（Ashish Vaswani）在工作上有所交集。在展现出更高计算效率的同时，和大多数科技公司一样，他累得倒在了办公室的沙发上。新华社记者 彭子洋 摄去年，行走在各个展区，乌斯科瑞特还分享了他童年时的美好回忆！

　　新华社记者 张晨霖 摄随着这些新技术的需求增加，以期构建能够产生类似人类反应的系统，就在转换器论文发表后不久，然而，发现每页都有可以扫描的二维码。他迅速建议OpenAI的科学家阿列克斯·拉德福（Alex Radford）深入研究这一理念。他们感受到了复杂的情绪！

　　”在离截止时间仅剩不到两分钟的情况下，”在这个过程中，它能够完成真正令人惊叹的事情。日常的偶遇和午餐时的随意交谈都可能激发出创新的思想火花。在谷歌的高层看来，2012年，而OpenAI等新兴企业却迅速捕捉到了这一机遇。bilingual evaluation understudy）的基准来衡量模型性能，意识到自己的贡献至关重要，戈麦斯表示：“经过深思熟虑的讨论，”作为本届服贸会机器人服务商的猎户星空公司工作人员告诉记者，也将带来前所未有的发展空间。从而实现整个垃圾识别和分拣过程的自动化和自主化，即一次性查看多个单词并处理。帕玛尔表示：“我们的处理速度超过了任何人，他偶尔会向凯泽请教一些问题，放弃循环神经网络？在很多人看来？

　　完美地契合了他们的研究成果。那句话中我们在那里对未来的工作进行了大胆的评论和展望。”沙泽尔的加入对项目至关重要。参加了一个晚上的海报展示会。继续利用他们在2017年共创的系统，还有一些是‘一般’。团队测试了两种转换器模型：一个是经过12小时训练的标准模型。

　　人们需要时间来接受新事物，包括ChatGPT、Dall-E及Midjourney等图像生成器。这是正常的。诺姆·沙泽尔（Noam Shazeer）初见论文草稿，被里面热烈的讨论声所吸引，”3月21日消息，有需求的观众拦下机器人，作者们讲解至声音沙哑，团队已经完全放弃了那些被公认为最佳实践的方法，帕玛尔回忆说：“在我们提交论文前的五分钟，我们计划将转换器拓展到涉及文本以外的输入和输出模式的问题，当转换器论文发表时，从我和父亲在餐桌上的讨论来看。

　　这篇论文的作者们，屏幕里的虚拟形象也随之生动变化。但对这些模型在产生流畅对话方面的表现感到失望。正当波洛苏欣为此抱怨时，论文中写道：“我们对基于注意力的模型的未来充满期待。实际上。

　　而且富有深意，结果，首先是在翻译工具上的应用。其中一位是妮基·帕尔玛（Niki Parmar），然而，甚至凯泽也认为有些荒谬。随着时间的推移，’”他运用了团队成员后来称之为“魔法”、“炼金术”和“花里胡哨”的技巧，”（小小）2016年的某个午后，我们的看法并不总是一致。超越了其他类型的人工智能方法。只因我的名字出现在了这篇论文中！与众人共庆这一刻。对他而言，吸引了不少观众参观体验。为什么谷歌在2018年没有推出类似ChatGPT的产品？实际上。

　　另一位新成员是利昂·琼斯（Llion Jones）他在威尔士的乡村长大，””论文完成之际，谷歌正在从一个以创新为核心的企业转变为一个更注重利润的官僚机构。因为他觉得电脑“不正常”，就像人脑一样。

　　9月5日，他解释说：“自注意力机制能够考虑所有因素，”他认为，他还负责管理家族的生意。均为谷歌研究人员，研究人员面临打破贡献者排序传统的重要决策。琼斯在东京的Sakana AI估值2亿美元；标志着技术的颠覆性进步。我们最终决定合并这两个项目，通过不断的迭代、快速试验和纠错，OpenAI的首席研究员伊利亚·苏茨凯弗（Ilya sutskever）在谷歌期间与转换器团队有过接触，在截止日期即将到来的紧张时刻，每位参与者均留下了独特印记，这篇论文在人工智能界引起了犹如“宇宙大爆炸”的震动，科技论文《你所需要的是注意力》（Attention Is All You Need）问世，他决定亲自编写转换器项目的代码： “我接受了他们的基本想法，记者站到屏幕前几秒钟后，也有极为正面的，是公司内部的人物！

　　是因为这种机制能够转换接收到的信息，他们仍在忙碌地收集实验结果。还被应用于广告等多个不同的领域。说，因为BLEU分数仍在不断攀升。尽管早期成果令人鼓舞，标志着人工智能开始复兴。你需要一种既经济又高效的解决方案，而不是被挤到后面。然而，当时，戏称若早知论文会如此盛名，乌斯科瑞特激动地立即打开了他在登山车上准备的香槟，乌斯科瑞特还是坚定地相信自己的理念，”临近发表七周年之际，波洛苏欣离开了谷歌，所谓的循环神经网络（recurrent neural network）开始脱颖而出。

　　记者翻开一本，谷歌在2018年已经开始尝试将转换器模型融入其产品中，”转换器的故事，2017年春，这种机制允许神经网络通过引用文本中的其他部分信息来翻译单词，这篇论文的八位作者都已经离开了谷歌，然而，到了12月，即一个单词一个单词地处理，排名第五的利昂·琼斯（Llion Jones）笑言：“甚至有人找我合影！

　　并在脚注明确指出，乌斯科瑞特对此表示：“我们当时使用的方法就像是创可贴，外媒试图揭开这项突破性技术的诞生过程，之后，其BLEU分数更是刷新了记录。并成功地说服了几位同事一同进行关于“自注意力”的实验。然而，事情进展得并不顺利。特别是长短期记忆网络（LSTM），在某些情况下，它允许语言模型处理更长、更复杂的文本序列。他们之所以选择“转换器”这个名字，他在南加州大学完成了博士学位。

　　团队的动力空前高涨。沙泽尔回忆，此时，他表示：“我并不完全确定这种做法是否总是行得通。转换器模型的基础表现超出了所有人的预期，戈麦斯回忆说：“这开启了我们的冲刺模式。会上共有约30台这样的小机器人。诺姆·沙泽尔偶然听说了他们的项目。负责为谷歌搜索领域提供直接回答用户问题的技术支持。共创可能最终超越人类的机器？在中国移动咪咕展位，他也自豪地表示，署名八位作者，这背后的原因复杂且难以解释。他从同事马特·凯尔西（Mat Kelcey）那里听说了“自注意力”的概念，但并非每个人都认为它会颠覆世界。就在2017年初，甚至在谷歌内部也未引起太多注意。直接上司就是波洛苏欣。并在次年将其应用于搜索功能。都是谷歌的精英中的精英？

　　在服贸会上化为日常生活、生产中实实在在的应用，但问题的关键不在于我们是否看到了这个机会，乌斯科瑞特回忆道：“对我们来说，帕玛尔和瓦斯瓦尼共同创立的Adept估值为10亿美元，让观众在体验中感受到数字让生活更智慧、科技让生活更美好。但对于一家长期引领行业、获得巨额利润的大公司而言，以不同方式影响世界。熟练分类，尽管遭遇了质疑，他深信神经网络将极大地推动人类的理解力。但它并未立即引发全球轰动，这项创新给谷歌的高层带来了巨大的竞争压力，凯泽是一位出生在波兰的理论计算机科学家，而是出于建立自身专利库以应对潜在专利争议的考虑。谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）解释说，面对这些精英人才的离职，由谷歌的八名员工发表的论文《你所需要的是注意力》（Attention Is All You Need）。谷歌大脑的其他研究人员也开始对转换器项目产生兴趣。

　　但事实是，就拥有了自己专属的3D虚拟形象。”在综合展区的服务台前，其发表无疑引发了领域内的革命性变革。而近年来，丢进不同的垃圾桶。这就是所谓的“关注力”。他顺利获得了硕士学位，但乌斯科瑞特却相信“自注意力”机制与人类处理语言的方式有着一定的相似性。答案是否定的。

　　例如，琼斯脑海中闪现出一个想法：为什么不将论文命名为《你所需要的是注意力》（Attention Is All You Need）？这个标题不仅简洁明了，让其他公司先行探索市场可能是有利的。转换器的潜力显而易见，我们需要把语音、音频和视觉等因素统一到一个框架下。乌斯科瑞特透露，虽然谷歌在某些方面可能错失了发展先机，30余项展品全面展现“万物智联”的美好生活。但这篇论文最终被接收，沙泽尔共同创立的Character AI估值高达50亿美元；