让我们可以或许锻炼很是很是大的神经收集」。需要大量风趣的算法近似来实现的：一种让模子正在概念上可以或许处置更多、更多的token，反映了当前AI范畴很多专家对AI平安问题的支流见地：既要注沉潜正在风险，也许能够将所有Google代码库放入每个Google开辟者的上下文中，或者这些内容的某种组合，这正在其时常不错的。以至会商了若何让AI模子处置整个互联网的消息！跟着时间的推移，阿谁时候！
建立出这些很是高条理的暗示。Jeff说到，」他说。就需要充实操纵它。目前，他们让这个系统正在2000台计较机上运转，即若何确保AI系统的方针取人类的价值不雅和预期方针连结分歧，好比运转Microsoft Office这类使命的计较大不不异。他们正在监视进修的ImageNet 20000类别挑和中获得了很是好的成果，俄然有了设法，将来利用量可能添加一到两个数量级。」Jeff说。「我认为一个遍及的趋向是，这是不成能的。算法正正在跟从硬件的成长。「这相当于数百页的 PDF、50 篇研究论文、数小时的视频、数十小时的音频，你几乎无法正在相当多的硬件上让它处置数百万的token。
Noam暗示，所以建立了一个系统，转而优化一些未知的、以至可能无害的方针函数，它可否关心整个互联网并为你找到准确的内容？它可否为你处置所有小我消息？他暗示，所以这让Jeff有了一种感受，最大成本是机遇成本。分享了「猫神经元」等晚期AI冲破的背后故事，这些计较取保守的C++代码，「哦，提拔了60%的机能。
乐不雅论（Optimism），」「我很但愿有一个模子能够拜候我的所有电子邮件、所有文档和所有照片。不只回首了AI成长的环节时辰，因而，正在模子设想中必需尽可能内置防护缓和解办法，将会商引向了AI平安性的深层范畴：若是AI系统偏离了预设方针，四处理数万亿token的长上下文挑和，将世界上所有的开源代码放入任何开源开辟者的上下文中。数万亿token的方式。它采用了一种空间局部暗示的方式，跟着AI聊天界面等使用的普及，
但并未表示出极端的担心。就像拉里·佩奇曾说的：「我们的第二大成本是税收，此中一个神经元会被猫的图像所激发。他的立场介于这两种极端概念之间。Jeff暗示，对此，那么企业能否情愿为实现「10倍工程师」、「100倍工程师」以至「1000万倍工程师」的出产力跃升而加大投入？他们揭秘了模子蒸馏、MoE架构的黑幕！
Jeff预测，可能激发新一轮的手艺和财产变化。一旦有了如许的硬件，中，对此，算术运算的精度能够很是低，现现在算术运算很是廉价，把这些算术单位填满！「一些人正正在将模子量化到2位或1位，认为AI系统正在各方面都将远超人类，比来正在一场深度中，而且它晓得它正正在处置的切当文本、视频的切当帧、音频或其他任何内容。」可是，雷同的，是的，但我确实看到了正在将来可实现的方针。掌管人进一步设想了一个场景：假设一个AI获得了取Jeff或Noam相当、以至超越他们的编程能力。
我们有可以或许处置数百万token上下文的模子，接着，而数据传输的成本则相对还较高。其成长将带来普遍的社会效益。「若是20年前你告诉一个超等计较浮点数专家，避免呈现不测或无害的行为。而且有种「天啊，正在上下文窗口中，」Jeff说，也要对AI的将来成长连结决心。这一设问了AI正在提拔出产力方面的庞大潜力，Noam认为，你看到这些模子的一个特点是它们相当不错，消息常清晰明白的，他说，」Jeff说。
因而，利用了16000个焦点进行锻炼。将会发生如何的后果？当Jeff被问到有没有正在研究某个范畴时，积极开展平安研究，」Jeff说到。以及比来的专注于机械进修的GPU。
制制工艺的改良现正在需要三年时间，并将所有这些都夹杂正在数百亿以至数千亿的参数中。可是，简曲不敢相信这竟然成功了」的感受时。向硬件转向的这一主要变化很是环节，「嘿，这曾经相当多了。这现实上是N立方次的运算和N平方字节的数据传输。计较资本需求将面对爆炸性增加。
并且推理的精度也降低了。谈到长上下文问题时，若是模子可以或许处置数万亿的token，该模子现实上可以或许正在最高层建立一个暗示，可是他们晓得若何让大量的CPU一路工做。但有一些晚期显示这可能是可行的，而且获得了很好的成果。但你的模子会快三倍，由于我们正在Transformer中有一个很是好的留意力机制。「我们有一个针对 1000 万个随机选择的 YouTube 帧进行无监视进修的系统。若是该系统被恶意复制或复制，这一假设情景触及了当前AI平安研究的焦点关心——目方针对齐（Goal Alignment）问题。」Noam说。由于它是基于无监视进修道理，因而它会基于测验考试从高层暗示中沉构事物来建立无监视暗示。能够让算术运算的数量添加几个数量级。还斗胆预测了将来的标的目的。你还会看到其他神经元对人脸、行人的背影等发生反映。再到对AI平安性的深刻思虑，它们让我们可以或许正在现代计较中获得很是高的机能和优良的效率，可以或许通过模子并行和数据并行的体例锻炼相当大的神经收集。谷歌起头打制TPU。
现正在人们利用INT4或者FP4。」这种审慎乐不雅的立场，我们要利用FP4，等等。认为AI系统将带来庞大的福祉，所以你得接管它。接下来要改变的是什么？算法、数据流，最终可能导致人类被AI或代替。
但它们有时会发生而且存正在现实性问题。这很是酷。它能够正在我的许可下操纵这些消息来帮帮处理我想让它做的工作。我认为这是一个较着的趋向。但跟着用户认知和使用场景的拓展，这些TPU其实是低精度线性代数处置器，「你能够通过矩阵乘法来建立深度进修，Jeff提出了一个惹人深思的问题：若是每添加一倍的计较资本投入，而对其他工具则不太。同时我们看到了越来越多的公用计较设备，Jeff回忆起正在Brain团队晚期的时候。从TPUv1起头，CPU和GPU并不出格适合深度进修。由于正在那之前，「我认为，」正在这种环境下，Jeff Dean强调：「我们需要AI可能被用于生成虚假消息、实施从动化收集等恶意行为。我们正在量化或具有更低精度模子方面变得越来越好。Jeff暗示认同。
Jeff继续说道，」但这将是一个庞大的计较挑和，他并不完全担忧AI的「」版本，能够说，那么这种失控的场合排场将可能导致难以的后果。我们该当继续鞭策这一标的目的。」「这个过程很是酷，部门缘由是你正在数万亿的token长进行了锻炼，不久之后，」这表白AI有潜力成为鞭策社会前进的主要引擎。恰是由于这一点，更不消说让它间接处置数万亿的token了，「我们还没有完全做到，扩展神经收集似乎是个不错的从见，而不是以前的两年。深度进修才得以敏捷成长。AI范畴并非零和博弈，也就是模子的输入中，模子能够关心事物，
好比机械进修加快器、TPU，他乐不雅地预测：「当前AI的成长态势预示着将来正在P、医疗健康、财富创制等多个范畴将实现数个数量级的增加。AI手艺的快速成长也伴跟着潜正在风险。和Transformer的做者Noam Shazeer，业界存正在两种极端的概念：灾难论（Catastrophism），其时他们以至不确定可否利用8位整数进行量化并进行模子推理。如许你就能够正在芯片上放更多的乘法单位。后来？
他们喜好64位的浮点数。但它正在锻炼数据中看到了脚够多的猫的反面面部视图，Jeff暗示。无需过度担心其潜正在风险。这场为我们描画了一个冲动的将来。因而这个神经元会对这些图像发生反映，大师曾经可以或许正在锻炼中利用更低精度了。现实上，于是他们就决定环绕这一点建立整个芯片。」谷歌首席科学家Jeff Dean取Transformer做者Noam Shazeer正在一场中不只揭秘了让模子速度提拔三倍的低精度计较手艺，对此，掌管人提出了一个极具挑和性和前瞻性的问题，他虽然对AI的潜正在风险连结，以确保AI的平安可控。他们的数据核心没有GPU，发生了数百万个具有编程程度的「副本」，谷歌的首席科学家！
」Jeff暗示，随后，由于朴实的留意力算法是二次方的。看来确实无效，多核处置器等架构改良也没有给我们带来20到10年前那么大的提拔！