在机器学习赛道，入局迟的Arm为何跑在了前面？：乐鱼体育，leyu乐鱼体育

Arm在整个机器学习和人工智能的潮流中有可能有点晚了，最少在现代芯片的专门设计中是这样的。但就部署在最普遍设备上的人工智能和机器学习芯片的数量而言，这一芯片知识产权的设计者打败了所有人。Arm的客户，还包括竞争对手英特尔和英伟达，它们也正忙着在各处部署人工智能技术。

该公司还建构了特定的机器学习指令和其他技术，以保证人工智能被映射完全所有电子产品，而某种程度是转入服务器的高端设备。在服务器的层面上，像亚马逊这样的客户正在将基于Arm的机器学习芯片引进其数据中心。最近，Arm机器学习小组副主席SteveRoddy在媒体活动上与外媒展开了交流。

以下是专访内容：Q：你对机器学习的关注点是什么？SteveRoddy：我们射击的是高端消费者，这似乎是选用。Arm以什么有名？手机处理器。所以专用NPU（神经处理单元）的概念首次经常出现在高端手机上。现在，苹果、三星、MediaTech、华为和高通都在设计自己的产品。

这在一部1000美元的手机里很少见。我们发售的是一系列处理器，不仅服务于这个市场，也服务于主流市场和低端市场。我们最初的设想是，我们转入这个市场，为人们生产VR眼镜、智能手机，以及那些你更加关心性能而不是成本均衡的地方。

历史经验指出，功能设置经常出现在高端手机上，必须几年时间，然后移往到主流的400－500美元的手机上，然后几年之后，最后经常出现在更加低廉的手机上。我指出，最有意思的是，整个NPU机器学习的进展速度飞快，但原因有所不同。

例如，过去800万像素的传感器从这里开始，然后当它充足低廉的时候，它不会到另一个地方，然后当它更加低廉的时候，它又不会移往。某种程度是组件成本上升并构建到其中，而是被其他东西所代替。机器学习算法可以用来作出有所不同的或更聪明的决策，来要求系统是如何构建和人组在一起以有所不同的方式减少价值，或者以有所不同的方式增加成本。

Q：你叙述了神经网络如何找到做到某事的方法，然后你不会去除那些实质上不必要的东西。你最后不会获得一个更加高效或更加小的东西，它可以映射到微控制器中。

Roddy：那是一个新兴的领域。退一步说，机器学习实质上有两个组成部分。算法的创立，自学，或者训练，就像它所说的，完全只再次发生在云中。

对我来说，我想要打趣地说道，大多数从业者都会表示同意，这是一个享有一百万台打字机的百万只猴子。其中一个写出莎士比亚十四行诗。

训练过程就是这样的。事实上，谷歌是具体的。

谷歌现在有一个叫作AutoML的东西。假设你有一个从某个开源存储库中挑选出的算法，它非常适合你的任务。它是一些你只必须略为调整了一下的图像识别的东西。

你可以将其读取到谷歌的云服务中。他们这样做到，似乎是因为它以计算出来服务的方式运营计量器。但基本上是你想付多少钱的问题。

他们将随机尝试创立神经网络的有所不同变体。这里有更加多的过滤器，那里有更加多的层级，偏移操作者，不按顺序继续执行，然后新的运营训练集。

这个现在可以构建1％左右的准确率。这只是你想要花上多少钱的问题。在这一百万只猴子，一百万台打字机的操作者下，计算出来必须1000美元还是10000美元？请注意，我找到了一个在面部辨识，语音辨识，或者其他任何方面都比它准确2％的方法。把这些都放到一旁。

这就是神经网络的发展。这种部署称作推理小说。

现在我想要对我想辨识的物体展开一次特定的推理小说。我想要在车上运营它，在人行横道上见到老奶奶，或者诸如此类的。Arm似乎专心于它所部署的大量硅市场，无论是边缘市场还是终端市场。

例如，你在会议中心的墙上加装了一堆传感器，灯点燃了，里面充满著了烟雾，因为它起火了。你可以用传感器辨识火灾，转录，并在地板上找寻尸体。

他们可以向消防部门收到求救信号。“人在这里”；“不要去这个房间，那里没有人”；“去这个房间”。

这是一件很棒的事情。但你期望它超级高效。你想让整个会议中心新的布线。

你只必须把这个电池驱动的东西张贴一起，并期望它能运营三六个月。间隔六个月，你可以替换传感器的安全性系统。

这是一个利用数学家建构的抽象化模型并将其修改以适应环境约束设备的问题。这是未来仅次于的挑战之一。我们有自己的处理器，它们很擅长于在终端设备上构建高效的神经网络。

从一过程来自于数学家，他们正在构想新型的神经网络并解读其中的数学原理，然后把它相连到较低层次的程序员那里，他是一个嵌入式系统的程序员——那里有一个极大的技能缺口。如果你是一个24岁的数学奇才，刚刚获得本科数学学位和数据科学研究生学位，从斯坦福大学毕业，大的互联网公司不会在你的宿舍外为你获取了一份工作。实质上你是在神经网络及其背后的数学方面很出众，但你在嵌入式软件编程方面没任何技能。

那位嵌入式软件工程师，负责管理装配CPU、GPU和ARMNPU，将操作系统放到芯片上，做到驱动程序和低级固件，他说道：“嘿，这是一段代码，里面有一个神经网络。保证它运营在这个有2兆内存和200MHzCPU的有限小设备上。让它发挥作用。

”负责管理映射的人会说道，“我不告诉这个神经网络是干什么的。它必须的计算出来量是我的10倍。

我可以拿走的90％是多少？我怎么告诉？”高层级的那个人，那个数学家，对约束装置一无所知。他研究数学，大脑的模型。他不懂嵌入式编程。大多数公司会同时享有两个人。

很少有高度统合的公司不会让所有人凝在一个房间里展开聊天。常常不会有这样的言论，你说道你是数学家，我是嵌入式软件工程师。

我们必需有保密协议才能展开对话。你不愿许可模型输入，但你会退出你的源数据集，你的训练数据集，因为那是你的宝藏。这就是价值所在。

你给我一个训练有素的模型，可以辨识人行横道上的猫、人或祖母，很好，但你会透漏细节。你会告诉他我再次发生了什么。这里我要说明的是，这怎么不合适我的约束系统。

你能为我做到什么？你不是嵌入式程序员。我不是数学家。

我们该怎么办？这是我们投资的领域，其他人也在投资。随着时间的流逝，在未来这将是一个神秘的领域。这有助重开它之间的循环。这不是一个单向的事情，你给我一个算法，我大大地密码它，直到我使它合适。

你给我的是99％的正确率，但我不能构建82％的正确率，因为我必须花费大量的计算出来来适应环境它。这总比什么都没好，但我知道期望我能返回过去，新的训练，并有一个无止境的循环，在那里我们可以以更佳的方式合作。

把它看做是约束和理想之间的协作。Q：我想要告诉这里听得一起熟知的部分是完全相同的还是十分有所不同的，但是DiptiVachani谈论了汽车联盟，以及每个人将如何在自动驾驶汽车上合作，从原型到生产。她说道我们无法在这些车里装有超级计算机。我们必需把它们减少到更加小、更加低廉的设备上，这些设备可以投入生产。

你说道的有什么相似之处吗？超级计算机早已找到了这些算法，现在必须把它们减少到实际水平。Roddy：当数学家创立这些神经网络时，他们一般来说用于浮点运算。他们是在一个抽象化的无限精度和本质上无限的计算能力。如果你想更好的计算能力，你必须启动更好的刀片服务器，启动整个数据中心。

你介意什么？如果你不愿写出支票到亚马逊或谷歌，你可以这样做到。Q：但你无法把数据中心放到车里。Roddy：到底，一旦我有了算法的形状，它就变为了一个问题。

你不会听见像分析、聚类这样的术语。如何增加复杂度，删掉那些实质上并不最重要的部分呢？你的大脑中有很多神经相连（这是在仿效大脑），但其中一半是垃圾。他们中有一半在确实的事。

有很强的相连可以传递信息，也有弱的相连可以遮荫掉。如果你丧失了一半的脑细胞，你依然可以见到你的伴侣或未婚。

训练过的神经网络也是如此。它们在想象的神经元之间有很多联系。你可以去除其中的大部分，你依然可以获得非常好的准确度。

Q：但是你不会担忧你毁掉的东西在某些情况下可以用来避免车祸。Roddy：这是一个测试用例。

如果我去除一半的计算出来，不会再次发生什么？这就是所谓的再行培训。再行培训，或者更加最重要的是要忘记目标。不是假设数据中心或超级计算机的无限容量，而是假设我的计算能力受限。汽车行业就是一个很好的例子。

假设10年后你是XYZ德国部件公司行人安全性系统的实验室主任。你的算法运营在近期和最差的雷克萨斯和飞驰汽车上。它们每个都有价值5000美元的计算出来硬件。

你的算法也运营在一辆9年历史的中国轿车上，而这款车刚好是你的第一代系统。你的一位科学家明确提出了最差的新算法。

它的准确率提升了5％。不管怎样，奔驰车的精确度要低5％，但你有义务将其获取给另一个人（事实上，你有可能有一份合约，拒绝你每季度改版一次）。更加差劲的是，现在我们有来自10家汽车公司的17个平台。

你如何把这个新的数学发明者应用于到所有这些地方？必需有一些结构化的自动化。这是汽车联盟在一个堵塞领域所做到希望的一部分。我们正在研发的技术是环绕“我们如何创建这些桥梁？”例如，你怎么把一个模型放进开发人员用于的训练集（TensorFlows或者Caffes）。这让他们可以说道，“好吧，与其假设我是在云中展开推理小说，不如假设我是在一个智能门铃的2美元微控制器上运营？”为这个而训练，而不是为抽象化而训练。

这可以创建很多基础设施。不管优劣，它必需横跨行业。你必需在Facebook的数据科学家、XYZ半导体的芯片制造者、匣子制造商和软件算法人员之间创建起桥梁，这些人都在企图一起对其展开内部升级。Q：联盟中有可能有像英伟达这样的竞争对手。

你如何把这个维持在比竞争对手更高的水平上？Roddy：英伟达做到的事，对我来说，他们是顾客。他们在买芯片。事实上，英特尔从Arm那里买了很多东西。

在架构上，英伟达是一个很好的例子。他们有自己的NPU。他们称作NVDLA。

他们告诉在云中训练，是的，是GPU。那是他们的堡垒。但当他们谈及边缘设备时，他们甚至说道不是每个人都能在口袋里装有上50瓦的GPU。

他们有他们自己的版本，我们在这里谈及的MPU是以有所不同大小的整数运算的定点来构建。从4平方毫米到1平方毫米的硅。这东西的功率将近一瓦特。这比高性能的GPU要好得多。

如果你口袋里有一部比较现代的手机，你就有了NPU。如果你在过去几年里买了一部800美元的手机，它不会有NPU。苹果有一个。

三星有一个。华为有几代都有。他们都做到了自己的事。

我们预计，随着时间的流逝，这些公司中的大多数将会之后研发自己的硬件。神经网络基本上只是一个极大的数字信号处理滤波器。

例如，在一幅大图像中有一组可观的系数。我的图像分类器有可能有1600万个系数，我有400万像素的图像。那只是一个极大的乘法运算。它是多重积累的。

这就是为什么我们要辩论CPU的乘法相加性能。这就是为什么我们修建这些NPU，除了大幅提高累积什么也不做到。这是一个极大的过滤器。

现实是，要在8×8的乘法上展开创意，你能做到的只有这么多。基本的建构块就是它本身。

这是系统设计。在我们的设计中有很多关于最小化数据移动的东西。

它在块级和系统级的数据移动方面很聪慧。我不期望10年后，每个手机厂商和汽车厂商都有自己的专用NPU。这没道理。

软件和算法必须专用。架构也必须专用。

但是建构块引擎可能会得到许可，就像CPU和GPU一样。没什么能确保我们不会输掉。我们期望如此。因为总有人要构建。

可能会有一些十分好的供应商为NPU获取许可，并且大多数专利产品将不会消失。我们期望我们是赢家之一。我们讨厌指出我们有充足的资金去投资去夺得胜利，即使我们的第一批产品没在市场上取得胜利。

但有迹象指出它实质上非常不俗。我们预计这不会在5到10年内再次发生。在系统级，有过于多的系统设计自由选择和系统软件自由选择。

这是关键的不同点。Q：那么，在你即将竞争的关卡上，你不会实在Arm正在追上你吗？或者你不会回应驳回吗？Roddy：这各不相同你看的是什么，你的印象是什么。如果你椅子来说，“现在：此时此刻AI在世界上运营了多少，它在哪里运营？”Arm毫无疑问是赢家。

绝大多数人工智能算法实质上并不需要专用的NPU。机器学习仍然伸延到类似于你手机上智慧文本输入法这样的东西。你的手机有可能早已落成了“ok谷歌”或“你好Siri”。这是机器学习。

它有可能不出GPU或NPU上运营。它有可能只是运营在M级内核上。如果你想到市场上的手机，有多少智能手机？有可能是40亿到50亿？其中约15－20％的手机有NPU。

这是最后三代苹果手机，最后两到三代三星手机。就大约说道有5亿吧。仁慈地说道，有可能是十亿。

但每个人都有Facebook。每个人都有谷歌的预测文本。每个人都有语音助手。

这是一个神经网络，它和其他系统一起在CPU上运营。没别的自由选择。

如果你较慢网页一下，想到大部分假设在哪里运营，你不会找到它们在CPU上，并且大部分在ARM上。即使在云中，当您辩论推理小说在何处运营时（不是训练，而是部署），绝大多数推理小说都在CPU上运营。很显著，大部分是Intel的CPU，但是如果你用于亚马逊的话，就有ARM的服务器。

金融界最经典的是什么？我想要有购物中心的卫星照片分析，这样我可以看见HomeDepot的交通模式，告诉我应当做空还是做到多HomeDepot的股票。人们知道不会这么做到。你必须一堆卫星图像来训练。你还必须财务报告。

你有所有家庭仓库或JCPenny的所有交通图片，你把它们和过去15年的季度结果联系一起，这样你就创建了一个神经网络。现在我们指出我们有了一个将交通模式与财务结果关联一起的模型。让我们来想到过去三天卫星在北美所有家庭仓库的现场摄制，并对他们的收益作出预测。

那个实际的预测，那个推测，是在CPU上运营的。有可能必须几周的GPU训练来创建模型，但我有1000张照片。每一个假设都必须半秒钟。

你不必须为此启动一堆GPU。运营它之后，20分钟就可以已完成。

你早已做到了你的预测。事实上，我们是神经网络的主要构建者。

但说到对这么有魅力的NPU的观点的话，我们现在的市场上还没这样的产品。因此，我们领先了。但不可否认的是，我们现在只是在设计层面讲解我们的NPU家族。我们有三个NPU。

我们早已给它们以许可。它们在我们客户的手中。

他们正在做到设计。今年你会看见硅。

或许明年晚些时候。没有人等着我发表声明。整个行业还要再行过十年才能稳定下来。华为有自己的产品。

苹果有自己的产品。三星有自己的产品。高通有自己的产品。英伟达有自己的产品。

每个都有自己的。他们知道必须每年投资100个人的人力在硬件上来生产8位乘法器吗？答案有可能是驳斥的。Q：我忘记苹果公司在他们的活动中讲解了他们近期的芯片。

他们说道，机器学习比以前强劲了6倍。对芯片这部分的投资是有意义的。

这是可以给你带给很多益处的部分。当你在手机和其他强劲的设备上看见这些更大的系统芯片时，你否希望这部分不会被缩放到原本的两倍甚至三倍？Roddy：有些是，有些不是。我们看见机器学习功能以多种不同的方式蔓延。

一个意料之外的方式是，它是如何比历史有可能预测的更慢地转入低成本设备的。屏幕尺寸和照相机尺寸过去经常以相同的速度从高端到中档再行到低端一代代地上升。我们早已看见了一个更加较慢的拓展，因为你可以用NPU做到一些有意思的事情，在或许上可以让你在系统的其他地方降低成本，或者落成与系统其他部分有所不同的功能。

低成本手机中一个很好的例子是人脸关卡。人脸关卡一般来说是一个低功耗、低分辨率的摄像头，必需从你的脸上分辨出有我的脸。这就是它所必须做到的一切。

如果你是个十几岁的孩子，你的朋友就无法关上你的手机开始发送到有意思的短信。它一般来说只在CPU上的软件中运营，一般来说是ARMCPU。不管是1000美元的手机还是100美元的手机，这都不足以关卡手机。

但现在，你想要把这款售价100美元的手机，变为发展中国家那些没银行账户的人的代理银行服务。你不期望通过这个差劲的照相机较慢自拍来要求谁在展开金融交易。

你必须更加准确的面部3D同构。你有可能必须同时展开虹膜扫瞄。如果你能在应用于处理器的基础上再行减少一个20、30、40美分的小的专用NPU来构建这一点，它只不会被用来做到实际的详尽的面部分析，这大约就是我们想的NPU家族中大于的尺寸。忽然之间，对于100美元的手机，加装一个专用的NPU是有意义的，因为它使手机沦为一个安全性的银行设备。

这不是为了让自拍电影看上去更佳。一个卖100美元手机的人不不愿为了让自拍电影看上去更佳而花钱。但是银行公司不愿资助这款手机来取得交易流，当然，前提是他们能从再次发生在孟加拉国或其他地方的每一笔80美分的微交易中取得一分钱。

我们现在看见的功能，一开始是出于虚荣心，例如让Snapchat滤镜更加可爱，让我的自拍看上去年长20岁，但现在你可以用它来做到有所不同的事情。Q：你指出机器学习占到硅支出的百分比应当是多少？Roddy：这各不相同应用程序。

有一些产品类别是人们不愿投放的。如今最极致的状态是什么？。

本文来源：乐鱼体育，leyu乐鱼体育-www.hqcy.org