赛灵思刘竞秀：人工智能计算的加速引擎

人工智能作为一门新的、热门的科学，吸引了很多科研机构和企业的关注与研究。近年来，人工智能产业取得了长足的进步，很多AI相关的应用层出不穷。但是，我们必须正视人工智能技术并不完善，算力的不足造成了应用场景的局限，未来几年，仍是企业研究的重点课题。赛灵思作为全球领先的可编程逻辑完整解决方案的供应商，它们研发、制造并销售范围广泛的高级集成电路、软件设计工具和作为预定义系统级功能的IP核，赛灵思对AI的投入同样备受关注。2018年7月18日，全球最大的FPGA厂商赛灵思宣布收购中国AI芯片明星创业公司深鉴科技，加速赛灵思在AI产业的布局，让人们对AI抱有更多的关注和期待。

2019年4月11日，在“第八届年度中国电子ICT媒体论坛暨2019产业核技术展望研讨会”上，赛灵思人工智能市场总监刘竞秀给大家讲述了人工智能计算的加速引擎以及享赛灵思对人工智能的理解，下面是刘竞秀演讲的主要内容（编辑做了不改原意的改动）。

赛灵思人工智能市场总监刘竞秀

刘竞秀：大家上午好，很高兴与大家分享赛灵思对当今人工智能的理解和为此准备的解决方案。在过去二十多年技术发展过程中，我们经历了PC时代、互联网时代、移动互联网时代、AI时代，以及所面临的下一个时代，也就是AI＋IoT时代。PC时代，基本每个家庭拥有电脑，有了互联网之后，人与人或者机器与机器间的连接慢慢赋予能力。随着智能手机的普及，智能终端数量超过全球人口数量，每个人都有一个手机作为智能终端。现在大家都在讨论AI，讲AI落地，同时大家也在思考未来20年是什么样，很可能是AI＋IoT的时代。

从计算的演变看高性能计算平台的发展趋势

AI并不是某一个行业或某个产品，最终还是要落地在具体场景、行业和需求上。AI最终是被所有需要做计算、理解、感知的设备、场景或服务提供本地计算能力和云端计算能力，本质上AI是通用能力，就像电和内燃机，它所赋能的并不是某一个特定行业狭窄的应用，而是可以促进众多行业的产业升级和产品迭代。但不同行业对AI的需求以及理解是不同的。

AI的核心是高性能计算，提到计算，通常会想到CPU和GPU。CPU是用于通用计算的，GPU用于做高性能计算从2012年开始，人工智能快速发展，但是落地的场景比预期要差，从我个人角度来讲，我认为有两个剪刀差阻碍了这个时间点人工智能的落地。

第一个剪刀差是需要处理的数据和计算芯片所能够提供的处理能力之间的剪刀差。计算芯片工艺从过去28纳米、20纳米， 16纳米，14纳米、10纳米、7纳米、5纳米、3纳米，摩尔定律使芯片性能增加速度越来越饱和。大家看到技术的趋势，只有高端的消费类、迭代很快的产品（例如手机）才能支撑得起最先进工艺高昂的芯片迭代成本。至于芯片的发展趋势，无论从CPU、GPU到FPGA、ASIC，对于通用芯片来讲，它的好处是应用比较广泛、上手快，大公司如谷歌、阿里也在做芯片，众多创业公司都在做各种各样的ASIC，希望在特定的定制领域提供一些场景和应用。对这些特定的场景和应用，ASIC的性价比可能更高，所以技术发展的趋势一定是从CPU、GPU到FPGA，最后到ASIC。

所以市场上有一个重要的时间窗口，就是每个行业在需求成熟之前，在大家有能力、有信心去开ASIC把这个钱赚回来之前，大家不会去开ASIC，而且这时候又需要一个平台做初期的市场尝试或者在激烈的市场竞争中快速将创意变成现实， 赢得市场先机，这时候FPGA就是最好的计算平台产品。

第二个剪刀差就是芯片设计生产的长周期和快速迭代的市场需求之间的差距。芯片不是那种靠钱就可以换时间的技术，最快也要一年半到两年才有可能走完一个完整的流程，从后端设计包括封测等，这个一年到两年的时间窗口是任何人做ASIC都要经历的。我们看现在的AI公司的客户，很多情况下需求都非常紧迫例如说我这个月有一个项目，你能不能下一个月帮我把东西做出来，所以第二个剪刀差，就是快速变化、快速迭代的市场和ASIC开发周期漫长之间的差距，这也是第二个重要原因。

AI变现能力迅速增强

这里跟大家分享了两个我们认为技术发展趋势的很关键的因素，回来看这些应用场景。

如图所示是过去这几年各种各样的AI相关的主流应用场景。包括视频和图像相关应用，基于语音相关的应用。跟视频相关的，最新的应用最多的，还要感谢我们国家对于信息网络安全的建设，中国的安防监控系统。我们国家从2017、2018到2020年，从政府层面会投三四百亿来做平安城市，做天网工程，包括各种各样的场景的视频监控和网络的建设，这个场景本身视频监控的场景是很传统的行业，但它对于AI的需求有个很明显的变化，我们发现布的摄像头越多就需要越多的人来看，导致警察大量的时间花在看视频上从而导致警力的不足，而AI恰好可以在这一个痛点上极大的提高警察系统的效率。它不需要准确地告诉你谁是坏人，只要告诉你今天有十个嫌疑人是坏人，只要看这十个人就好了。所以这点上AI是能够帮助产业落地很重要的原因，所以我们看过去这2017、2018年的行业龙头，股票涨得也非常好。

除了这些行业应用的安防监控，你会发现现在的高档写字楼、高档酒店，跟人脸相关的也越来越多，包括机场、火车站大量无人值守的闸机。第二类跟网络视频相关，最近几年有大量短视频的网站兴起，对于这样的公司，他们有个很重要的刚需，就是内容审查机制。现在都是靠大量的人力来做，这是很有限的，而视频审查在这方面可以极大地帮助这些公司缓解这方面的压力。现在大家都是靠花钱雇内部审查人员，内部审查人员管理外包人员做审查。但一般的非实时短视频业务相对比较容易做，比如晚一两个小时上线问题不大，但直播类的比较难，而大量的AI公司现在做了基于文字、基于人脸识别，包括基于行为动作的审查机制的解决方案，现在在不同的场景、不同的网络节点都在做相应的尝试跟大量的部署，这是一类应用。第三类是跟消费类相关的，例如无人值守超市。

跟汽车相关的应用是最近非常热的话题了，无论是自动驾驶、无人驾驶，这些ECU （ 电子控制单元）最终都需要它具备一定的理解能力，辅助中央控制器做相应的判断和决策。跟语音相关的应用就非常丰富了，家里的聊天机器人，小度，包括手机里的siri，都是用AI做辅助的应用，但语音相关的应用本质上来讲和视觉相关应用相比还不足够成熟，这里面有一个很关键的因素，就是视觉相关的应用，用CNA或者DNN做网络检测的应用，能够提供端到端解决方案的技术，对于语音应用，AI（例如LSTM）在语音应用里面，这样的网络模型只是不同语音模型中的一部分，有大量的前处理跟后处理的技术，跟AI没有关系。所以人工智能在语音识别的技术里面只是众多技术处理的环境中的一环，它不像视觉那样，比如说我把这个目标检测出来了，这个任务就结束了，但在语音里面，中间这一环的效率有的时候会是瓶颈，有的不是瓶颈，所以面对不同的场景，人工智能能不能帮语音做更好的加速，是要看具体的客户所选择的方案，这是很重要的一点。第二点现在语音聊天机器人，基本上没有能跟人一样聊二十句，这是能力的限制，学术界来讲，无论数字级多丰富，训练的网络多深，也没办法聊二十句，后面基本上是尬聊了，这也是限制的另外一个很重要的因素。

打造灵活应变万物智能的世界

从赛灵思的角度来讲，无论是万物互联还是大规模的超算，我们需要做的事情是帮助客户、帮助市场提供快速部署的平台，所以我们的目标就是提供灵活应变万物互联的高性能计算平台。赛灵思去年换了新的CEO，发布了新的战略，数据中心优先，加速传统的八大核心市场，驱动自适应的计算。我们传统的市场大概分成这样八个方向，简单介绍一下，第一类汽车，在AI出来之前，赛灵思在汽车行业已经深耕了十几年，有各种各样的符合车规认证的车载芯片。在通信领域，各种各样的FPGA做高性能的信号处理。包括航空航天，传统的工业控制、医疗，包括仪器仪表，我们过去调侃国内的AI芯片创业公司，我们说这几家做AI芯片的创业公司自己谁都没赚到钱，但把卖仪器仪表的公司都支持得非常非常好。

简单介绍一下我们下一代的Versal计算引擎，我们首先是面对通信和人工智能高性能场景，定义了完全不一样的芯片架构，我们利用3D技术提供高性能的高带宽存储，提供两个能力，一个是计算能力，一个是存储能力，人工智能的网络都是几十几百层，几千万上亿参数的快速运算和反复的读取，如果每一层的数据运算的结果都需要去读写的话，一个是延时长，一个是功耗大，所以为什么现在主流做AI芯片慢慢会提供尽可能大的存储空间，而3D的技术是最有效提供高性能面向存储的技术。同时我们充分利用硬核处理器功能，支持AI场景的快速运算。

从人工智能的解决方案来讲，我们希望为客户提供端到端的解决方案，又回来讲，我们在过去几年接触所谓的AI客户碰到的窘境，大家做芯片本身没有那么难，无论是AI芯片包括其它的芯片，包括我们国家自己做的各种CPU，把芯片本身做出来不难，但是为了帮客户用起来，需要的软件、生态环境、工具链，各种参考应用，这些需要花更长的时间，更多的资源才需要客户把产品用起来最关键最核心的因素。所以我们希望提供整套的产品，为客户提供不同层次的支持，从底层的硬件，中间各种各样的IP以及软件，应用层各种各样的神经网络模型，都可以提供给客户，所以理论上来讲，客户可以选择我们不同的神经网络，选择合适的芯片、合适的硬件，这些PCB的板卡都比较成熟，无论是赛灵思，我们的合作伙伴、客户都有能力做这些硬件。结合赛灵思传统的开发软件，把这些整套的AI相应的工具用起来，就可以快速地实现产品的部署。

从行业的角度来讲，我们希望提供的是一个通用的AI解决方案，换句话来讲，我们的AI解决方案并不是只能做人脸或者只能做车辆检测，为了实现这样的目的，我们做了两件事情，第一件事情是在底层定义了自己的指令级和IP，这些IP是非常高效的定制IP，就是来专门为人工智能做不同的算子，比如特殊编程，提供定向加速的IP，定向到相应的指令，但这还是很底层的硬件开发能力。我们开发了工具，通过这些工具和SDK为客户提供了接口。所以客户不需要写任何一行代码，只需要把我们调用起来，就可以支持不同行业不同场景的应用。所以无论是人脸、车辆等等都是不同的CNA，它们核心的算子都是一样的，就是网络架构和参数配置不一样，然后生成不同的指令，最终运行在不同的硬件平台上。所以我们希望通过这样一个通用的处理器平台，为客户提供一个比较高效的开发用户体验。

我们都知道，FPGA很多场景应用都非常高，代价就是周期比较长，三个月六个月一年都可能，但用我们现有的方案，最快几个小时就可以把新的网络部署在硬件上，就可以把系统运行起来，这对人工智能的创业公司和合作伙伴来讲是最重要的，可以非常快地拿到一个原型机，用这些原型机去真正的场景做性能、功能的迭代、数据的收集，这样产品才能更快地比别人推向市场。

下面简单跟大家分享一下我们在模型库方面的一些积累，这些主流的模型，我们并不是说赛灵思在这些方面做得多不一样，我们只是说赛灵思作为一颗传统的FPGA芯片公司，现在已经慢慢走向另外一个维度，我们希望为客户提供的不单是一颗芯片，以及围绕芯片的PCB层面的参考设计，现在帮客户提供的是，基于芯片、IP加上工具，以及客户在真实场景中真实应用的算法，整个一套都帮客户提供参考设计，而参考设计的神经网络，对我们来讲通常会免费提供给客户，目的是帮助客户更好的使用基于赛灵思FPGA的解决方案。所以第一类我们刚才讲了，无论是给警察用，包括重要领导人的出访，事前事中事后的布防，包括追踪等等，车辆信息的检测，包括车牌、车的型号，包括行人衣服的颜色，有没有戴眼镜等等信息都是最基本的。我们想说，赛灵思现在有能力帮助客户提供各种各样的应用层面的参考设计跟行人参考的应用，行人关键点的检测，这都是很普通的应用，我们更希望这些应用是给人和机器之间提供了另外一类人机交互的接口。我举个例子，很多人都玩过无人机，大家玩的时候要么两个手拿手机，要么两个手拿控制器，但是有了人机交互新的界面之后，有些特定的动作，拍照、录视频等等，可以极大地提升娱乐性。

包括跟车辆相关的应用，左上角是自动驾驶最基本的功能，做语义分割，分配和判别这个像素是属于哪一堆，然后再判断这一堆是天空、树、可行驶的区域道路等等，然后红绿灯交通牌等等所有信息都是拿来做各种各样的基本信息的提取单元。我们在车上的应用现在主流的应用包括激光雷达、摄像头等，各种各样的前置后置环置，车内的监控，对驾驶员、乘客的监控，各种各样的场景都是基于我刚才提到的各种各样的模型，无非就是目标检测、识别跟踪。激光雷达稍微多讲一点，赛灵思现在市占率90％，很重要的原因是现在全世界大概有大约几十家主流的做激光雷达的公司，大家的方案和产品的技术路线差异非常非常大。这又带来一个问题，没有谁能够做一颗计算平台能够覆盖差异这么大的平台开发，这恰好是FPGA最好的市场，未来的时间里，FPGA仍然是计算平台的提供者。

在消费者领域，我们通常会讲，消费者领域对价格会比较敏感，但是还是会有很多高端的消费类产品，愿意用稍微高的价格，采用高性能的芯片。我举个例子，我们办公室里面有四颗会议监控系统，大概要几十万一套，谁讲话就自动把镜头注目到这个人脸上，这是最简单的，用人工智能提升用户体验的方式，包括一些高端的投影仪，需要用一些手势来做控制，包括用AI来做超分，各种各样的场景在传统消费类市场里面会有不同的需求和应用。

最后跟大家分享一下，在过去，赛灵思为了让客户更好地用我们产品，我们做的努力。传统的方式就是提供RTL full design工具，这是传统领域适用的。主流的人工智能公司都是算法公司，他们都不知道FPGA是干什么的，慢慢我们会提供各种各样的工具、底层的功能模块，比如网络接口、物理层各种各样的接口和计算单元，刚才我们提到的DPU也是IP的一种，基于这种IP，如果我没有现成的IP就会提供给客户，但客户说我还有其它功能，没有IP怎么办，就会提供HLS，通过工具把这些代码自动转成底层的代码，再往后我们在嵌入式系统层面提供各种各样的系统，包括车载的系统等等，我们会帮助客户在嵌入式层面，把相应的东西尽可能配置好，减少客户开发周期，最终在应用层面，会提供应用层面的库，比如说刚才看到的人工智能的网络库。在平台层面，我们会把不同的应用放在AWS、阿里云、华为云上，这样客户用华为云的方式调用我们的IP。最终我们会提供各种各样的端到端的IP。这是我们在过去几年赛灵思做的很大的转变，通过这种转变我们也希望能够在未来人工智能时代配合客户和合作伙伴快速地进行产品落地。谢谢大家！