高通公司看到了“多面”的AI芯片

白银新闻网 科技 2020-09-30 10:45 38

从凹庙萧萧
量子位报告|公众账号QbitAI


AI芯片行业面临着无穷的需求。


根据Research and Markets的数据中心中的AI芯片(即AI加速器)市场规模将从2018年的28.4亿美元增加到2023年的211.9亿美元。


AI芯片分为训练和推理,前者用于“制作模型”(运行大量数据,调整参数),后者用于“产生结果”(实时检测,目标跟踪)


“建模”就像产品处理一样,在“工厂”中完成,但是在发布模型之后,它不仅限于“工厂”,还可以部署到手机,汽车和其他设备上。


这里的“工厂”通常是,在有大量服务器部署的地方;手机,汽车等设备被称为边缘(终奌站)也是真正需要使用AI模型的地方。


可以看出,AI训练芯片仅依赖于绝对的计算能力-只要计算能力更高,模型训练速度就更快。


然而,移动电话和汽车受到许多限制和要求,例如体积,能量存储和实时性,并且计算能力不再是一个单一的考虑因素。


AI推理芯片不仅关注计算能力,还关注延迟,功耗和成本。


与AI训练芯片相比,AI推理芯片的需求更高,应用更广泛。


根据市场研究机构Tractica的数据,预计从2018年到2025年的7年中,AI推理芯片将增长10倍,到2025年将达到170亿美元。


实际上,无论是计算能力还是硬件要求,边缘推理芯片的设计都比云计算复杂。


在AI芯片市场的蓬勃发展阶段,做好云推理芯片并不容易,进入边缘芯片将更加困难。


但是高通已经尝试过了。


18个月,领先行业

高通公司在2019年4月宣布推出Cloud AI 100芯片,称其``旨在满足对云AI推理处理的快速增长的需求'',并``允许分布式智能从云传播到用户的边缘终端,因为以及云和边缘终端之间的所有节点。”


当时,市场上有些人并不乐观。一些观点认为,在2019年进入云AI芯片并赶上最先进的云AI推理芯片似乎为时已晚。


18个月后,ResNet-50上的Cloud AI 100芯片的测试结果出来了,引爆了工业中的一枚深度炸弹。


从图中,横轴为功耗(越小越好,图片右侧越小);垂直轴是吞吐量(越高越好)


即使是采用NVIDIA最新Ampere架构的A100芯片,其吞吐量也不足25,000,但其能耗却超过300W。


在功耗方面,英特尔的Goya可以低至100W,但吞吐量只能达到15,000左右。


相比之下,高通Cloud AI 100 PCie吞吐量超过25000,但仅需75W


这样的芯片性能听起来令人难以置信。


此外,这款75W芯片每秒可支持多达400万亿次(400TOPS)计算能力。


高通公司在云AI推理芯片上使用了哪种魔术?


让我们先来看一下内部结构


16种AI颜色(AIC)


支持INT8,INT16,FP16和FP32


4个64位内存控制器(LPDDR4×)


144MB片上SRAM缓存


换句话说,该通道的总系统带宽为134GB / s,但是144MB的片上SRAM缓存设计节省了芯片上尽可能多的内存流量。


此外,7nm工艺节点还有助于降低功耗。


而在上面,高通采用了三种不同的形式:


DM.2e,15W,超过50 TOPS


DM.2、25W,200 TOPS以上


PCle,75W,约400 TOPS


其中,DM.2从外观上看起来有点像两个相邻的M.2连接器。其中,M.2因其体积小和传输性能高而广受欢迎。


DM.2e是M.2双边缘的缩写,表示“两边缘M.2连接器”,它是一种较小且功耗较低的热密封外壳形状。


从DM.2e的芯片设计来看,高通的目标似乎并不局限于云。


“边缘”云芯片

实际上,从行业新闻来看,云的确不是高通的终结。


这次Cloud AI 100也将目光投向了更长期,更现实的定位前沿人工智能(Edgeai)


IDC国际数据公司半导体研究总监Michael J. Palma曾经说过:“人工智能的成功在于部署在边缘的系统。在边缘系统中,神经网络做出的即时决策实际上可以创造价值,而不会出现延迟和连接问题的约束,而这些问题对于云解决方案而言是一个挑战。”


根据市场研究公司MarketsandMarkets的数据,全球领先的人工智能软件市场将从2018年的3.56亿美元增长到2023年的11.52亿美元。


在2018年至2023年的预测期内,复合年增长率(CAGR)是26.5%。


在开始应用Cloud AI 100芯片的同时,高通还发布了相应的边缘人工智能开发套件-Cloud AI 100 Edge AI SDK


该工具包主要由以下三个模型组成:


Cloud AI 100芯片(低功耗,高性能AI芯片)


Snapdragon 865模块化平台(负责应用程序和视频处理)


Snapdragon X55调制解调器和射频系统(5G连接)


除了上述芯片中包含的5G和低能耗特性外,该工具箱目前还具有许多功能。


其中,它支持24个摄像头,以每秒25帧的速度同时拍摄分辨率为1920×1080的视频流和高清视频。


它不仅支持远程访问,可以升级无线下载软件,可以在室外部署,还可以在PyTorch,ONNX和Tensorflow上运行。


此外,此SDK还支持Keras,Caffe和PaddlePaddle等主流框架。


至于应用程序方向,包括新闻提要,广告,个性化视频,搜索,XR和游戏,可以说这是一个边缘应用程序场景,并且可以满足。


根据高通公司最近的公告,Cloud AI 100正在向全球一些客户发货,使用该产品的商业设备预计将于2021年上半年上市。


高通AI探索节点后回头看看结果

“高通公司在AI研究和开发方面拥有悠久的历史。”


高通公司人工智能和边缘计算高级总监约翰·凯里(John Kehrli)表示:“高通公司是第五代移动解决方案,拥有超过11年的研发经验。因此,高通公司正在利用行业专业知识(用于研发)。是AI的内核,它与移动技术不同,但是我们可以利用我们在该领域的经验。”


实际上,早在2007年,高通公司的子公司高通研究公司就启动了第一个人工智能项目,并于2018年成立了高通AI研究公司。


2015年,配备了第一代AI Engine(人工智能引擎)高通骁龙820发布了。第二年,高通发布了神经处理引擎SDK。


在Snapdragon 835、845和855发布之后,高通在2019年正式发布了第五代AI Engine Snapdragon 865移动平台。


高通公司的第五代AI引擎支持许多新旧移动应用程序,包括AI实时语音翻译,人像色彩保留,背景模糊,AI一键式多次拍摄,夜景拍摄和智能人像识别...


今年,高通也在AI轨道上飞速前进。


6月18日,高通推出了全球首个支持5G和AI的机器人平台RB5。


从那时起,Snapdragon 690 5G移动平台和Snapdragon 750G 5G移动平台已经推出,它们也支持第五代AI Engine。


9月初,Snapdragon 8cx的第二代5G计算平台发布,支持AI引擎。


同样在最近,Facebook发布的Oculus Quest 2首次配备了Snapdragon XR2平台。与上一代平台相比,Snapdragon XR2平台的AI处理能力提高了11倍,可以支持更多的感知算法。


9月中旬,高通公司的云推理芯片Cloud AI 100已交付。同时,高通已开始探索Cloud AI 100 Edge解决方案开发套件并已实际交付。


这是AI芯片行业和边缘人工智能领域迈出的新一步。


随着全球人工智能行业生态系统的逐步形成,人工智能已成为各种行业加速发展的助推器。


高通也不例外。从手机,PC,XR到机器人等,它正在各个领域迅速推动AI升级。


目前,高通公司的所有系统级芯片都支持AI或集成AI Engine。


对于AI芯片而言,就像产品的最终目标是着陆一样,这也是从“云”到“边缘”的必然趋势。


如果您专注于单个领域的利益发展,而不是从多个角度进行探索,那么在竞争日益激烈的行业中将很难生存。高通公司全方位投资的结果给了AI产业一个新的范例。


参考链接:
https://www.globenewswire.com/news-release/2019/01/23/1703961/0/zh/21-1-Billion-Data-Center-Accelerator-CPU-GPU-FPGA-ASIC-Market-2018- Global-Forecast-to-2023.html
https://www.embedded.com/qualcomm-preps-edge-ai-offering/


-完成-


Qubit QbitAI·头条签约


关注我们并获得尖端技术的最新发展


来源地址:http://www.qdks168.com/article_1720.html