高通公司出席ChinaJoy AIGC大会，展望终端侧生成式AI新终端新应用

2024年7月26日,中国国际数字娱乐产业大会(CDEC)旗下ChinaJoy AIGC大会于ChinaJoy期间在上海举行。大会从技术、应用等全生态角度共同探讨了AIGC技术下的内容产业新业态和未来发展趋势,聚焦AIGC如何助力产业升级、如何提升AIGC场景应用、如何促进人机融合等。

高通技术公司副总裁兼产品、合作伙伴和技术市场全球负责人 Mike Roberts 在大会上发表了主题演讲。他指出,终端侧生成式AI已经到来,高通公司作为终端侧AI的领导者,在AI领域有着超过15年的投入,借助强大的硬件和软件支持组合、异构计算优势、以及全球范围内的领先边缘侧布局,高通的产品和技术已支持出货超过25亿台AI赋能终端,赋能广泛的行业领域和生成式AI体验,正在推动实现“让智能计算无处不在”。

 以下为演讲全文:

大家好,很高兴第四次参加ChinaJoy。我很荣幸代表高通,与大家分享我们正在如何助力让智能计算无处不在。作为终端侧AI的领导者,高通在人工智能领域有着超过15年的投入,拥有行业领先硬件和软件解决方案覆盖广泛边缘终端,并且拥有跨NPU、CPU和GPU的卓越异构计算能力、领先的软件优化、以及能效。此外,我们还在全球范围内拥有无与伦比的边缘侧布局和高达数十亿的用户设备数量,覆盖智能手机、PC、汽车、XR、边缘网络设备等等。同时,我们也与微软、谷歌、百川、腾讯、字节跳动等众多生态合作伙伴共同推动AI技术的创新和应用。

生成式AI不仅是不可或缺的个人助手,也在众多领域展现出了巨大的商业价值。预计每年可带来2.6万亿到4.4万亿美元的经济效益,大约相当于2023年上海GDP的5倍。然而,推动生成式AI的规模化发展面临诸多挑战。以成本为例,基于生成式AI的搜索单次推理成本是传统网络搜索的约10倍。目前,我们还处于生成式AI应用的早期阶段,新的应用不断涌现,包括图像和视频创作、文本摘要、对话聊天机器人等。再考虑到未来需要使用AI推理的数十亿用户数,这个总体需求量就会非常惊人。预计2024年至2028年,生成式AI相关的token生成量将增长150 倍,云端的推理需求将超过训练需求。如果还保持当前的AI处理方式,到2030年AI可能会消耗全球3.5%的电力,这足以为上海这样的大城市供电约35年。

那么我们应如何应对这一挑战?为了实现规模化扩展,AI处理的重心正在向边缘侧转移,最终目标是实现混合AI,让云端和边缘侧终端能够协同处理工作负载,并使用高性能连接来实现更加强大、高效、优化的AI。如果将 20% 的生成式 AI 工作负载转移到终端侧,预计到 2028 年将节省 160 亿美元的计算资源成本。

让我们分别看看终端侧和云端的AI处理。终端侧主要支持100亿参数级别的大模型。终端侧AI处理具备众多优势,不仅能够提高性能和效率,还能确保隐私和安全性,同时提供即时性、低时延、高可靠性和个性化的用户体验。另一方面,中心云能够支持运行参数超过千亿级别的超大模型。在中心云上,用户可以轻松地对模型进行开发、部署和训练,实现资源聚合和极致性能。

基于此,面对各个垂直领域对生成式AI用例日益增长的需求,高通推出了面向计算性能的系统级解决方案。提供系统级解决方案的理念植根于高通公司的DNA之中,也是我们作为一家公司应对诸多挑战的关键。这一解决方案包括我们专为生成式AI全新打造的神经网络处理器(NPU),同时,我们还将NPU与CPU、GPU整合到一起。比如,我们已经在PC端推出的高通Oryon CPU,未来还将扩展到手机、汽车等更多终端品类;此外,我们推出了高通Adreno GPU,我们在这款定制化GPU上已经投入了超过十年的研发。

我们针对不同计算需求,策略性地使用适宜的处理器,从而提升系统性能,实现异构计算。异构计算让我们能够实现最佳应用性能、能效和电池续航。如今,终端侧AI已经广泛应用于各类消费终端和各行各业,包括边缘网络设备、汽车、以及制造车辆的工业机器人等。在此,我想重点谈谈两种主要的终端类型:智能手机和PC。

我们最新的第三代骁龙8旗舰移动平台已经赋能诸多手机厂商合作伙伴推出了丰富的终端侧AI体验。上个月,我们的合作伙伴微软以及其他领先PC厂商,推出了20多款搭载骁龙X Elite和骁龙X Plus平台的最新Windows 11 AI+ PC,这些设备已经实现了实时翻译、实时转译、AI照片编辑、文本总结、写作辅助等丰富的AI功能。

让我们先从智能手机的角度来谈谈这些终端侧AI用例。我们与合作伙伴携手在他们推出的旗舰智能手机上,为用户带来了生成式AI功能,将骁龙的AI能力直接呈现给消费者。三星Galaxy S24系列借助终端侧AI,以先进的实时翻译功能,将手机通话实时翻译成用户首选语言,打破语言障碍,促进无缝的跨文化交流。此外,OPPO Find X7 Ultra集成了出色的终端侧AI特性,让用户能够将照片中不需要的物体或人物消除,且无需连接互联网。荣耀Magic6系列的“智慧成片”功能则能够利用相册中的照片和文本提示生成视频。

接下来,让我们聊聊PC领域的应用。 在PC方面,我们与djay Pro等众多公司展开了合作。djay Pro是一款全球领先的混音应用,经过我们双方的合作优化,现在可以在骁龙X Elite的NPU上运行,让用户能够利用Neural Mix实时分离和操作人声、乐器、鼓等不同音轨。

现在,让我们将目光转向汽车制造商和其他服务提供商,他们可以根据需求提供特性升级和新服务。中国的汽车市场有着全球领先的发展速度。在网联汽车中使用生成式AI服务,能够赋能我们的合作伙伴打造全新特性,扩展他们的产品,并为驾驶员和乘客提供更佳体验。网联汽车能够支持各种软件定义特性和服务,也将重新定义出行体验。

高通还在引领终端侧AI在物联网领域的应用。一个具体的用例是工厂车间,工厂车间中数据处理的低时延至关重要,因为即使是最微小的错误也需要即刻关注。通过多模态AI助手,我们可以使用视觉、文本和语音处理为工厂车间的工人提供实时帮助。

我们还提供了高通AI软件栈这一全面的统一解决方案,以支持广泛的垂直领域和合作伙伴。高通AI软件栈旨在帮助开发人员优化和部署AI模型,它集成了我们自主的高通神经网络处理SDK、以及模型压缩和量化工具——高通AI模型增效工具包(AIMET)。

综上所述,凭借强大的硬件和软件支持组合,高通的产品和技术已支持超过25亿台AI赋能终端的出货。随着我们不断缩小云端和终端侧AI之间的差距,未来这一数字将继续快速增长。最后,非常欢迎大家来到ChinaJoy骁龙主题馆E4参观体验。谢谢大家!