如何让一台普通PC欢快地跑起AIGC

发布时间：2023-12-14 11:51:08 所属栏目：数码来源：DaWei

导读： 很多人都在欢呼AI时代的到来，但其实AI这个概念早在20世纪50年代就诞生了，而且一直都在高速发展和演化，并不是什么新鲜事物。

只不过，几十年来，AI一直都基本停留在专业领域或者特定行

很多人都在欢呼AI时代的到来，但其实AI这个概念早在20世纪50年代就诞生了，而且一直都在高速发展和演化，并不是什么新鲜事物。

只不过，几十年来，AI一直都基本停留在专业领域或者特定行业，距离普通用户比较遥远，一般人很难真切感受到AI的力量。

近日，Intel举办了一场年度技术创新大会，AI自然是关键词中的关键词，“AI Everywhere”不仅体现在整个大会上，也体现在Intel的全线产品和解决方案中，这个话题我们之前也从不同角度探讨过很多次。

正如刚才所说，AI无处不在，从产品到技术再到应用都有截然不同的丰富场景，普通用户能够最直接感受到的当属AIGC，包括文生文、文生图、图生图、文生视频、图生视频等等。

我们知道，在过去，AIGC更多在云侧服务器上，虽然性能、模型、算法都不是问题，但一则需要大量的资金投入，二则存在延迟、隐私等方面的不足。

当然这些现在还处于起步阶段，目前的优化主要针对CPU处理器，下一步会充分发挥GPU核显的性能潜力，而代号Meteor Lake的下一代酷睿Ultra除了有更强的CPU、GPU算力，还会首次集成NPU单元，一个专用的AI加速器，峰值算力超过11TOPS，三者结合可以达到更好的效果。

基于这个框架，使用i9-12900K处理器，只开启4个核心来运行ChatGLM2 60亿参数模型，生成效果就是相当迅速的，而打开全部8个P核、8个E核，效果更是堪称飞快，输出性能达到了每个Token 47毫秒左右，已经不弱于很多云侧计算。

换到Arc GPU显卡上，Intel硬件跑端侧AI同样神速，甚至更快，无论是ChatGLM2 60亿参数，还是LLaMA2 130亿参数、StarCoder 155亿参数，都是如此，ChatGLM2模型中甚至可以缩短到20毫秒以下。

当然，以上说的大模型可能距离普通人还有些远，而任何一项技术要想大范围普及，关键还是颠覆用户的切身工作、生活、娱乐体验，AI当然也不例外。

比如文档处理，包括中心思想提炼、语法错误纠正等等，PC侧不仅可以很好地运行，还有利于保护个人隐私和数据安全。

使用Arc A730M这样的笔记本独立显卡，就可以在几秒钟内完成高质量的文生图、图生图、图像风格转换等，从而极大地节省工作量，将更多精力放在创意上。

这足以证明，一台普通的笔记本在端侧运行大模型，使用普通独显甚至集显，依然可以获得足够快的响应速度和良好的体验，当然这也得益于Intel的专项优化。

目前主流内存容量还是16GB，哪怕明后年普及32GB，可以承受的模型参数量也是有限的(130亿以下)，这就需要进行低比特处理，比如FP16转成INT4，还好在大语言模型中的问题回答质量只会有个位数的稍许下降，而在Diffusion模型中参数又不是很大，可以继续跑FP16精度。

事实上，AI研究虽然已经取得相当丰富的成果，未来必然影响每个行业、每个人，但AI依然处在早期阶段，广泛的AI工作负载涉及到多种的模型规模、模型类型、整体基础技术的复杂性，还要面临云侧、端侧、混合等不同条件的适应性，这些都要继续探索和优化。

相信随着像Intel这样有实力的大企业不断在AI应用上取得突破，尤其是将越来越多的AIGC应用带到端侧，随着更多人开始体会到人工智能所拥有的神奇魔力，它被期待能够更广泛以及更详细地渗透进我们的职业与生活中去，最后成功地转变为一种日常生活当中必定需要掌握的技术或者工具之一，同时也能够在不知道的情况下享受到 AI 所带来的一系列方便好处。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!