过去五年中，生成式AI风靡市场，它能根据用户的prompt创建文本和动态视频等各种内容。现在，更有望为企业带来根本性转变的是Agentic AI。Agentic AI不仅仅是响应用户的prompt，还能通过推理、规划并执行多步骤操作来实现目标，而几乎无需人工干预。

Gartner公司预测，到2028年，至少15%的日常工作决策将由Agentic AI自主做出。Gartner还指出，到2027年底，企业将取消超过40%的Agentic AI项目。为什么Agentic AI如此重要，但是企业却在将AI融入运营上举步维艰？Gartner认为，其中最大的障碍是不断升级的成本和大规模部署AI智能体的复杂性。

为确保Agentic AI的成功落地，企业需要确保GPU与CPU的配比合理。“GPU闲置税”正成为用户扩展AI时日益关注的问题，它指的是GPU未被充分利用，且仍在产生费用的隐性成本。根据来自数万个集群的数据，Cast AI发布报告显示，GPU利用率仅为5%。GPU的闲置时间通常并非企业为节省资源而有意为之，而极可能是一种架构上的不平衡。英特尔与佐治亚理工学院在一项联合研究项目中发现，在智能体工作负载中，CPU上的工具处理占总延迟的50%到90%；GPU在等待CPU完成工作后才能处理下一批词元（token）的过程中处于闲置状态，这无形中增加了运营成本。

随着AI格局的持续转变和演进，企业需要CPU和GPU协同工作，并保持合理的配比，这将推动出色性能的实现，并避免为AI基础设施支付过高的费用。

生成式AI和Agentic AI在工作流如何与周围系统互动方面存在根本差异。生成式AI通常在相对孤立的基础设施中运行。它接收输入prompt，使用预训练模型进行处理，然后返回输出，通常无需与其他系统进行深入的实时集成。其工作流在很大程度上是自包含的，依赖于静态训练数据，并且最多只从精选知识库中进行有限的检索。

相比之下，Agentic AI可以为了实现目标而自主行动，这需要跨组织基础设施的多个组件进行持续通信。这些系统必须能够编排操作、查询实时数据库、与API交互、触发工作流，并根据不同服务反馈进行动态调整。因此，Agentic AI依赖于数据、工具和决策层相互连接、紧密集成和可互操作的环境，其工作流在本质上比生成式AI相对孤立的流程更为复杂和分散。

在过去五年的人工智能热潮中，GPU一直是算力核心。然而，GPU并非为处理定义智能体系统的多种行为而设计，例如检索实时网络数据、处理用于自动驾驶的摄像头和激光雷达等连续传感器流，或为完成任务而浏览电子商务平台等复杂界面。正是在这些方面，CPU发挥了关键的补充作用，实现了GPU所缺乏的通用计算、控制流和系统级协调能力。随着Agentic AI的发展，特别是在企业运营自动化方面，由CPU驱动的进程在编排更广泛的流程、协调工具、管理内存和状态以及与外部系统交互方面，正日益占据中心位置。

从工作负载角度来看，这一转变为CPU和GPU的利用率带来了更为微妙的平衡。传统的生成式AI流程大部分时间都在GPU上运行，而CPU仅处理相对轻量级的预处理和请求管理。相比之下，智能体工作负载由于要频繁实施工具调用、决策循环和I/O密集型操作，可能会将大部分，通常是主导性的执行时间花费在CPU上，而GPU的使用则发生在模型推理期间的较短爆发期。这种不平衡在服务环境中尤为突出，CPU的并行处理虽然灵活，但在扩展性上不及GPU，这意味着重度依赖工具的智能体工作负载可能会在GPU被充分利用之前，就使CPU资源使用达到饱和。为了保持高GPU利用率并避免瓶颈，Agentic AI系统需要拥有足够核心和线程的高性能CPU，以满足任务编排需求。在现代数据中心，合理配置GPU和CPU的数量至关重要，否则，缺乏足够CPU算力的设施会使昂贵的GPU资源闲置，从而降低系统性能和投资回报。

在题为《迈向理解、分析和优化Agentic AI执行：一个以CPU为中心的视角》的论文中，英特尔的研究人员与佐治亚理工学院的合作伙伴共同描述、分析了由Agentic AI工作负载带来的系统瓶颈，并特别强调了CPU在处理过程中的核心作用。

为此，研究人员在不同的硬件系统上进行了runtime特征分析，重点关注端到端延迟、批处理吞吐量和能耗分析，以隔离系统中的硬件瓶颈。该团队识别并测试了五种被广泛部署的Agentic AI工作负载，这些工作负载包括事实问答、编码和科学任务等广泛应用，并代表了多样的模型大小、编排模式和工具集成策略。下图展示了这五种工作负载分别在CPU和GPU上所花费的平均处理时间百分比。