2024思科AI就绪数据中心白皮书-Cisco

- 思科 AI 就绪数据中心 白皮书 2 - 目录 2024 思科人工智能就绪指数报告 ________________________________ 3 企业部署 AI 的压力 ______________________________________________ 4 企业部署 AI 的挑战 ______________________________________________ 5 面向企业的 AI 就绪数据中心解决方案 _____________________________ 7 AI 功能区 ______________________________________________________ 7 存储功能区 ____________________________________________________ 8 业务应用功能区 _________________________________________________ 8 面向人工智能服务提供商的 AI 就绪数据中心解决方案 ________________ 10 思科千卡 GPU AI 网络典型架构 ____________________________________ 12 思科万卡 GPU AI 网络典型架构 ____________________________________ 12 思科路由光网络：构建十万卡 AI 数据中心互联网络架构 __________________ 13 行业参考案例 ______________________________________________ 15 制造参考案例 __________________________________________________ 15 金融参考案例 __________________________________________________ 16 教育参考案例 __________________________________________________ 17 社交电商参考案例 ______________________________________________ 19 智能驾驶参考案例 ______________________________________________ 20 大模型服务商参考案例 ___________________________________________ 22 3 - 思科 AI 就绪数据中心 2024 思科人工智能就绪指数报告 人工智能在过去几年一直是业界主导的主题。它越来越多地出现在战略更新、收益表和几乎所有利益相关方的沟通交流中。以目前的大规模影响水平，人工智能很可能在技术颠覆的程度上超越了云甚至互联网。但是，随着企业对人工智能的了解越来越多，他们开始意识到在如何采用、部署和充分利用其功能等方面并没有像想象的那样做好准备。 2024 思科人工智能就绪指数报告是用于衡量企业的人工智能就绪情况，包括六大支柱：战略、基础设施、数据、监管、人才和文化。根据企业就绪分数，将企业分为四个级别：标兵（充分准备）、追逐者（准备充分）、关注者（准备有限）和落后者（毫无准备）。根据指数采访的数据显示，多数企业领导者认为他们在实现人工智能的战略目标方面进展不够理想。企业将大量资金用于人工智能，50%的受访者表示，他们当前的 IT 预算中有 70%专用于人工智能。在我们的调查中，许多受访者坦言，他们的人工智能投资尚未达到预期效果。近 50%的受访者表示，取得的成果低于预期。 4 - 调查结果表明，虽然企业渴望采用人工智能，但是仍然面临部署的压力和挑战。 企业部署 AI 的压力 。 • 几乎所有公司（98%）都感到过去一年中部署 AI 的紧迫性增加。 • 50%的公司表示，这种紧迫感主要来源于 CEO 和领导团队的推动，高于其他因素。 • 85%的公司认为，他们只有 18 个月的时间来展示 AI 的影响，否则将面临失去竞争优势的风险。超过一半（59%）的公司认为只有 12 个月。 • 然而目前只有 13%的公司完全准备好抓住 AI 的潜力，比一年前的 14%有所下降。 • 鉴于市场的快速演变以及 AI 预计对企业产生的重大影响，紧迫性和能力之间的差距尤其令人震惊。 5 - 企业部署 AI 的挑战 • 网络不能满足 AI 的工作负载的要求： o 基础设施就绪程度在计算、数据中心网络性能、网络安全等方面准备不足 o 93%的公司预测，随着 AI 技术的部署，基础设施工作负载将增加 6 - • 企业在基础设施准备方面的能力： o 缺乏具备构建、扩展和维护所需 IT 基础设施技能的专业人才 o 获取所需技术和解决方案的交付周期较长 • 企业在防范恶意行为者攻击 AI 应用的风险： o AI 工作负载带来的网络安全风险 o AI 和攻击技术在不断进化，企业可能难以及时识别新型攻击手段 针对企业在部署人工智能过程中面临的多重挑战，思科提供了 AI 就绪型数据中心解决方案，旨在助力不同行业的客户应对复杂需求。 针对不同行业的特殊需求，思科 AI 就绪数据中心方案提供高度定制化的架构设计，支持从模型训练到推理的全流程优化。无论是制造，金融，汽车等企业级客户，还是大语言模型提供商或 AI 算力服务商，思科都能提供精准匹配的技术支持。企业不仅能够快速实现 AI 业务落地，还能以更低的风险和成本加速数字化转型。 参考资料： 1. Cisco 2024 AI Readiness Index https://www.cisco.com/c/m/en_us/solutions/ai/readiness-index.html 7 - 思科 AI 就绪数据中心 面向企业的 AI 就绪数据中心解决方案 生成式 AI 正以惊人的速度发展，2024 年全球生成式 AI 市场预计达到 435 亿美元，同比增长约 79%，其应用覆盖医疗、金融、营销等多个行业，成为推动数字化转型的重要引擎。 但 AI、特别是生成式 AI 的投资比较大（8 卡机 200-300 万元，千卡集群光算力就要 2-3 亿元），在没有明确的行业 AI 杀手级应用出现之前，大部分企业的 CxO 一方面因为巨大投入和成本效益的落差而对 AI 持审慎态度，另一方面又担心在 AI 方面的迟疑会导致落后于其他竞争对手。 在这两个方面因素的驱动下，一种新型的数据中心——AI 就绪的数据中心（AI-Ready DC）应运而生。首先从架构来看，它包括了三个功能区：AI 功能区，存储功能区和业务应用功能区。 AI 功能区 • 企业组织的更注重 AI 算力的投资回报率，因而趋向更加小型化和集约化 • 小参数规模、高知识密度的蒸馏模型取得了长足进步，再加上企业通过增强检索生成技术（RAG）挂接本地知识库，能产生出与超大模型近似的优质输出效果，也为这种小型集约化的 AI 架构创造了技术条件 • 小型集约化架构可以与现有