2024腾讯云大数据年度干货合集-腾讯云

页码：1 / 223页码：2 / 223页码：3 / 223核心技术页码：4 / 223RAG+Agent：基于腾讯云 ES 与混元大模型构建专属 AI 助手01背景概述随着数据智能技术的不断发展，以大语言模型（LLM）驱动的 AIGC 为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分，但传统的内容生成技术存在信息更新不及时、垂直领域知识匮乏、模型幻觉等问题，如何推进大模 型 在 各 行 业 、 各 业 务 场 景 落 地 是 各 方 普 遍 关 注 的 问 题 ， 而 检 索 增 强 生 成(Retrieval-Augmented Generation，RAG)技术则为此提供了有效的解决方案，成为数据智能时代的一大趋势。RAG 是一种结合了检索和大语言模型内容生成的技术方案，它通过引用外部知识库，在用户输入 Query 时检索出知识，然后让模型基于可信的知识进行用户回答。RAG 具有较高的可解释性和定制能力，可大幅降低大语言模型的幻觉，适用于问答系统、文档生成、智能助手等多种自然语言处理任务中。本文将通过介绍腾讯云 ES 一站式 RAG 方案，演示如何通过结合腾讯云 ES 与混元大模型，快速构建 RAG 应用。页码：5 / 22302腾讯云 ES 一站式 RAG 方案腾讯云 ES 是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack，支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。在自研内核方面，腾讯云 ES依托腾讯内外部海量业务的运营经验，针对 ES 内核进行了成本、性能、稳定性、拓展性等方面的优化，是亚太地区开源贡献第一的团队，使用腾讯云 ES 您可以高效构建在线搜索、向量检索、日志分析、运维监控、智能问答等服务。在 RAG 方面，腾讯云 ES 支持了一站式向量检索、文本+向量混合搜索、倒数排序融合、与大模型集成、GPU 高性能推理、字段级别权限控制等能力，同时针对查询性能做了大量优化，有效的提升了数据检索效率。页码：6 / 223当然，作为国内公有云首个从自然语言处理、到向量生成/存储/检索、并与大模型集成的端到端一站式技术平台，腾讯云 ES 也作为核心参编单位参与了由信通院组织的 RAG 标准制定，同时成为首个通过 RAG 权威认证的企业。03AI 助手构建购买 ES 集群1、 登录腾讯云 ES 控制台：https://cloud.tencent.com/login?s_url=https%3A%2F%2Fconsole.cloud.tencent.com%2Fapi%2Fexplorer%3FProduct%3Dhunyuan%26Version%3D2023-09-01%26Action%3DChatCompletions （复制链接到浏览器打开）2、 点击「新建」页码：7 / 2233、产品类型选择为：通用版页码：8 / 2234、选择版本：计费模式为按量计费、ES 版本为 8.13.3、商业特性为白金版5、 ES 节点配置，测试环境可选择为 ES.S1(2 核 4G)，节点数为 2，磁盘为通用型 SSD，磁盘容量为 20GB6、 其余配置选择默认即可登录 Kibana页码：9 / 223访问 Kibana，设置公网访问策略页码：10 / 2233、 点击 Kibana 公网访问地址访问 Kibana部署 embedding 模型集群购买完成后，前往 Kibana 部署 Embedding 模型、创建知识库索引与向量化管道1、 开启「节点出站访问」，仅开启数据节点即可，如有专用主节点，仅开启专用主节点即可。（该功能为白名单，请联系工单处理）注：如需上传自定义模型或第三方平台（如 Huggingface）模型，可参考文档：https://github.com/elastic/eland（复制链接到浏览器打开）2、 登录 Kibana 之后，在左侧导航栏找到「Machine Learning」功能页码：11 / 2233、 进入模型管理页面，并找到类型为「text_embedding」的模型4、 如为未下载状态，选中模型，并点击「Add trained model」，本次演示我们使用「.multilingual-e5-small_linux-x86_64」模型页码：12 / 2235、 下载完成后，点击部署页码：13 / 2236、 为快速体验，配置使用默认值即可创建索引与向量化管道1、 点击进入「Dev tools」页码：14 / 2232、 创建知识库索引index-name 为索引名称，实际可按需命名页码：15 / 2233、 创建推理管道，该管道可用于写入数据时进行数据向量化页码：16 / 223上述管道，将字段「content、title」的内容，调用.multilingual-e5-small_linux-x86_64 模型向量化之后存储到新的字段中。写入知识库数据通过 Bulk API 批量写入数据，可将 title 、content 、url 的内容替换为您实际的知识库数据。页码：17 / 223调用混元大模型1、 python 文件命名为 hunyuan.py2、 安装相关库,参考如下，控制台链接：https://cloud.tencent.com/login?s_url=https%3A%2F%2Fconsole.cloud.tencent.com%2Fapi%2Fexplorer%3FProduct%3Dhunyuan%26Version%3D2023-09-01%26Action%3DChatCompletions （复制链接到浏览器打开）页码：18 / 2233、获取 SecretID、SecretKey，控制台链接：https://cloud.tencent.com/login?s_url=https%3A%2F%2Fconsole.cloud.tencent.com%2Fapi%2Fexplorer%3FProduct%3Dhunyuan%26Version%3D2023-09-01%26Action%3DChatCompletions （复制链接到浏览器打开）页码：19 / 223页码：20 / 223智能问答系统构建1、 安装 streamlit2、 获取 ES 访问地址用户名为 elastic、密码在创建集群时设置，用本地 mac 测试时，可开启公网访问，实际生产时，建议使用内网访问地址3、 运行如下代码（需与 hunyuan.py 在一个目录下）页码：21 / 223页码：22 / 223在上述 python 文件的目录下，使用如下命令运行系统：生成的界面如下：页码：23 / 22304总结本文通过介绍腾讯云 ES 一站式 RAG 方案，演示如何通过结合腾讯云 ES 与混元大模型，快速构建 RAG 应用。腾讯云 ES 凭借其在传统 PB 级日志和海量搜索场景中积累的丰富经验，通过深度重构底层系统，成功地将多年的性能优化、索引构建和运营管理经验应用于 RAG 领域，并积极探索向量召回与传统搜索技术的融合之道，旨在充分发挥两者的优势，为用户