深度解读DeepSeek:部署、使用、安全

深度解读DeepSeek:部署、使用、安全天津大学自然语言处理实验室The Natural Language Processing Laboratory at Tianjin University石 玲 吴俊茹 金任任 杨 磊 熊德意TJUNLP 天津大学https://tjunlp-lab.github.io伏羲传语DeepSeek本地化部署0102DeepSeek使用方法与技巧03DeepSeek安全报告目录DeepSeek:部署与使用需安全、高效、可扩展一、官方网页版/调用官方API部署通过官方生成的API密钥,调用官方接口根据输入生成对应的输出,集成至控制台。部署条件:无需本地服务器,仅需互联网连接二、开源版本下载至本地部署准备相应软硬件设备,下载DeepSeek开源模型权重文件至专用服务器,根据需求从本地调用。部署条件:搭载高端智算芯片的服务器调用官方API部署本地部署数据安全性依赖传输加密,数据会泄露至API提供方数据全程内网闭环定制化能力仅支持修改模型的解码参数可通过私有数据微调模型、开发定制插件成本结构按调用量付费(适合低频场景)部署服务器的使用和维护成本维护复杂度无需运维需专职团队维护相应的软硬件设备稳定性会受官方服务器繁忙、网络延迟等影响主要取决于本地部署相关硬件稳定性DeepSeek:部署与使用需安全、高效、可扩展API调用流程•注册账号并获取 API Key:进入 API 开放平台,创建 API Key 并记录下生成的 Key。•配置 API 调用环境:确保设备的联网状态,安装必要的开发工具环境如Python+openai SDK。•设置相关参数调用API接口,python脚本如下所示。样例为非流式输出,可以将 stream 设置为 true 来使用流式输出。注意事项•请勿泄露API Key给他人 ,避免被滥用。•注意 API 的调用频率和用量限制。•确保网络连接稳定,避免因网络问题导致调用失败。DeepSeek:部署与使用需安全、高效、可扩展本地部署流程 (DeepSeek-R1全量版)•从https://huggingface.co/deepseek-ai/DeepSeek-R1下载模型权重文件•安装模型部署相关的依赖包(以vllm为例)•实际部署(以两台分别搭载了8卡H100 GPU的服务器为例)启动Ray的脚本1. 在两台服务器分别运行该脚本启动Ray,其中master节点在运行该脚本时需要添加--head参数启动vllm的脚本2. 在master节点启动vllm部署模型DeepSeek:部署与使用需安全、高效、可扩展本地部署流程 (DeepSeek-R1蒸馏版)•从https://huggingface.co/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d下载对应的模型权重文件•安装模型部署相关的依赖包(以vllm为例)•实际部署模型建议显卡数量 (A100/H100)DeepSeek-R1-Distill-Qwen-1.5B≥ 1DeepSeek-R1-Distill-Qwen-7B≥ 1DeepSeek-R1-Distill-Llama-8B≥ 1DeepSeek-R1-Distill-Qwen-14B≥ 1DeepSeek-R1-Distill-Qwen-32B≥ 2DeepSeek-R1-Distill-Llama-70B≥ 4注意事项•硬件兼容性:确保 GPU 和驱动程序支持 CUDA。•模型文件较大,需确保有足够的存储空间。•下载模型时需要稳定的网络连接。•本地部署时,注意数据的保密性和模型的安全性,避免未经授权的访问。DeepSeek:部署与使用需安全、高效、可扩展本地部署流程 (DeepSeek-R1量化版)•下载量化版模型,例如 https://huggingface.co/unsloth/DeepSeek-R1-GGUF•构建模型部署相关框架(建议使用量化友好框架 Llama.cpp 或 Ollama)•实际部署: Llama.cpp 或 Ollama 支持仅 CPU 部署,使用 GPU 用于推理加速,并随着 GPU 数量增多速度越快使用 Llama.cpp 框架部署模型命令,在 llama.cpp 文件下执行使用 Llama.cpp 框架部署后模型调用示例DeepSeek:部署与使用需安全、高效、可扩展模型UI界面搭建框架(可选)1. 完成度高的框架Open WebUI: https://github.com/open-webui/open-webuinextjs-ollama-llm-ui: https://github.com/jakobhoeg/nextjs-ollama-llm-uiLM Studio: https://lmstudio.ai/2. 可提供调用的库基于Gradio的webUI: https://gradio.app/quickstart/Text Generation WebUI: https://github.com/oobabooga/text-generation-webui3. 多端设备适配开发React语言、ios端的swift等DeepSeek本地化部署0102DeepSeek使用方法与技巧03DeepSeek安全报告目录DeepSeek:十大提示词关键原则,精准引导模型输出1. 明确任务目标:在提示词中清晰地描述任务类型和预期目标,避免模糊和冗长的描述。示例(理财计划)背景:某用户月收入1万元,计划每月存2000元,希望5年内购房。任务:根据当前银行利率和房价趋势,制定一份理财计划。示例(反诈话术分析)角色:你是一名资深反诈民警,擅长识别电信诈骗话术套路。任务:分析以下通话记录,识别诈骗话术并生成预警输入:{通话文本} 输出:{诈骗类型(如“冒充公检法”)、关键词列表、预警建议} 2. 提供上下文和背景信息:为AI提供必要的背景信息,帮助其更好地理解任务场景。3.设定角色:通过角色扮演的方式引导AI以特定视角完成任务。示例(练习题设计)设计一份适合小学三年级的数学练习题,涵盖加减乘除四则运算。 要求10道题目,难度梯度递增,包含2道应用题。示例(食谱设计)生成一份糖尿病患者日常饮食建议清单。 要求包含早餐、午餐、晚餐各3种推荐食谱,标注卡路里和含糖量。示例(提分方案)背景:某高中班级有30名学生,英语成绩普遍较差,尤其是听力部分。任务:设计一套为期2个月的听力提升方案。示例(代码优化)你是一名经验丰富的资深软件工程师,擅长优化代码,提高性能、可读性和可维护性。请对以下代码进行优化,确保代码高效、简洁、易读,同时避免不必要的计算和冗余逻辑。如果可能,提供更优的算法或数据结构,并说明优化的理由。代码:DeepSeek:十大提示词关键原则,精准引导模型输出示例(案情推理)输出格式:- 时间线:{事件1 → 事件2 → 事件3} - 嫌疑人画像:{性别、年龄、职业推测} - 作案动机:{经济/报复/其他} - 证据链完整性:{完整/部分缺失} 5. 分步骤说明:对于复杂任务,将需求分解为多个步骤。4. 规范输出格式:明确指

立即下载
信息科技
2025-03-04
天津大学
48页
10.94M
收藏
分享

[天津大学]:深度解读DeepSeek:部署、使用、安全,点击即可下载。报告格式为PDF,大小10.94M,页数48页,欢迎下载。

本报告共48页,只提供前10页预览,清晰完整版报告请下载后查看,喜欢就下载吧!
立即下载
本报告共48页,只提供前10页预览,清晰完整版报告请下载后查看,喜欢就下载吧!
立即下载
水滴研报所有报告均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
相关图表
顺络电子毛利率、净利率变化情况图6:顺络电子费用率变化情况
信息科技
2025-03-04
来源:营收连续三个季度创历史新高,汽车敞口快速提升
查看原文
顺络电子归母净利润及增速(单位:亿元、%)图4:顺络电子单季归母净利润及增速(单位:亿元、%)
信息科技
2025-03-04
来源:营收连续三个季度创历史新高,汽车敞口快速提升
查看原文
顺络电子营业收入及增速(单位:亿元、%)图2:顺络电子单季营业收入及增速(单位:亿元、%)
信息科技
2025-03-04
来源:营收连续三个季度创历史新高,汽车敞口快速提升
查看原文
HGX B200 无散热片主板 图 4:B300 OAM 和 UBB
信息科技
2025-03-03
来源:电子行业专题研究:CPU-GPU接口技术迭代,B300开创新蓝海
查看原文
OAM 模组方案 图 2:Socket 方案示例
信息科技
2025-03-03
来源:电子行业专题研究:CPU-GPU接口技术迭代,B300开创新蓝海
查看原文
连接器厂商 socket 进展
信息科技
2025-03-03
来源:电子行业专题研究:CPU-GPU接口技术迭代,B300开创新蓝海
查看原文
回顶部
报告群
公众号
小程序
在线客服
收起