← 返回目录AI 推理一体机方案

AI 推理一体机方案

本方案面向上市公司与中大型企业,提供本地部署 480B 级大模型的 AI 推理一体机:硬件只是载体,交付的是已经接好企业知识、装好岗位 Agent、可以直接上岗的“AI 生产力单元”。内容包括商业模式、主力模型与机型、价格与单台预算、分阶段商业计划、采购渠道与供应商、与二手服务器合作方的合作方式,以及自研心智系统(前额叶系统、语义记忆、团队 Agent 模式)。

一、定位:卖生产力,不卖机器

要点 内容
价值在场景,不在模型 各家大模型的算法大同小异,差别在数据与微调。我们不做基础模型,用通义千问、DeepSeek 等开源模型,把企业自己的资料、流程和经验装进去,让算力变成岗位产出
用得起最强的开源模型 30B 级小模型只能做简单问答,撑不起企业级的分析、写作、编程与多步骤任务。主力配置直接上 480B 级模型,效果接近商用云端大模型,数据不出企业内网
价格锚定创造的价值 同样一台机器,有人用来打游戏,有人用来做投研。报价对标的是它替代的人工、缩短的周期与新增的业务,而不是硬件成本
我们是“搬运工”与整合者 硬件来自品牌厂商,模型来自开源社区;我们的价值是选型、调优、接入业务和持续运营。对客户如实说明硬件来源,不把整合包装成自研硬件

二、商业模式

2.1 交付内容

一台一体机交付时包含四层:

  1. 硬件:多卡推理服务器或高内存工作站,按使用人数选档(见第三部分)。
  2. 模型:480B 级开源大模型本地部署,完成量化、多卡并行与推理加速;同一台机器上另配小模型负责检索、向量化与任务分派。
  3. 心智系统与场景包:我方自研的心智系统(见第九部分),由前额叶系统、语义记忆和团队 Agent 模式组成,以开源 Hermes Agent 为基础框架;首批场景包括知识库问答、销售外脑、合同与制度审查、财务分析、代码与数据处理、内训陪练等,首次交付含 2–3 个场景。
  4. 服务:上门部署、员工培训、知识库首次整理,以及之后每年的模型更新、知识库维护、新 Agent 上架与远程运维。

2.2 收入结构

收入项 收费方式 说明
硬件 客户通过三方合同直接向硬件渠道采购;少数要求一个合同打包的客户由我方过账,加价 5% 覆盖资金占用 硬件单价几十万元,不经我方账户可避免大额垫资;内存与显卡价格波动大,报价有效期 15 天
部署与场景实施费 一次性,按档位与场景数计价 首单主要利润来源
年度服务费 按台按年,首年含在套餐内,第二年起收取 模型更新、知识库维护、远程运维、故障响应
加购 Agent 按个计价,一次性实施 + 计入年度服务 客户用顺后逐步扩展场景,是三年利润的主要增量
价值分成(可选) 按约定指标分成 适用于效果可量化的场景,如销售线索转化、催收回款

2.3 客户为什么会长期续约

客户的粘性来自使用中不断沉淀的东西,而不是锁住数据:

合同中写明数据归客户所有、可随时导出。这一条在销售时能打消客户顾虑,留住客户靠的是服务质量与不断上新的场景。

2.4 合规要点

三、主力模型与机型

3.1 主力模型

主力模型为通义千问 Qwen3-Coder-480B-A35B:总参数 4,800 亿,采用混合专家结构,每次调用约 350 亿参数参与计算,因此推理速度远快于同等规模的稠密模型;采用 Apache 2.0 许可,可以免费商用。

这个模型在编程、数据处理与多步骤智能体任务上最强。以通用问答、公文写作为主的客户,可以在同一台硬件上换用同级的通义千问通用模型(约 400B 级),具体版本以官方模型卡为准。

精度 显存需求 效果 适合档位
4 位量化 约 270–290GB 效果损失小,日常使用难以察觉 个人与演示版、标准版
8 位 约 480GB 以上,另需上下文缓存空间 接近原版效果 旗舰版

3.2 机型分档

价格为 2026 年 10 月国内市场参考价。受服务器内存与显卡涨价影响,报价按到货价调整。

档位 硬件配置 总显存 运行方式 同时使用人数 硬件参考价
个人与演示版 Apple Mac Studio M5 Ultra,512GB 统一内存 512GB 480B 4 位量化 1–3 人 约 10–12 万元(国行价格待公布)
标准版(民营企业主力) 4U 服务器 + 4 × RTX PRO 6000D 84GB,双路 CPU,512GB 内存 336GB 480B 4 位量化 20–40 人 约 42–46 万元(须询价)
旗舰版 8 卡服务器 + 8 × RTX PRO 6000D 84GB 672GB 480B 8 位 50–150 人 约 80–90 万元(须询价)
国产版(政企主力) 昇腾 8 卡推理服务器(华为 Atlas 800I A2/A3 或昇腾整机厂商同类产品) 按配置 480B 量化部署 按实测 约 100 万元以上(须询价)

选型说明:

四、套餐价格

档位 硬件(参考价) 部署与场景实施 套餐价 含场景 年度服务费(第二年起)
个人与演示版 约 10 万元 3 万元 约 13 万元 1 个 1.5 万元/年
标准版 约 44 万元 15 万元 约 59 万元 3 个 9 万元/年
旗舰版 约 85 万元 25 万元 约 110 万元 5 个 16 万元/年
国产版 约 100 万元(询价) 30 万元 约 130 万元 5 个 18 万元/年
加购 Agent — 5 万元/个 — — 计入年度服务费

付款节奏:签约预付 50%,到货安装 40%,验收 10%。硬件以销定采,不备库存。

五、单台预算与利润(标准版,三年)

按续约率 80%、每台每年加购 0.25 个 Agent 测算。硬件由客户直接采购,不计入下表。

项目 金额(万元) 说明
部署与场景实施费 15.00 3 个场景
第二、三年服务费 12.96 9 万元/年,按续约率折算
加购 Agent 3.05 三年合计约 0.6 个,每个 5 万元
三年服务收入合计 31.01
部署实施人工 3.75 25 人天,每人天约 0.15 万元
渠道佣金 2.17 三成客户经合作伙伴成交,伙伴获得实施与加购收入的 40%
服务直接成本与运维人工 4.07 上门、备件周转、远程工具,以及运维人员分摊
加购 Agent 交付 0.73 每个 8 人天
三年成本合计 10.72
三年毛利 20.29 三年服务毛利率约 65%

要点:

六、商业计划

6.1 三个阶段

阶段 时间 目标 关键动作
样板期 2026 年 11 月 – 2027 年 1 月 签约 3 家样板客户,打磨 3 个标准场景包 借上市公司 Agent Demo 与双方现有客户切入;用个人与演示版样机上门演示,标准版样机放在办公室供客户试用
复制期 2027 年 2 月 – 10 月 第一年累计 12 台;发展 2–3 家行业合作伙伴 场景包标准化,标准版实施压到 25 人天以内;合作伙伴负责引荐与一线服务,我方负责部署与 Agent
规模期 2027 年 11 月起 第二年新增 30 台,第三年新增 50 台 按行业推出垂直场景包(制造、贸易、医疗器械、律所与会计所、金融机构等);推出国产版与托管租用方案

6.2 三年测算(基准情景)

档位组合为个人与演示版 25%、标准版 55%、旗舰版 15%、国产版 5%;续约率 80%,每台每年加购 0.25 个 Agent;八成硬件由客户直接采购。

项目(万元) 第一年 第二年 第三年
新增台数 12 30 50
期末在用台数 12 40 82
部署与场景实施费 171 428 713
加购 Agent 15 50 102
年度服务费(续费) 0 83 273
服务类收入合计 186 560 1,088
我方过账硬件 112 280 467
团队人数 8 16 26
净利润 −141 −26 96
累计现金流 −210 −284 −261
期末年度续费规模 83 273 564

第一、二年亏损,第三年净利润转正。第四、五年净利润分别约 273 万元、463 万元,第五年末年度续费规模约 1,368 万元。

6.3 启动资金

累计现金流最低约 −284 万元,再加第一年 3 个月固定开支作为储备,建议启动资金约 347 万元,分两期到位:

期次 金额(万元) 时点 用途
第一期 约 270 启动时 第一年团队 8 人、样机两台(标准版与个人版,共 55 万元)、心智系统封装(30 万元)、市场与样板客户
第二期 约 80 第二年初 第二年人员扩张与应收账款占用

如果全部硬件都由我方过账且不加价,资金需求会升到约 508 万元,因此三方合同是默认采购方式。销量只有基准的 60% 时,资金需求升到约 577 万元,第二期资金应以复制期的签约台数和续约率达标为前提。

七、采购渠道与供应商

只列机构层面的信息。型号与价格以厂商书面报价为准;标“待核实”的,须先确认授权与资质再采购。

7.1 标准版与旗舰版:英伟达方案整机与板卡

厂商 所在地 上市情况 相关产品 在本项目中的角色 合作方式
联想 北京 港股 0992 ThinkSystem SR675i V3(8 卡 RTX PRO 服务器);国内问天系列 GPU 服务器 供货,也是一体机竞品 联想直采或授权经销商;确认国行是否改配 6000D
慧与(HPE) 美国 美股 HPE ProLiant Compute DL380a Gen12(4U,最多 8 张双宽卡) 供货 国内授权经销商
超微(Supermicro) 美国 美股 SMCI SYS-422GL-NR(8 卡 RTX PRO 服务器) 供货 国内代理商(名单待核实)
戴尔 美国 美股 DELL 英伟达 RTX PRO 服务器合作厂商,具体 8 卡型号待核实 供货 戴尔中国经销商
映众(Inno3D) 香港、深圳 待核实 AGS-6220V2(6U,8 卡 RTX PRO 服务器,2026 年 10 月发布);是否有 6000D 版本待核实 供货 渠道采购
浪潮信息(元脑) 济南 A 股 000977 NF5468M7 等多卡推理服务器;未见 6000D 官方配置 供货,也是一体机竞品 直采或元脑渠道商
新华三 杭州 母公司紫光股份 000938 UniServer R5300 G6 等;未见 6000D 官方配置 供货,也是一体机竞品 经销商
超聚变 郑州 未上市 FusionServer G6500 V8 等 AI 服务器;未见 RTX PRO 机型 供货 直采或经销商
丽台(Leadtek) 台湾 台股 2465 英伟达授权板卡厂,产品含 RTX PRO 系列 板卡供货 通过其大陆代理采购(名单待核实)

注:英伟达公布的 RTX PRO 服务器合作厂商名单中没有中国大陆厂商;国内 6000D 整机目前多为渠道商组装。建议由整机厂或英伟达授权总代供货,签“供货方—我方—客户”三方合同,写明采购的是 6000D、原厂质保与合规来源证明。

7.2 国产版:昇腾整机

厂商 所在地 上市情况 相关产品 在本项目中的角色 合作方式
华为 深圳 未上市 Atlas 800I A2(4U,8 颗昇腾);Atlas 800I A3(可组超节点);FusionCube A3000 一体机 供货,也是一体机竞品 经华为总代或分销商
华鲲振宇 成都 未上市,四川长虹间接持股 昇腾整机,具体推理型号待核实 供货 直采
神州鲲泰 北京 母公司神州数码 000034 KunTai A722 推理服务器 供货,也是竞品 直采或经销商
长江计算 武汉 未上市 G440K V2 昇腾推理服务器 供货 直采
湘江鲲鹏 长沙 母公司拓维信息 002261 兆瀚 RA2302-B 推理服务器 供货 直采

海光路线:中科曙光(603019)与海光信息(688041)已完成 DeepSeek 在海光 DCU 上的适配,可作为昇腾之外的第二国产方案,具体型号待核实。

7.3 个人与演示版:苹果渠道

渠道 说明
Apple 中国官网商务选购 企业可直接下单并开具发票
Apple 优质商务合作商 苹果官网按城市列出名录,可提供企业采购、开票与上门服务

7.4 大模型一体机品牌:可能的供货方,也是竞品

厂商 上市情况 一体机产品 关系
浪潮信息 A 股 000977 元脑企智 DeepSeek 一体机 竞品为主,可作硬件来源
华为 未上市 FusionCube A3000 训推超融合一体机 竞品,同时是国产版硬件来源
新华三 母公司 000938 灵犀 Cube 大模型一体机(覆盖 14B–671B) 竞品
联想 港股 0992 智能体一体机(基于 ThinkStation 工作站) 竞品
中科曙光 A 股 603019 超融合一体机,支持贴牌 可做贴牌供货
京东云 母公司京东 9618.HK DeepSeek 大模型一体机(支持多种国产芯片) 竞品
青云科技 A 股 688316 基石智算 DeepSeek 一体机 竞品

我方和这些品牌的区别不在硬件,而在自研心智系统(前额叶系统、语义记忆、团队 Agent 模式)、场景包与持续服务;它们卖的是机器加通用模型,我方卖的是已经接好企业知识、装好岗位 Agent 的生产力单元。

7.5 算力租赁与托管(托管租用合作对象)

厂商 上市情况 业务
协创数据 A 股 300857 算力租赁
润泽科技 A 股 300442 智算中心
宏景科技 A 股 301396 第三方算力租赁
首都在线 A 股 300846 智算云

国内二手 GPU 服务器回收商本次没有找到可公开核实的机构,接触前按经营范围、检测场地与质保能力逐家核验。

八、二手服务器合作方式

8.1 480B 配置下二手机器的定位变化

主力模型改为 480B 后,单台至少需要约 300GB 显存,二手机器的价格优势基本消失:

因此二手服务器不再作为交付给客户的经济版,合作重点转向下面四种方式。只有二手 A100 80GB 单卡价格降到 5 万元以下时,才值得重新评估。

8.2 四种合作方式

方式 合作方负责 我方负责 客户得到 结算
一、托管租用 在自有机房放置 480B 专属整机(单台专属,不与他人共用),负责机房与硬件运维 Agent 部署、知识库、远程服务 不用一次性投入几十万元,按月付费即可用上 480B 客户按月付费;硬件租金归合作方,服务费归我方,按月对账
二、以旧换新 回收客户的旧服务器与旧显卡并估价 新机部署与数据迁移 旧设备折抵新机款 估价款直接抵扣客户的硬件采购款
三、联合销售 用自有客户与销售网络推荐我方方案 部署、Agent 与年度服务 合作方的客户买到可直接上岗的一体机 合作方按单获得实施费的约定比例
四、测试与开发环境 提供二手服务器整机或拆机内存、硬盘 用于内部开发、测试与培训,不交付给客户 — 我方按台采购,降低研发设备投入

建议顺序:托管租用最先谈,它让预算有限的中型企业也能用上 480B,是对“几十万元一台”门槛的直接补充;以旧换新作为大客户的促成手段;联合销售用于借合作方的客户资源放量。

8.3 二手机器的选型红线

要求 内容
用途 交付给客户的机器一律用新机;二手机器只用于托管租用中合作方自有的机器,或我方内部测试
来源 只收境内合法流通、有增值税发票的机器;不接受走私或违规进口的旧机电设备
数据 合作方出具硬盘数据擦除记录,或直接更换新硬盘
检测 投入使用前 72 小时满载压力测试,逐卡检测显存,提供检测报告
质保 托管租用的硬件由合作方负责质保与备件,故障响应时间写进三方合同

九、软件方案:自研心智系统

9.1 三项自研核心

一体机的软件核心是我方自研的心智系统,由三部分组成:前额叶系统、语义记忆和团队 Agent 模式。开源框架与一体机厂商的产品,多数停留在“一问一答”或预设的固定流程,这三项是我方的核心差异。

前额叶系统:Agent 的“大脑皮层前额叶”

人脑的前额叶负责设定目标、制定计划、做出判断和控制行为。前额叶系统在 Agent 中承担同样的职责:

有了这一层,Agent 才能完成写一份尽调报告、核对一批合同这类需要多步骤推进的工作,而不只是回答单个问题。

语义记忆:按意思记住,而不是按字面记住

对比项 Hermes Agent 原生记忆 我方语义记忆
存储方式 以文本文件记录为主 语义存储,把内容的含义和相互关联一起存下来
查找方式 按关键词匹配 按意思查找,换一种说法也能找到
跨文档关联 有限 能把同一件事在合同、邮件、会议纪要里的记录串起来
用得越久 文件越积越多,查找变慢、变乱 记忆越积越有条理,越用越懂这家企业

例如员工问“上次那家客户对报价的意见”,语义记忆能把相关的报价单、往来邮件和会议纪要一起找回来,即使里面没有出现“报价意见”这几个字。

团队 Agent 模式:一群 Agent 像团队一样分工协作

多个角色不同的 Agent 组成一支团队,例如资料员负责收集、分析师负责研究、审核员负责挑错、执行者负责产出,由前额叶系统分派任务、汇总结果,并在意见不一致时做出裁决。

9.2 与开源 Hermes Agent 的关系

开发团队坚持全开源路线:模型、推理引擎和基础框架都选开源、可以审查源代码的产品,不用闭源的商业大模型和平台。Nous Research 开源的 Hermes Agent(2026 年 2 月开源,MIT 许可,可免费商用和二次开发)作为基础框架,提供工具调用、技能沉淀和多渠道接入等通用能力;前额叶系统、语义记忆与团队 Agent 模式是我方在它之上自研的部分。开发者已有可运行的系统,封装成产品后就可以直接销售。

9.3 和商业模式的对应

商业模式要求 心智系统的支撑
客户越用越离不开(2.3 节) 语义记忆在客户本地持续积累,用得越久越懂这家企业。这是“粘性”的技术来源
能接复杂工作,值得 480B 的投入 前额叶系统与团队 Agent 模式让大模型完成多步骤的整件工作,而不只是问答
加购有内容 每增加一个部门或一类工作,就加一支 Agent 团队,对应加购 Agent 的收入
数据不出客户内网 记忆、技能、知识库全部本地存储,模型在一体机上运行
政企与金融客户的安全审查 开源部分的源代码可以审查,没有闭源组件向外回传数据;自研部分可向客户技术团队演示与说明
年度服务费有内容 模型与框架每季度更新,评估、升级与回归测试正好是年度服务的工作内容

9.4 软件分层

层级 选型 来源 说明
业务层 行业场景包:董秘、CFO、销售外脑、合同审查、内训陪练等 我方开发 按岗位组合成 Agent 团队交付
管理层 多用户与权限、操作审计、知识库后台、企业微信/钉钉/飞书接入 我方开发 企业交付必须具备
心智层 前额叶系统、语义记忆、团队 Agent 调度 我方自研 核心差异所在
基础框架 Hermes Agent:工具调用、技能沉淀、多渠道接入 开源(MIT) 通用能力,不重复开发
模型层 通义千问 Qwen3-Coder-480B(Apache 2.0)及同级通用模型;DeepSeek(MIT)作为备选 开源 480B 为主力,另配小模型负责语义检索与任务分派
推理引擎 vLLM、SGLang(英伟达多卡);MLX、llama.cpp(Mac);vLLM-Ascend(昇腾) 开源 多卡并行与量化推理
驱动与算子库 CUDA、昇腾 CANN、Apple Metal 厂商提供 显卡驱动层目前没有开源替代,对客户如实说明

9.5 封装销售前要处理的事项

事项 做法
开源许可 MIT、Apache 2.0 都允许商用和闭源二次开发,但要在产品中保留原版权与许可声明;交付文档附开源组件清单
模型选择 Nous Research 的 Hermes 系列模型多数基于 Llama,须遵守 Llama 许可,中文能力也不如通义千问。默认用通义千问,Hermes 只用作基础框架
产品命名 对外产品用自有品牌;不用“爱马仕”或 Hermes 作为产品名,避免商标问题
如实宣传 自研的是前额叶系统、语义记忆、团队 Agent 模式、场景包与企业管理层;基础框架与模型注明来自开源。这样说更经得起客户技术团队的审查
知识产权 前额叶系统与语义记忆尽早申请软件著作权,核心设计考虑申请专利;源代码不随一体机交付
自动技能的管控 Agent 自己写出的技能,要经管理员审核后才能在企业内启用;涉及执行命令、访问文件、对外发送的技能放在受限环境运行,全程留审计日志
版本管理 每台一体机锁定经过测试的版本组合;新版本先在样机上回归测试,再按季度统一升级

十、下一步

  1. 开发者在样机上演示 480B 模型加心智系统:前额叶系统完成一项多步骤任务、语义记忆跨文档找回、团队 Agent 协作产出各一例;并实测 4 卡 6000D 标准版的同时使用人数与响应速度。
  2. 开发者出具前额叶系统、语义记忆与团队 Agent 模式的技术说明,作为对客户技术团队讲解和申请软件著作权的底稿。
  3. 向两家以上整机厂商和英伟达授权总代询价 6000D 标准版、旗舰版,取得型号合规与交期的书面确认;向华为及两家昇腾整机厂商索取 480B 适配证明、实测数据与报价。
  4. 采购样机两台(标准版、个人与演示版),完成三个标准场景包的适配。
  5. 从双方现有客户中选 3 家上市公司或中大型企业作为样板客户,安排演示。
  6. 接触 1–2 家有机房的算力服务商,谈 480B 专属整机的托管租用。
  7. 确定合作伙伴政策与双方收入分配,纳入《收费模式》。
  8. 整理开源组件清单与许可声明,确定对外产品名称。