销售意图识别
建立真实业务评测基线，推动数据标注与三轮模型微调。
ENTERPRISE AI PRODUCT DOCUMENT · V1.0
企业 AI 产品实践
评测、检索与会议工作流
围绕销售意图识别、企业知识检索和会议协作三个场景，建立从模型效果验证、权限控制到任务流转的产品流程。
BACKGROUND & SCOPE
项目背景与工作范围
项目同时覆盖销售意图理解、企业知识检索和会议协作。三个场景使用的技术能力不同，但落地时遇到的是同一类问题：模型输出需要有明确的验收口径，企业数据必须遵守访问权限，生成结果还要能够进入现有业务流程。
我负责将这些要求转化为可执行的产品规则，与算法、研发及业务团队共同推进数据准备、效果验证和流程联调。
企业知识检索
明确权限继承和个性化排序规则，保证结果安全且相关。
智能会议流程
把会议内容转为行动项，并自动进入跨部门工单流程。
产品目标
- 用固定评测集验证每轮模型效果，避免只依赖主观体验。
- 在检索阶段执行权限过滤，生成内容不得超出用户可见范围。
- 会议行动项具备责任人、截止时间和任务状态，支持后续追踪。
验收原则
- 效果指标必须基于真实业务记录，训练集与验收集分离。
- 权限规则优先于相关性排序，越权结果不得进入模型上下文。
- 自动提取结果在分发前支持人工确认和修改。
MODEL EVALUATION
销售意图模型评测与微调
项目初期的意图识别准确率为 72%。复盘错误样本后发现，问题既来自标签边界不清，也来自训练语料与真实销售表达之间的差异。只看整体准确率，无法判断具体哪类意图发生退化。
标签边界重叠
同一句表达可能包含咨询、需求确认和下一步行动，标注结果不一致。
真实表达覆盖不足
销售沟通中存在简称、省略和上下文依赖，标准化语料覆盖有限。
总分无法定位问题
整体分数提升时，高频或高风险意图仍可能出现识别错误。
2.1 数据与评测流程
定位混淆意图和业务影响
定义标签边界与正反例
精标 3,000 条业务数据
训练、回归、补充错例
200 条真实记录基线
| 评测对象 | 设计方式 | 主要用途 | 控制要求 |
|---|---|---|---|
| 训练数据 | 3,000 条业务数据精标 | 补充真实表达和混淆意图样本 | 标注前统一标签定义 |
| 验收基线 | 200 条真实业务记录 | 对比每轮模型效果 | 与训练数据分离，版本固定 |
| 错误切片 | 按意图类型和错误原因分组 | 定位具体退化场景 | 保留版本和模型输出记录 |
| 回归测试 | 每轮微调后重复执行 | 确认新版本没有破坏已有能力 | 同口径比较，不临时更换样本 |
阶段结果意图识别准确率：72% → 95%
通过三轮微调和固定基线验收完成效果提升。评测过程保留错误样本、标签版本和模型版本，便于后续回归。
RETRIEVAL & AUTHORIZATION
企业知识检索与权限控制
企业检索不能只按内容相关性返回结果。同一份文档可能受组织、空间或文档级权限限制；如果先召回全部内容再交给模型判断，敏感信息已经进入上下文。因此权限过滤必须发生在检索链路前部。
识别用户、组织和岗位信息
排除用户无权访问的内容
结合查询、角色和业务上下文
返回可引用、可追溯的结果
| 规则项 | 产品定义 | 异常处理 |
|---|---|---|
| 权限继承 | 子级内容默认继承上级组织或知识空间的访问范围 | 继承关系不明确时按无权限处理 |
| 显式授权 | 文档级单独授权可以扩大指定用户或角色的可见范围 | 记录授权来源和生效时间 |
| 权限变更 | 用户调岗、离职或空间权限变化后同步更新检索范围 | 缓存失效后重新计算可见集合 |
| 个性化排序 | 仅在已授权结果中结合角色和历史场景调整顺序 | 个性化不得改变权限过滤结果 |
规则优先级访问权限 ＞ 内容相关性 ＞ 个性化偏好
先确保用户只能检索到可见内容，再在可见集合内优化相关性和排序体验。
MEETING WORKFLOW
智能会议与工单流转
会议总结只能解决“会后看什么”，不能解决“谁在什么时间完成什么”。因此产品输出不止是摘要，而是把行动项结构化，并与现有任务流程连接。
转写、议题、结论
任务、责任人、截止时间
补充、修改、删除错误内容
创建工单并匹配负责团队
提醒、更新、关闭与留痕
行动项字段
- 任务内容：使用可执行表述，不直接复制整段会议原文。
- 责任人：优先匹配会议参与者，无法确认时要求人工选择。
- 截止时间：识别明确日期；相对时间需结合会议日期转换。
- 证据位置：保留原始转写片段，方便确认提取是否准确。
异常处理
- 缺少责任人或截止时间时，不直接自动分发。
- 同一行动项涉及多个团队时，生成主任务和关联子任务。
- 人工修改后的内容作为最终工单版本，并保留修改记录。
- 工单创建失败时进入重试队列并展示失败原因。
DELIVERY & REVIEW
项目结果与职责复盘
覆盖销售真实表达
用于模型版本验收
由 72% 提升至 95%
原平均约 2 小时
我的主要产出
- 协同业务团队统一销售意图标签边界和标注规范。
- 建立 200 条真实记录基线，推进三轮模型微调与回归验收。
- 制定企业知识的权限继承、显式授权和个性化排序原则。
- 设计会议解析、行动项确认、工单分发和状态跟踪流程。
复盘结论
企业 AI 产品需要同时满足三个条件：效果有固定口径可验证，数据访问遵守现有权限体系，模型输出能够进入后续业务流程。只完成其中一项，产品都很难在真实组织中持续使用。