B1 / B2 / B3
三个客服场景与当前状态
- B1 标准咨询：本地工作流与回归已验证；公网后端未接通，不声明实时回答能力。
- B2 价格、档期等敏感咨询：进入高风险分级与人工接管，公开 Demo 保持 fail-closed。
- B3 未知或低置信度咨询：不猜测答案，转人工并记录后续知识治理入口。
RAG · AGENT · AI SERVICE
Studio Customer Service
影像工作室 AI 辅助客服 Agent
面向影像工作室咨询与运营场景的 Agentic Workflow，通过 LangGraph 8 节点 11 边工作流编排知识检索、意图/风险判断、答案生成、质量检查、人工接管与反馈飞轮，以 fail-closed 策略控制高风险承诺。
8 / 11LangGraph 节点 / 边证据：E-SCS-SOURCE
589pytest 全量回归2026-07-28；非准确率 · 证据：E-SCS-TESTS
R0–R3风险分级 fail-closed证据：E-SCS-SOURCE
18类咨询场景证据：E-SCS-SOURCE
90冻结审计样本现有 runner 不支持公开质量分数 · 证据：E-SCS-EVAL-DATASET
2f212d1公网演示代码 SHA证据：E-SCS-SOURCE
口径说明：固定 90 样本仅用于静态路由器审计。现有 runner 比较 must_handoff 布尔值，没有验证 expected_route，也没有执行完整 LangGraph、检索、生成或 HTTP 链路，因此不公布路由准确率、回答正确率或禁止承诺结果。公网前端可访问；当前后端未接通，提问会 fail-closed。589 tests 是工程回归证据，不是质量指标。
专项
CASE-SPECIFIC EVIDENCE
业务链路、规则与能力边界。
ERROR ANALYSIS
评测缺口与修复方向
- 现有 runner 只比较 expected 与 actual 的 must_handoff 布尔值，不能称为 route correctness。
- I00 澄清路径没有实际执行，不能把硬编码布尔值作为澄清通过率。
- 禁止承诺扫描作用于存储的 canonical 文本，不是生成输出；需新增端到端生成与对抗回归后再公布。
WECHAT EXTENSION
微信小程序扩展路线
- 通道适配：小程序消息先完成身份、会话与附件归一化。
- Agent 调用：复用 Service Agent 的风险路由、检索、质量闸门与人工接管。
- 状态：DESIGNED_NOT_DEPLOYED；设计证据在 service-agent 的 docs/wechat-mini-program-extension.md，未宣称公网通道已接通。
体验
DEMO WINDOW
主入口与备用路径。
公网前端已核验；当前后端未接通，页面会明确显示受控状态，提问 fail-closed，不代表实时生产能力。
若页面内容加载失败或需要进一步确认，请重试或使用此备用入口；不承诺实时生产能力。
入口状态表达：加载中请等待；发生错误可重试；仍不可用时使用备用入口。本站不模拟或伪造实时服务能力。
01
PROBLEM & SCOPE
先定义问题和责任边界。
业务问题
- 客服培训成本高，话术一致性难保证；价格、档期与拍摄流程的敏感边界容错率低，纯大模型容易编造或作出高风险承诺。
- 客服知识持续变化，若没有审核和回流机制，检索库会快速过期或被低质量对话污染。
我的职责
产品定义 / Agent 架构 / 评估方案 / MVP 开发
- 团队
- 3 人创业团队
- 周期
- 2026.04 - 至今
- 交付状态
- Controlled Demo｜公网前端可访问，后端恢复中
产品策略与边界
- 产品目标：用受控 Agent 工作流编排检索、风险分流、生成、质量检查与人工接管，完成 Web/API 端到端 MVP。
- 产品边界：当前为受控作品集 Demo，公网前端已核验，服务端未配置时返回 503 并安全转人工；不主张生产 SLO，不声明生产上线或生产试点。
- 方案选择：采用 LangGraph 确定性节点与 LLM 节点组合工作流，LLM 通过可配置的 OpenAI 兼容接口接入，未配置 Key 时回退本地模板匹配。
- 暂不做：不追求无条件自动回复，不把内部小样本估算写成生产指标，不公开展示具体 LLM 型号。
02
PRODUCT DECISIONS
关键决策，不只是功能列表。
定义 18 类咨询场景与 R0–R3 风险分级，先设计风险策略与 fail-closed 边界，再设计对话流程；高风险与低置信度路径直接转人工接管。
采用查询改写、ChromaDB 向量召回与候选重排序链路，并通过三级置信度决定直接建议、人工复核或兜底转人工。
知识与规则分离：飞书知识库作为权威主源，ChromaDB 仅承担语义检索，本地 JSON 镜像提供可解释副本，避免单一向量库成为不可解释的知识黑箱。
LLM 生成与模板回退双路径：LLM 通过可配置的 OpenAI 兼容接口接入，未配置 LLM_API_KEY 时回退本地模板匹配，保证服务可用性。
把人工确认作为知识更新的质量闸门，优质会话才进入飞书主源、检索库和 JSON 镜像，形成反馈飞轮。
03
AGENT WORKFLOW
8 节点 11 边受控工作流。
意图与风险路由
用户咨询 → 18 类场景识别 → R0–R3 风险分级
查询改写
对话上下文 + 关键词补全 → 检索查询
知识检索
ChromaDB 向量召回 → 候选文档
候选重排序
重排序 + 引用上下文构建
答案生成
可配置 OpenAI 兼容 LLM 接口生成；未配置 Key 时回退模板匹配
质量闸门
三级置信度分流：高分直接建议 / 中分人工复核 / 低分或高风险 fail-closed
人工接管
fail-closed 兜底：低置信度、高风险承诺与敏感边界统一转人工
反馈飞轮
归档 → 清洗 → 人工确认 → 飞书主源 / ChromaDB / JSON 镜像同步
04
SYSTEM ARCHITECTURE
从输入到反馈的产品链路。
场景路由
18 类意图、R0–R3 风险分级与人工接管条件
查询理解
对话上下文、查询改写与关键词补全
检索增强
ChromaDB 向量召回、候选重排序与引用上下文
质量闸门
高分建议、中分复核、低分/高风险 fail-closed 转人工
知识飞轮
归档、清洗、人工确认和多端同步
实现栈
PythonLangGraphFlaskNext.jsChromaDB飞书知识库OpenAI-compatible LLM interface
05
EVIDENCE & OUTCOMES
展示证据，也说明证据边界。
完成从需求定义、知识组织、LangGraph 8 节点 11 边编排到 PC 客服辅助界面的端到端 MVP。
LangGraph 工作流、RAG 检索、风险分流、fail-closed 人工接管与反馈飞轮均有代码证据。
589 tests 全量回归通过（2026-07-28 pytest 证据）；该数字是工程回归结果，不代表回答准确率。
生产写入安全门禁保持关闭：PRODUCTION_PILOT_ALLOWED=false、EXTERNAL_WRITE_ACTIONS_ALLOWED=false、STORE_MESSAGE_CONTENT=false；Demo 限流与多轮 history 均有明确边界。
公网受控演示代码 SHA 2f212d1，Vercel Production 制品 dpl_5wv5idcTu4ALf4xgguQqHoFMwoxf；未配置后端时 /api/chat 返回 503。
固定 90 样本、报告与 runner 已冻结留档；因 runner 未验证 expected_route、澄清节点和生成输出，旧的准确率、I00 与禁止承诺结果已撤回公开使用。
指标边界
固定 90 样本仅用于静态路由器审计。现有 runner 比较 must_handoff 布尔值，没有验证 expected_route，也没有执行完整 LangGraph、检索、生成或 HTTP 链路，因此不公布路由准确率、回答正确率或禁止承诺结果。公网前端可访问；当前后端未接通，提问会 fail-closed。589 tests 是工程回归证据，不是质量指标。
06
PRODUCT EVIDENCE
界面、流程与实现证据。
07
MY CONTRIBUTION
产品经理与工程协作贡献。
影像工作室咨询与运营场景调研，定义 18 类咨询场景与 R0–R3 风险分级
LangGraph 8 节点 11 边工作流编排、风险路由与 fail-closed 策略设计
RAG 检索链路、三级置信度分流、反馈飞轮与知识更新闸门
3 人团队协作，Flask API + Next Web + ChromaDB + 飞书知识库，负责 Agent 架构与评估方案
589 tests 全量回归、固定 90 样本 runner 语义审计、三项生产写入安全门禁验证
公网 Demo 与生产写动作分离（fail-closed + 安全开关始终 false）
08
CAPABILITY STATUS & LIMITATIONS
已验证、进行中与计划能力。
- LangGraph 8 节点 11 边工作流编排
- RAG 知识检索（ChromaDB 向量召回 + 重排序）
- 意图识别与 R0–R3 风险分级
- fail-closed 人工接管路径
- 反馈飞轮闭环（归档→清洗→人工确认→知识同步）
- LLM 生成与模板回退双路径
- Web/API 端到端 MVP
- 589 tests 全量回归通过（2026-07-28）
- 三项生产写入安全门禁保持关闭
- 真实后端恢复与公网 /readyz 核验（前端维持受控状态）
- 重建端到端冻结评测：验证 expected_route、实际澄清节点与生成输出
- STATUS 文档同步至 SCS-MANUAL-012
- 真实流量灰度上线
- 指标评测（召回率/采纳率/转人工率）
- 知识过期率监控
09
RISK GOVERNANCE, TRADE-OFFS & NEXT
风险治理、取舍与下一步。
关键取舍
- 不追求无条件自动回复，牺牲部分自动化率以换取价格、档期与敏感场景的可靠性。
- 保留飞书权威主源和本地 JSON 镜像，避免单一向量库成为不可解释的知识黑箱。
- LLM 生成与模板回退双路径，牺牲部分回答质量以换取服务可用性（未配置 Key 时仍可运行）。
下一步验证
- 恢复真实后端并通过 /readyz、/api/chat 与安全门禁后，才把受控状态切换为 live。
- 建立覆盖 18 场景的固定评测集，分开统计召回率、答案采纳率与转人工率。
- 在真实流量中做分阶段灰度，校准置信度阈值并记录误答成本。
10
CROSS-PROJECT RELATIONSHIPS