L6 AI 运营中心#

路径：/aiops

L6 AI 运营中心管理已上线 AI 应用的全生命周期持续运营：运行监控、质量评估、业务价值、成本、优化闭环、A/B 实验与 Canary 灰度、运营报告。生命周期不再以 L4 交付为终点——L1→L2→L3→L4→L6→优化→再评估 形成持续价值闭环，参见业务流程总览。

菜单结构（9 项）#

菜单	路径	说明
运营驾驶舱	/aiops/overview	应用健康分布/反馈/提案/评估分/成本/健康分/进行中实验聚合
AI 应用	/aiops/applications	应用注册表（状态/环境/Agent/模型/版本/健康度/生命周期阶段）
评估	/aiops/evaluation	应用级评估运行（复用平台 EvalEngine）
监控	/aiops/monitoring	请求/成功率/失败/延迟/token/成本/活跃用户
反馈	/aiops/feedback	👍👎/评分/评论/纠错/问题类型/严重度
成本与用量	/aiops/cost	按日/按 Agent 成本分解（按用户货币展示）
业务价值	/aiops/value	价值周期录入/趋势/ROI 实际 vs 预测
优化	/aiops/optimization	AI 提案 → 审批 → 验证 → 对比 → 采纳/回退
运营报告	/aiops/reports	周期聚合报告 + AI 运营结论

应用注册与版本#

• 自动注册：交付项目完成后（ProjectCompleted 事件）自动在注册表创建应用（有 AI 应用元数据=运行中，否则=待确认草稿）
• 版本管理：每个应用有版本序列（v1.0/v1.1...），支持手动新建/激活；版本排序以内部序列号为准，展示编号仅作标识
• 版本对比：应用详情 Versions Tab 选择两个版本对比评估分数与反馈变化（互斥生效窗口，避免误导）
• 实验中的版本：进入 A/B 实验的版本在列表中显示「Canary N%」金色徽章，且不可手动激活——须先结束实验（或等待自动回滚）后再操作，详见 A/B 实验与 Canary 灰度

优化执行闭环#

• 批准后不直接上线：提案批准后生成待验证版本并自动复评，需人工对比后决定采纳或回退
• 采纳：新版本上线（旧版本标记已替代），应用版本更新
• 回退：新版本标记已回滚，应用保持原版本（回滚=历史版本重新激活，非删除）
• 复评对比摘要：自动复评完成后，提案卡片显示「复评对比摘要」标签组（评估分数变化 + 反馈变化，改善为绿、恶化为红；差评减少计为改善）

业务价值与 ROI#

• 价值录入：按周期（月）录入业务指标（基线/目标/实际）、创造价值、成本、回收期
• ROI 实际 vs 预测：关联 L2 决策场景的应用可对比预测 ROI 与实际 ROI 偏差（百分点/相对偏差 + 原因诊断）；偏差显著偏低时可一键生成优化提案
• 货币：价值与成本按用户货币设置展示（内部统一 USD 存储）

每日 AI 运营简报#

• 推送时间：每日 09:00（UTC 01:00）自动推送；后端重启后若已过当日时间会自动补推
• 接收对象：租户 owner/admin（内容为整个租户的运营聚合，每位管理员收到一份相同副本）
• 内容：应用总数/健康分布/待处理反馈/待审批提案/成本/成功率 + 异常应用/高严重度反馈/待审批提案要点 + LLM 润色
• L1 复评建议（L6→L1 飞轮）：应用健康状态为 critical（于应用注册表中人工标记——系统不会自动将应用置为 critical）或 ROI 相对偏差 ≤ -30% 的应用会列入「🔄 建议发起 L1 就绪度复评」小节；L1 复评为企业级人工流程，简报不自动创建评估记录——请前往 L1「就绪度评估」以当前运营数据（成功率/成本/用户反馈）为证据发起复评
• 标题带日期：本租户 AI 运营简报 · YYYY-MM-DD，通知列表中每条显示创建时间
• 不重复推送：同一天同一租户仅推送一次（三层幂等保障：Redis 锁 + 数据库唯一约束），后端重启/多实例部署均不会产生重复简报

A/B 实验与 Canary 灰度#

入口：AI 应用 → 应用详情 →「实验」Tab。以真实流量对照验证挑战版本与基线版本（当前线上版本），用数据决定采纳或回退。

创建实验#

1. 点击「创建实验」（同应用同时仅允许 1 个进行中实验，且需至少 2 个版本）
2. 填写表单：
   • 实验名称：如 v1.0 → v1.1 canary
   • 基线版本（Champion）：仅当前生效版本可选
   • 挑战版本（Challenger）：仅草稿/待验证/已验证状态且已配置模型的版本可选
   • 流量比例（%）：1–100，默认 10
3. 创建后挑战版本进入灰度测试状态，版本列表显示「Canary N%」金色徽章；运营驾驶舱「进行中实验」计数同步更新

流量分派（会话粘性）#

• 按会话确定性分流：同一会话的多次调用始终落在同一版本，不会在两版本间跳变；分派比例近似等于设定值
• 分到挑战版的会话由挑战版本配置的模型响应，其余会话走基线版本；挑战版本必须已配置模型（未配置模型的版本不会出现在候选列表，也无法创建实验），否则分流无实际差异

查看指标#

实验列表点击「查看指标」打开对比抽屉：

• 双版本对照表：版本/模型/执行次数/成功率/平均延迟/成本
• Δ 变化标签：成功率上升为绿，平均延迟/成本下降为绿（反之红）
• 实验期反馈：按严重度统计实验开始以来的用户反馈

指标来自执行台账（每次 AI 调用的真实执行记录），自实验开始时累计。

结束实验（人工判定）#

在指标抽屉中选择胜者并确认：

胜者	结果
挑战版	挑战版转正上线（应用当前版本与模型同步更新），原基线版标记已替代
基线版	挑战版退役，流量立即全量回到基线版

实验记录标记已完成；列表保留开始/结束时间，胜者与结束原因存档于实验记录（当前界面不展示，可经 API 查询）。

自动回滚（看门狗）#

实验 Tab 底部「自动回滚」配置卡：

配置	默认值	说明
启用自动回滚	关闭	应用级开关，显式开启才生效
健康度阈值	60	应用健康分低于该值即触发
最小样本数	50	挑战版样本数达标后才允许触发，防小样本误判

• 开启后，看门狗每 15 分钟巡检一次 Canary 流量；触发条件（满足其一且样本达标）：应用健康分 < 阈值，或挑战版成功率 < 80%
• 看门狗默认仅在生产环境启用——测试/演示环境中即使开启开关也不会执行巡检与自动回滚
• 触发后自动执行：挑战版立即回滚（流量全量回基线版）→ 实验标记完成（胜者=基线版，原因=自动回滚）→ 向应用负责人与 owner/admin 发送高优先级通知「Canary 自动回滚 · 应用名」并实时推送
• 并发护栏：行级锁 + 状态守卫，与人工结束实验并发时仅一方生效，不会双重回滚

数据口径说明#

实验指标、监控与成本统计统一由执行台账（ai_executions）支撑：每次 AI 调用落账（智能体/模型/token/成本/成败）。实验指标仅来自台账（自实验开始累计）；监控与成本统计在无台账数据的时段自动回退至聊天记录聚合口径。