智能体平台底层优化（对齐《组件化架构组件清单》）

参考：/Users/mauricewen/Downloads/智能体平台组件清单.html

1. 现状映射（按分层）

1) 构建体验层（Console/Studio）

• apps/web：Agent 测试台、工作流编辑、模板/市场等页面已存在。
• 已修复：测试台与执行链路配置真实生效、图片任务输出可视化、入口重复页合并。

2) 底层 Agentic SDK（平台内核能力）

• LLM Gateway：apps/web/lib/server/model-gateway.ts（多 provider/chain fallback + usage 记录）。
• 多模态路由：apps/web/lib/server/multimodal-router.ts（任务类型判断、图片编辑/生成/理解、文本）。
• Skill/Tool 执行：apps/web/lib/skills/* + apps/web/lib/agent-framework/*（Skill registry、skill→tool bridge、统一 agent service）。

3) 组件系统（Registry/Manifest/Runtime Adapter/Test Harness）

• 框架适配注册：apps/web/lib/agent-framework/registry.ts
• Skill 注册：apps/web/lib/skills/registry.ts
• ✅ 已补：apps/web/lib/skills/manifest.ts（Manifest 解析与默认值）+ apps/web/lib/skills/runtime-adapters.ts（local/http/queue/job/browser 运行时适配）+ apps/api/routers/runtime.py（queue/job 运行时网关）。
• ✅ 已补：Manifest 落库/版本化（同步脚本 + SkillVersion 快照持久化）。
• ✅ 已补：Manifest 扩展 dependencies/compatibility/package/signature/sbom 元数据与签名校验入口。

4) Tool/Skill 组件库

• 内置技能：apps/web/lib/skills/builtin/*（图片/PPT/音频/文档等）。
• 已补：默认 Manifest 权限/资源骨架（网络 allowlist、timeout）。
• ✅ 已补：权限/资源声明（网络/文件/数据源）+ 允许数据源 enforcement + 错误码分类与治理落库。

5) 数据与存储底座

• Prisma：apps/web/prisma/schema.prisma（Agent/Workflow/RBAC/API Keys/Usage 等）。
• ✅ 已补：本地对象存储/中间产物落库（Artifact）+ 下载接口 + Trace/Replay 落库与检索接口。
• ✅ 已补：对象存储支持 S3 + 归档/生命周期脚本。

6) 安全、权限、合规

• RBAC：apps/web/prisma/schema.prisma（Role/Permission）。
• Key 管理：apps/web/lib/crypto/api-key-manager.ts（解密加载 provider key）。
• ✅ 已补：工具 allowlist + 数据源级权限 enforcement。
• ✅ 已补：供应链元数据（签名/SBOM）与组件签名校验脚本（可作为门禁）。

7) 评测与质量体系

• ✅ 已补：离线 golden set/回归、在线 A/B 实验、红队用例与指标归因/对比。

8) 观测与运维（Trace/Log/Metric/Replay）

• ✅ 新增：请求级 Trace（span）底座 + LLM/图片/Skill 关键路径埋点（见下文“已落地优化”）。
• ✅ 已补：Trace Viewer、Replay、落库与跨天检索。

9) 发布交付与平台工程

• ✅ 已补：配置中心/多环境配置分层、灰度/回滚、组件发布门禁（契约测试）。

10) 运营与商业化（可选）

• 现有 usage 记录具备基础：apps/web/lib/server/model-gateway.ts 的 recordUsage。
• ✅ 已补：按租户/Agent/Tool 维度成本中心与配额治理。

2. 已落地优化（本次实现）

A) 可观测性（Trace/Span）

• 新增：apps/web/lib/server/trace.ts
• 已接入：
  • LLM Gateway：apps/web/lib/server/model-gateway.ts（每个 provider/model attempt 一个 span）
  • 多模态路由：apps/web/lib/server/multimodal-router.ts（route + image.edit/generate）
  • Skill 执行器：apps/web/lib/skills/executor.ts（skill.execute）
  • 执行 API：apps/web/app/api/agents/[id]/execute/route.ts（返回 metadata.trace）
• 测试台展示：apps/web/app/workspace/agents/[id]/test/page.tsx（显示 Trace:<id>(<span_count>)）

B) 执行治理（timeout 生效）

• 修复：apps/web/lib/skills/executor.ts 默认代码执行路径也强制 timeout（之前只对自定义 executor 生效）。
• 修复：timeout 识别规则（超时/timeout）避免误判为普通 error。

C) 图片任务“可验证路由/优先 poe nano-banana-pro”

• 图片生成/编辑结果回传真实 provider/model，并由多模态路由写入 metadata（便于核验实际走了 Poe 还是 Google）。

D) 组件 Manifest + Runtime Adapter 基础层

• 新增：apps/web/types/skill.ts 中 SkillManifest / SkillPermissions / SkillRuntimeConfig 等基础类型。
• 新增：apps/web/lib/skills/manifest.ts 统一默认值与 runtime 类型解析（local/custom/http）。
• 新增：apps/web/lib/skills/runtime-adapters.ts（local sandbox + http/queue/job/browser runner）。
• 新增：apps/api/routers/runtime.py + apps/api/services/runtime_queue.py/runtime_jobs.py（queue/job 运行时网关 + worker 执行）。
• 新增：apps/api/services/registry_store.py（Registry 落盘存储基础实现）。
• 优化：apps/web/lib/skills/registry.ts 的 validateSkill 校验 runtime/allowlist/targetEndpoint，补上组件契约自检。
• 优化：queue/job 运行时增加 targetEndpoint 级网络白名单校验（端到端一致）。
• 新增：apps/web/lib/skills/contract-tests.ts + apps/web/lib/skills/input-utils.ts（组件契约测试/默认输入构造）。
• 新增：apps/web/scripts/test-skill-contracts.ts（契约测试脚本，可接入 CI）。
• 新增：apps/web/scripts/sync-builtin-skills.ts（内置技能 Manifest/版本快照同步）。
• 优化：apps/web/lib/skills/executor.ts 支持 Manifest 的重试/退避与并发上限控制（maxConcurrency）。
• 优化：apps/web/lib/skills/registry.ts 支持注册时校验，SKILL_REGISTRY_STRICT=true 可作为发布门禁。
• 优化：apps/web/lib/skills/registry.ts 支持 id/name/别名归一（-/_ 兼容），并从 inputSchema 补齐 inputs。
• 兼容：apps/web/lib/skills/executor.ts 支持 handler 风格 skill 定义，统一 timeout/trace，并按 Manifest 过滤可用 secrets。
• 扩展：核心技能 + 数据/文档/税务技能补齐 Manifest（网络白名单、资源预算、span 命名）。

E) 配额与可靠性细化

• 优化：LLM Gateway 增加 API Key 配额预检与使用量回写（ApiKeyManager.checkQuota/updateUsage）。
• 优化：LLM Gateway + ProviderRegistry 支持 token/cost 预算预检（超预算直接拦截或跳过高成本目标）。
• 优化：Runtime Adapter 支持 Manifest idempotencyKey 透传（HTTP Header + payload）。
• 优化：Queue/Job 运行时支持幂等 key 复用（同 key 直接复用已有 Job，避免重复执行）。
• 修复：Workflow Executor 节点上下文补齐 Provider API Keys 传递，避免节点执行缺少密钥。

F) Runtime Adapter 运行后端补齐

• 新增：apps/api/routers/runtime.py 增加 /browser 与 /vm 运行时网关，支持 targetEndpoint/环境默认值。
• 新增：apps/web/types/skill.ts 扩展 vm 运行时类型，执行器与适配器补齐并受 SKILL_RUNTIME_VM_ENABLED 门禁控制。

G) 审计与DLP落库补齐

• 新增：apps/web/app/api/agents/[id]/execute/route.ts 与 apps/web/app/api/agents/[id]/execute-sse/route.ts 写入 agent:invoke/complete/error 审计日志。
• 新增：Agent 输出 DLP 处理（AGENT_DLP_ACTION/DLP_ACTION），支持 redact/block，结果回传并落库。

H) 离线评测与指标落库

• 评测执行器接入真实 Agent/Workflow/Framework，按运行结果计算 success rate、P95、成本、人工介入率、幻觉率。
• 评测执行结果与指标写入 eval_runs / eval_case_results，支持回放与回归。
• 新增：红队数据集、基线/对比 API、引用归因 metadata。

I) 多环境与灰度发布补齐

• Release API 支持快照捕获（agent/skill/prompt），灰度比例与回滚生效。
• Prompt 读取路径应用 release snapshot 覆盖，确保提示词版本 pin 可回放。
• 新增：Config Center 分层配置 + release snapshot config 覆盖 + 契约测试门禁。

J) Trace Viewer 与回放闭环

• 新增：apps/web/app/workspace/traces/page.tsx Trace Viewer（搜索/详情/回放/产物下载）。
• 扩展：apps/web/app/api/traces/route.ts 返回可回放元数据，apps/web/app/api/traces/[id]/route.ts 附带 artifacts。
• 扩展：apps/web/app/api/agents/[id]/execute/route.ts 记录回放输入与输入产物（Artifact）引用。

K) 产物存储上云与生命周期

• 新增：Artifact 存储支持 S3（provider/bucket/region/storageClass/archivedAt/deletedAt/expiresAt）。
• 新增：apps/web/scripts/artifact-lifecycle.ts 定期归档/删除脚本。

L) 成本中心与实验归因

• 新增：CostCenter/Rule + 预算预检（按租户/Agent/Tool 匹配）。
• 扩展：ModelUsage 记录 tenant/skill/tool/experiment/variant 等维度。

M) 供应链与组件签名

• 新增：Skill Manifest 签名支持（apps/web/lib/skills/signature.ts）+ 严格模式校验（SKILL_SIGNATURE_REQUIRED）。
• 新增：SBOM 生成脚本（apps/web/scripts/generate-sbom.ts）覆盖技能与 MCP 组件清单。
• 新增：Sync 脚本支持签名注入（apps/web/scripts/sync-builtin-skills.ts）。
• 新增：组件发布门禁脚本（apps/web/scripts/verify-component-gate.ts），可作为 CI 门禁。
• 新增：组件包导出脚本（apps/web/scripts/build-skill-packages.ts）生成 bundle/index 产物，支持后续分发。

N) 多租户与用量隔离

• 优化：Provider/Usage API 支持 workspaceId/tenantId 过滤，开发态可覆写 DEV_SKIP_AUTH 用户。
• 新增：Option2 脚本（apps/web/scripts/test-provider-apis.ts、apps/web/scripts/test-usage-apis.ts）。

O) Production Orchestrator 骨架（对齐 Video Agent Blueprint）

• 新增：apps/web/lib/video-pipeline/types.ts（流水线 stage/status、JobState 与 SchedulerPolicy）。
• 新增：apps/web/lib/video-pipeline/scheduler.ts（budget 模式 → 并发/采样/QC 阈值映射）。
• 新增：apps/web/lib/video-pipeline/qc-matrix.ts（QC 失败归因 → RepairPatch 模板）。
• 新增：apps/web/lib/video-pipeline/orchestrator.ts（No-Rollback 版本化 + 产物校验入口）。
• 新增：apps/web/lib/video-pipeline/job-store.ts（作业落盘 + 版本目录 + latest 指针）。
• 新增：apps/web/app/api/production-jobs/route.ts + apps/web/app/api/production-jobs/[jobId]/route.ts + apps/web/app/api/production-jobs/[jobId]/artifacts/route.ts（作业创建/查询/产物追加）。
• 新增：apps/web/app/api/production-jobs/[jobId]/qc/route.ts（QC 归因 → 自动 RepairPatch 生成与落盘）。
• 新增：apps/web/lib/video-pipeline/events.ts（作业事件定义与审计日志结构）。
• 新增：apps/web/app/api/production-jobs/[jobId]/events/route.ts（作业事件流查询）。
• 新增：apps/web/app/api/production-jobs/[jobId]/stages/route.ts（流水线阶段状态更新 API）。
• 新增：apps/web/app/api/production-jobs/[jobId]/versions/route.ts + apps/web/app/api/production-jobs/[jobId]/versions/[version]/route.ts（版本索引与产物回放读取）。
• 新增：apps/web/lib/video-pipeline/shot-planner.ts（Shotlist → 执行计划，绑定采样/QC 阈值/降级策略）。
• 新增：apps/web/app/api/production-jobs/[jobId]/shot-plan/route.ts（Shot-level 执行计划输出）。
• 新增：apps/web/lib/video-pipeline/qc-summary.ts（QC 报告聚合指标）。
• 新增：apps/web/lib/video-pipeline/qc-gate.ts（QC Hard/Soft Gate 评估与缺失检测）。
• 新增：apps/web/lib/video-pipeline/qc-repair-plan.ts（QC 失败自动修复计划生成）。
• 新增：apps/web/app/api/production-jobs/[jobId]/overview/route.ts（作业概览：最新产物/事件汇总/QC/Shot 计划摘要/QC Gate/SLA）。
• 新增：apps/web/lib/video-pipeline/timeline.ts（作业阶段时间线聚合）。
• 新增：apps/web/app/api/production-jobs/[jobId]/timeline/route.ts（阶段耗时/状态时间线 API）。
• 新增：apps/web/lib/video-pipeline/sla.ts（预算模式 SLA 阈值与超时评估）。
• 新增：apps/web/app/api/production-jobs/[jobId]/sla/route.ts（SLA 评估 API）。
• 新增：apps/web/app/api/production-jobs/[jobId]/qc-gate/route.ts（QC Gate 评估 API）。
• 新增：apps/web/app/api/production-jobs/[jobId]/qc-repair-plan/route.ts（QC Repair Plan 评估 API）。

3. SOTA Video Agent Blueprint 对齐：底层架构增强

A) 生产流水线（Production Orchestrator）

• 新增“作业级”流水线：Brief → Story → Shotlist → Assets → Edit → QC → Publish。
• 每阶段产出可审计 Artifact，强制契约化（JSON Schema）+ 版本化（No-Rollback）。
• 以 Shot 为最小调度单元，支持并行与失败局部重试。

B) 契约化产物层（Artifact Contracts）

• 建议纳入 specs：brief.json、style_bible.json、character_bible.json、world_bible.json、shotlist.json、edit_manifest.json、qc_report.json、repair_patch.json。
• Artifact Store 扩展类型/索引：job_id、version、shot_id、grade、model_policy、qc_score、cost/latency。

C) 一致性资产引擎（Bibles + Anchors）

• 资产化风格/角色/世界观与锚点（多视图/关键帧/LUT/音色），以版本与权限约束复用。
• Anchor 作为生成约束输入与 QC 对齐基线（embedding/相似度）。

D) Shotlist 引擎与分级策略

• Shotlist 作为“可执行核心文档”，包含 intent、prompt、anchors、audio/subtitle、quality_target。
• S/A/B 分级驱动模型选择、采样次数、QC 阈值与重试预算。

E) QC 质量闭环与自动修复

• 引入多维度 QC 指标（on_brief、identity、stability、readability、audio_match 等）。
• 失败归因标签 → 修复 patch（对 shotlist 的局部补丁），确保可回放、可审计。
• QC Gate 区分 Hard Gate（硬失败）与 Soft Score（排序优化）。

F) Budget-Aware Scheduler

• 预算滑杆（fast/balanced/premium）映射到并发、模型策略、采样次数、重试上限。
• 支持降级路径：主镜头失败 → 强约束重试；次要镜头失败 → B-roll/静帧动效替代。

G) 确定性渲染与发布

• 增设 Render 运行时（Remotion/FFmpeg）与 edit_manifest.json 契约。
• 字幕/图形/品牌元素走代码渲染，保证清晰度与安全区合规。

H) No-Rollback 版本化与回放

• 作业目录结构：artifacts/{job_id}/v{n}/，禁止覆盖写。
• edit_manifest + assets 作为回放最小单元，结合 Trace 与 Audit 实现一键复现。

I) 安全与合规（视频场景）

• 版权/肖像/商标与品牌包规则入库；素材来源可追溯。
• 风险内容检测与地区/行业策略落库；关键决策写入审计日志。

J) 与现有平台对接建议

• Runtime Adapter 新增 render / media 类型；Skill 扩展 shotlist/qc/render 类组件。
• Trace 扩展到 job/shot 粒度；Artifact 索引支持 QC 指标与版本对比检索。
• Workflow/Agent 模式新增 Production Job 模板，固定管线 + 可插拔策略。

4. 下一步（建议按优先级推进）

P0（强烈建议优先）

1. ✅ 统一“产物输出”协议：文本 / 图片 / 文件 / JSON 结构化输出分离（不要靠 markdown 拼接）。
2. ✅ 测试台用例集 + 回放：把测试台输入/附件/配置/trace 作为可存档用例，支持回归批量跑。
3. ✅ Agent 能力声明：为 Agent 增加显式能力（输入模态/输出模态/允许工具域），减少关键词 heuristics 导致误路由。
4. ⬜ Production Job 作业管线：Brief → Shotlist → Assets → Edit → QC → Publish 的标准化执行链路。
5. ⬜ 视频产物契约 + No-Rollback：brief/shotlist/edit_manifest/qc_report/patch 全链路版本化与回放。
6. ⬜ QC 引擎 + 自动修复矩阵：指标打分、失败归因、patch 修复闭环。

P1（治理与安全）

1. ✅ Skill Manifest 强约束：补齐 permissions/resources/observability/errorCodes 字段，并把 enforcement 扩展到 FS/数据源/幂等/重试。
2. ✅ Runtime Adapter 抽象：完善 Browser/VM 运行时后端与发布门禁。
3. ✅ 审计与DLP：工具调用、数据访问、发布记录、模型调用记录统一落库。
4. ⬜ Budget-Aware Scheduler：预算滑杆映射模型策略/采样/并发/重试上限与降级路径。
5. ⬜ 一致性资产库：Bibles/Anchors/Brand Packs 版本化与权限治理。
6. ⬜ 确定性渲染通道：Remotion/FFmpeg 渲染运行时与 edit_manifest 统一化。

P2（质量与发布）

1. ✅ 离线评测与指标：success rate、P95、成本、人工介入率、幻觉率（基于引用一致性）。
2. ✅ 多环境与灰度发布：prompt/tool/agent 配置版本 pin + 回滚。
3. ⬜ 模板包与镜头模式库：按场景沉淀 shot patterns + QC Gate 策略。
4. ⬜ 视频质量看板：shot-level 指标分布、版本对比与失败归因趋势。