16 KiB
16 KiB
CreatorHub E2E 功能测试执行报告
- 计划：
docs/e2e-test-plan.md - 范围：抖音当前实现；不含小红书、性能压测、RBAC/多租户
- 用例：122/122 已登记结果
- 执行结论：不是整体通过。当前结果为
PASS 32、FAIL 19、BLOCKED 71。 FAIL：已观察到与计划预期不一致的实际行为。BLOCKED：需要真实平台、健康代理、生产 AI/转写、账号凭据，或需要停止共享资源；未用伪造数据替代。
证据
[E]本轮脱敏补充证据：docs/e2e-evidence-20260914.md[U]browser-harness 路由录制：/home/rogee/.config/browser-harness/agent-workspace/recordings/creatorhub-e2e-final/，事件索引为events.jsonl[A]控制面 API/Phase A 脱敏报告：/home/rogee/.pi/agent/sessions/--home-rogee-Workspace-creator-hub--/subagent-artifacts/outputs/2cbcddb6-c347-41d0-a6f7-356dccd81a3e/api-e2e.txt[R]回归门禁报告：/home/rogee/.pi/agent/sessions/--home-rogee-Workspace-creator-hub--/subagent-artifacts/outputs/2cbcddb6-c347-41d0-a6f7-356dccd81a3e/regression.txt
逐例结果
SYS
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| SYS-01 | PASS | [R][U] healthz/API 入口和主要静态页面可达；healthz 204。 |
| SYS-02 | PASS | [R][E] 非法日志级别、密码、主密钥、参数等在副作用前被拒绝；help/构建通过。 |
| SYS-03 | PASS | [A][E] 非法 gateway 配置 400；无 Docker socket 的一次性 gateway 非零退出并报告依赖错误。 |
| SYS-04 | BLOCKED | [E] 隔离 control-plane 重启后数据可读；共享 gateway/Profile 重启未执行。 |
| SYS-05 | BLOCKED | [E] 隔离 PostgreSQL 停止时读取为 500，恢复后 200；RUN 规则保存和结构化日志关联未完成。 |
| SYS-06 | BLOCKED | [R][E] 关停模拟和 Docker socket 归属通过；开发模式完整启动/映射未执行。 |
UI
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| UI-01 | BLOCKED | [U][E] 空表单禁用、密码遮挡已见；页面自身提交正确 Basic 凭据未能独立证明。 |
| UI-02 | FAIL | [E] 错误凭据提交后超过 19 秒仍显示“登录中”，未显示 401 文案或清理状态。 |
| UI-03 | BLOCKED | [U] 列表/详情/任务/草稿等路由可达；360px、前进后退完整矩阵未留证。 |
| UI-04 | BLOCKED | 未取得键盘下拉、标签去重和全部基础表单的独立证据，不判通过。 |
| UI-05 | FAIL | [U][E] 确认弹窗/回收操作多次冻结或超时；忙碌禁用子项通过但整体失败。 |
| UI-06 | FAIL | [U] 工作台“规则/线索”页签偶发空白，加载失败与空态不能稳定区分。 |
| UI-07 | BLOCKED | 窄屏、键盘焦点、复制和完整可访问性检查未执行。 |
GW
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| GW-01 | BLOCKED | [A][U] 现有登记、列表和认证读取通过；新登记、重名、token 展示/复制流程未完整执行。 |
| GW-02 | BLOCKED | 未在独立未引用 gateway 上完成改名和错误 token 恢复。 |
| GW-03 | BLOCKED | [A] API 非法字段 400；UI 断网保存、表单保留和恢复未完整留证。 |
| GW-04 | FAIL | [U][E] 页面删除接线落入当前 provider 限制，未形成预期 gateway DELETE 成功链。 |
| GW-05 | PASS | [A] 引用中的 gateway 删除返回冲突并保留引用；未执行资源破坏。 |
IMG
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| IMG-01 | PASS | [A][U] 镜像版本创建、字段边界和非法输入验证通过。 |
| IMG-02 | PASS | [U][A] 禁用/重新启用镜像并回读候选状态通过。 |
| IMG-03 | PASS | [A][U] 未引用镜像删除成功；引用资源保留；取消无删除副作用。 |
| IMG-04 | BLOCKED | 不可拉取镜像的独立环境创建与恢复未执行。 |
NET
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| NET-01 | BLOCKED | 无健康真实代理端点，未创建带凭据的真实出口。 |
| NET-02 | PASS | [A] 空 host、越界端口、未知资源等非法请求被拒绝，无半条记录。 |
| NET-03 | BLOCKED | 无健康代理，未执行真实出口检测或身份不符对照。 |
| NET-04 | BLOCKED | 无健康代理且禁止直连回退的真实场景未执行。 |
| NET-05 | BLOCKED | 无可用出口绑定和故障读取场景，未声称绑定恢复。 |
| NET-06 | BLOCKED | 未停用共享出口，也没有专用 P2 与排队任务。 |
AC
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| AC-01 | PASS | [A][U] 抖音账号建档、trim/tag 和默认授权/暂停状态通过；未把空 Cookie 当登录。 |
| AC-02 | PASS | [A][U] 重复、非法平台/UID 和未知合法标识边界通过；临时账号已撤销。 |
| AC-03 | FAIL | [E] 账号记录为 active/authorized，但 creator capability 解析仍因 credential 缺失失败，不能判 ready。 |
| AC-04 | PASS | [A][U] 暂停/恢复、版本关联及不自动恢复旧 hold 的控制面流程通过。 |
| AC-05 | BLOCKED | [A] 草稿链可建；UI 断网创建、完整失败保留和资源 ready 前置未完整执行。 |
| AC-06 | BLOCKED | [E] gateway identity 真实返回 UID 99491952055；控制面 credential/首次可达性未满足，未伪造 logged_in。 |
| AC-07 | PASS | [A] revoke 204，临时账号失去运行资格；未重建授权。 |
ENV
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| ENV-01 | BLOCKED | 未创建新的专用直连环境，避免改变共享浏览器/Profile。 |
| ENV-02 | BLOCKED | 无健康代理和真实公网 IP 对照，未执行高级指纹环境。 |
| ENV-03 | PASS | [A][U] seed/alias 等边界被拒绝；创建环境页面及依赖提示可达。 |
| ENV-04 | PASS | [A][U] 列表/详情读取通过；未将页面刷新当主动状态探测。 |
| ENV-05 | PASS | [A][U] 已观察共享环境启停/恢复和重复动作边界，最终运行实例恢复。 |
| ENV-06 | BLOCKED | 未在共享环境上执行升级/Profile 保留测试。 |
| ENV-07 | BLOCKED | 无直连/代理双环境和健康 P2，未执行升级重绑。 |
| ENV-08 | BLOCKED | 未对共享运行实例制造并发启动/升级竞态。 |
| ENV-09 | BLOCKED | 未停止共享 gateway 或强制移除共享浏览器容器。 |
| ENV-10 | PASS | [A] 未知动作、非法版本、无效 alias 等 API 输入明确拒绝。 |
GATE
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| GATE-01 | PASS | [A] 无 token/错误 token、非法 body、过大 body、未知路径和正常列表边界已验证。 |
| GATE-02 | BLOCKED | 未在独立 gateway 上完整创建、启停、删除真实实验容器。 |
| GATE-03 | BLOCKED | 无健康代理和隧道目标，未测试 proxy/代际恢复。 |
| GATE-04 | FAIL | [E] identity 读取成功，但受限作品读取得到 HTML web shell/空 detail，不是稳定 JSON；Cookie 注入未完成。 |
| GATE-05 | FAIL | [E] 六类 preview 中 follow 请求失败；confirmed like/repost 得到 TARGET_MISMATCH，未得到计划要求的明确 repost 拒绝码。无平台写成功被计入。 |
| GATE-06 | BLOCKED | [E] 事件读取曾因 CDP Runtime.evaluate 失败；未启动真实订阅/取件确认。 |
PH
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| PH-01 | FAIL | [A][U] API 版本/确认链通过；UI 勾选核对后确认/入队按钮仍不能稳定启用。 |
| PH-02 | FAIL | [A][U] API 同 confirmation 幂等入队通过；对应 UI 入队链受 PH-01 按钮状态故障影响。 |
| PH-03 | PASS | [A] 旧 draft version 返回 409，新版本重新确认/入队成功。 |
| PH-04 | PASS | [A] succeeded、failed、uncertain→needs_confirmation、policy_hold 和非法 outcome 均有明确 Mock 结果。 |
| PH-05 | BLOCKED | 任务状态过滤、空态和全部详情链接未完成独立 UI 留证。 |
| PH-06 | PASS | [A] uncertain→verify(not_executed)→resume→单次 Mock execute 通过。 |
| PH-07 | PASS | [A] uncertain 任务的 succeeded/failed 核验与 finish 可区分、可审计。 |
| PH-08 | BLOCKED | 未暂停共享账号、未停止共享代理/gateway，也未注入未知 hold。 |
| PH-09 | PASS | [A] queued/policy_hold cancel 204；终态任务 cancel 明确拒绝。 |
| PH-10 | BLOCKED | [A] 两 worker 至多一次领取通过；崩溃/租约过期未因共享资源限制执行。 |
AUD
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| AUD-01 | PASS | [A][U] Mock 动作链、task/attempt/runtime 关联和脱敏审计可读。 |
| AUD-02 | BLOCKED | 多条件、日期、深链和非法 RFC3339 的完整矩阵未执行。 |
| AUD-03 | BLOCKED | 未专门生成超过 25 条审计并验证当前页 CSV。 |
| AUD-04 | BLOCKED | 未在共享运行栈阻断 audit GET 后完成恢复核验。 |
SET
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| SET-01 | PASS | [A][U] 默认值、白名单设置读取/保存/恢复通过。 |
| SET-02 | BLOCKED | 数值全边界、审批不完整、设置未知字段/尾随 JSON 的完整用例未独立执行。 |
| SET-03 | BLOCKED | 当前 AI/转写未配置；AI 分析 503 已观察，但真实供应商成功/恢复未验证。 |
| SET-04 | FAIL | [E] metric_age_seconds=60 保存 200 后，超龄作品仍保留未来 next_metric_at 且无停止原因。 |
STR
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| STR-01 | BLOCKED | 未在测试账号上执行密码/实名/业务资料完整保存和敏感字段核验。 |
| STR-02 | BLOCKED | 未完成双账号切换与迟到保存竞态。 |
| STR-03 | BLOCKED | 未在双大号/双小号和跨平台样本上完成关系唯一性流程。 |
| STR-04 | BLOCKED | 六动作策略候选配置未完成独立 UI/API 矩阵。 |
| STR-05 | BLOCKED | 策略排序、删除、解除关系和恢复链未完成独立 E2E。 |
| STR-06 | BLOCKED | 两段保存失败与切换竞态未在 UI 中注入。 |
| STR-07 | BLOCKED | 资料枚举/业务限制/登录结果的完整 API/UI 矩阵未完成。 |
COL
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| COL-01 | PASS | [A][U][E] 竞品登记、主页链接候选和状态读取通过；临时竞品已暂停。 |
| COL-02 | BLOCKED | 无可用真实采集账号，sync 前置无法完成；失败已记录为 503 credential resolution。 |
| COL-03 | BLOCKED | 竞品真实目标、分页和一级评论未采集。 |
| COL-04 | BLOCKED | 自有账号后台采集未执行。 |
| COL-05 | BLOCKED | 回溯、周期、checkpoint 和断点恢复未执行。 |
| COL-06 | BLOCKED | 未做登出/错身份/挑战的真实采集实验。 |
| COL-07 | FAIL | [U][A] API 作品详情/过滤可读，但工作台规则/线索区域偶发空白，整体页面验收失败。 |
| COL-08 | BLOCKED | 未获得真实平台指标和等待窗口。 |
| COL-09 | BLOCKED | 未执行真实同步并发、重复来源和读取故障矩阵。 |
MAT
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| MAT-01 | PASS | [E] 素材选择接口成功且未自动开始处理。 |
| MAT-02 | BLOCKED | 无真实可下载视频、音轨和转写供应商。 |
| MAT-03 | BLOCKED | 无真实无音轨/无语音样本。 |
| MAT-04 | BLOCKED | 未制造真实媒体、磁盘或供应商失败。 |
| MAT-05 | FAIL | [E] 未处理素材的仿写确认/更新返回 409，不能保存要求和人工稿。 |
| MAT-06 | FAIL | [E] 当前部署 material/process 返回 405，处理/仿写边界无法按计划推进。 |
LEAD
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| LEAD-01 | PASS | [E] 规则创建、关键词、列表、详情和非法输入链通过。 |
| LEAD-02 | PASS | [E] 规则编辑、启用/停用和错误返回可见；删除不在当前能力内。 |
| LEAD-03 | FAIL | [U][E] 工作台规则/线索页签偶发空白，一级评论选择/分析入口不能稳定使用。 |
| LEAD-04 | BLOCKED | 未配置真实 AI，未做 owned/competitor 完整线索判定。 |
| LEAD-05 | BLOCKED | AI 503 已观察，但重复分析/禁用规则与恢复矩阵未完整执行。 |
| LEAD-06 | BLOCKED | 没有真实 UID 线索，未验证人工联系入口。 |
| LEAD-07 | PASS | [E] 单评论、单规则、过滤和只读分析结果接口可读；未产生平台写。 |
OP
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| OP-01 | BLOCKED | 无可核验真实评论目标和 connector credential，未执行评论回复。 |
| OP-02 | BLOCKED | API 会话存储通过，但没有真实入站事件，不能替代平台私信验收。 |
| OP-03 | BLOCKED | 未执行真实私信发送和收件方平台核验。 |
| OP-04 | BLOCKED | 未具备两个真实会话/评论，未执行完整草稿切换与迟到响应。 |
| OP-05 | BLOCKED | 未执行真实 gateway 中断后的未知写结果；不自动重试。 |
| OP-06 | BLOCKED | 未执行真实点赞/关注；preview 不作为成功证据。 |
| OP-07 | FAIL | [E] 错误/自目标被 TARGET_MISMATCH 拒绝，但 confirmed repost 未返回明确 REPOST_TEXT_UNSUPPORTED。 |
| OP-08 | BLOCKED | 未完成真实 operation 状态、crypto 禁用和完整 UI 边界矩阵。 |
EVT
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| EVT-01 | BLOCKED | 未建立真实监听基线，也未产生四类平台通知。 |
| EVT-02 | BLOCKED | 无真实事件和页面可见时间戳，未测 5 秒/30 秒。 |
| EVT-03 | BLOCKED | 未停止共享 gateway/浏览器执行断连重连。 |
| EVT-04 | BLOCKED | 未制造真实 ack/processing 中断和恢复窗口。 |
| EVT-05 | BLOCKED | 未建立真实大号/小号策略和四类通知。 |
| EVT-06 | BLOCKED | 未产生真实自动动作，未验证共享冷却/候选/人工例外。 |
| EVT-07 | BLOCKED | 未配置 AI，也未执行真实写失败/不确定场景。 |
| EVT-08 | BLOCKED | 未捕获真实写在途和执行前状态变化。 |
API
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| API-01 | FAIL | [E] 当前补测中未知 owned source 仍返回 201；去重/合法多来源通过，但未知来源预期应拒绝。 |
| API-02 | FAIL | [A][E] 快照、去重、迟到/非法值通过；缩短监测年龄后计划未停止，next_metric_at/原因错误。 |
| API-03 | PASS | [E] 评论导入、去重、详情、过滤、缺作者保留和关联校验通过。 |
| API-04 | PASS | [E] 合法 comment baseline 201/200 去重、process、display 和缺 UID blocked 均通过；此前错误 payload 的 400 不计入。 |
| API-05 | PASS | [E] 消息导入/去重、会话读取和同 peer 跨账号隔离通过；非法字段拒绝。 |
| API-06 | FAIL | [E] body/大小/资源/方法边界通过，但拼错 API 路径和 /api/creator/profiles 返回 200 HTML，不符合公开 JSON 边界。 |
END
| 用例 | 状态 | 结果与证据 |
|---|---|---|
| END-01 | BLOCKED | [E] 自动策略已停用、临时竞品暂停；没有真实平台写账本可做平台侧清理。 |
| END-02 | FAIL | [E] 临时账号/竞品/规则/隔离项目已清理或停用；API 作品、评论、指标、消息、事件无公开删除 API，只能保留 RUN 残余，未满足完全清理。 |
当前缺陷与外部前置
- P1： UI 错误凭据请求长期停留“登录中”，没有可见 401 错误。
- P1： connector credential 解析失败，导致真实竞品/自有采集和平台写操作无法进入。
- P1： gateway 受限读取得到 HTML/空 detail；当前真实作品数据不足以完成采集与写目标校验。
- P1： 事件读取出现 CDP
Runtime.evaluate失败，实时监听、去重、重连和自动响应均无证据。 - P2： 指标监测年龄变更没有重排/停止超龄计划。
- P2：
material/process当前部署为 405，素材处理及仿写依赖链无法进入。 - P2： 工作台规则/线索页签偶发空白。
- P2： API 未知路径出现 SPA HTML 200；应返回清晰 JSON 404/405。
- P2： confirmed repost 未得到明确
REPOST_TEXT_UNSUPPORTED，仅得到目标不匹配。
清理与状态
- 未停止、删除共享 Compose 服务、共享数据卷或共享业务资源。
- 未引用的临时镜像已删除，保留的验收镜像仍为 enabled；临时竞品已 pause；测试规则已 disable；临时账号已 revoke；隔离 Compose 已销毁，容器/卷/网络均为 0。
- settings 已恢复原值；未输出或归档任何 Cookie、密码、token、主密钥或原始平台响应。
- API-only RUN 记录因没有公开删除接口而保留；报告没有把这些记录当作 REAL 验收证据。