rogee/creator-hub
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
220 Commits 1 Branch 0 Tags
main
Commit Graph
8 Commits
Author SHA1 Message Date
rogee 0879d9fd25 refactor(schema): 迁移 043 schema 收敛——42→19 张表，统一迁移 runner 
- 迁移 043 一次到位：runtime_instance/environment_binding 并入 browser_env（账号即环境）、
  credential_reference 并入 social_account、work_source/metric_plan 并入 creator_work、
  sync 租约并入 creator_collection_checkpoint(kind='sync')、audit_event 瘦列、
  creator_settings 去转写列、TRUNCATE 账号域（竞品采集数据无损保留）
- 统一迁移 runner：environment.Open 串起 001 账号基座 + hub 链 + 038 creator 版本回填
  (v+1000) + creator 1017-1042 + 043；account/creator Open 不再迁移
- 三域 store SQL 全量适配：CreateBoundEnv 就绪门禁、SetRuntimeCleanupPending fence
  语义（未知代 MissingRuntimeID 允许登记并释放活跃实例）、metric_plan 列并入 work、
  checkpoint sync 租约、deletion 链路重写
- api 适配：envView 去 runtime_instance_id、audit filter 去任务列、browser_env 单表查询
- 测试：迁移 043 形态探针、迁移不可变映射新路径、legacy 迁移重放子测试重写、
  fence/出口生命周期/单来源 upsert 语义覆盖；CREATORHUB_POSTGRES_TEST_URL 全绿，
  environment 70%/creator 67.5% 覆盖率，tsc 通过
 2026-09-28 19:48:55 +08:00
rogee c567080248 refactor(api): 删除运营链路与 runtime_use_lease 
删除任务链（drafts/confirmations/tasks/attempts）、creator 运营链（策略/事件/操作/会话/消息/监听器/素材/关系）、runtime_use_lease 机制及其 API/UI；taskstate 包与对应测试一并移除。
 2026-09-28 17:14:00 +08:00
rogee 3f1e2d39f4 feat(creator): 自有账号监控后端——播放量入库、账号粉丝时序快照、监控 API 
- migration 040/041：creator_work 与 creator_work_metric 加 play_count；新建 creator_account_metric 时序快照表
- douyin：详情接口解析 play_count；self profile 扩展解析粉丝/关注/获赞/作品数（flexibleInt 兼容字符串）
- creator store：PlayCount 全链路（UpsertWork COALESCE/RecordMetric/ListMetrics）；RecordAccountMetric/ListAccountMetrics/ListAccountMonitorViews/GetAccountCollectionStatus
- controlplane：syncCreatorOwned 成功路径末尾记账号画像快照（失败 errors.Join 不吞错）；新增 monitor-views/collection-status/metrics/sync 四个路由；creatorError 补 account.ErrNotFound→404
- 测试：integration/douyin/api 断言播放量落库与 COALESCE 语义、快照覆盖语义、路由 happy path 与 409/503/404 语义
 2026-09-27 22:05:01 +08:00
rogee 221ed65e32 feat(creator): 竞品作品同步改用匿名浏览器并限制并发 
- 竞品同步不再依赖自有采集账号：每次同步按名额（并发上限 2）创建匿名浏览器，
  导航至抖音首页等待访客 cookie 稳定后经网关受限 fetch 拉取作品
- 调度器对到期竞品并发同步，名额耗尽时排队等待
- 平台风控语义（实测，与公开爬虫项目一致）：作品列表匿名仅能取第一页
  （16-20 条），后续页一律空 envelope；空 envelope 视为正常分页终止
- 评论解析适配真实响应：reply_id="0" 为顶层评论、作者取 user 对象、
  纯图片评论（text 空但带 image_list）记为「[图片]」
- fetch 签名与白名单：注入 byted_acrawler.frontierSign 的 a_bogus，
  网关放宽响应上限至 8MB 并允许签名参数
 2026-09-27 15:43:03 +08:00
rogee 6cd4cdc57f refactor(platform): 平台收敛为抖音——移除小红书全链路，监控账号新增画像字段与卡片列表 
- 移除小红书：internal/platform/xiaohongshu、controlplane XHS 分支与路由、
  browser_gateway XHS 平台模块与处理器、前端平台选项；migration 038 清理
  XHS 数据并将 creator_* 平台 CHECK 收紧为 douyin
- creator_competitor 新增 follower_count/following_count/aweme_count（仅
  接口定义返回，暂不采集回填）；列表接口返回 work_count 与
  latest_published_at（creator_work_source 聚合 MAX(published_at)）
- 导入页账号名称列展示作者头像（share job 列表带出 avatar_url）
- 监控账号页改 antd Listy 卡片列表（头像+粉丝/关注/作品/最近发布/同步状态）；
  AccountManagementList 收敛为 owned 专用
- 环境模块清理 browser_version 遗留：migration 034 补齐删列，修复 store.go
  中 hub 别名悬空引用，测试 fixture 对齐新 schema
 2026-09-24 19:30:28 +08:00
rogee 4f736cba21 feat: split account management 2026-09-21 16:44:09 +08:00
rogee 7934435475 remove browser version management 2026-09-21 08:47:21 +08:00
rogee 2275075d7e refactor: reorganize project by component 2026-09-18 19:00:31 +08:00