rogee
|
e50bed9ad8
|
feat: add account events and private message management
douyin-release-gate / verify (push) Failing after 18m54s
Add Douyin notification polling, event details, and manual multi-account private messaging.
Refine environment memory settings, account operations, login collection recovery, and message UI; update tests and documentation.
|
2026-10-07 10:23:05 +08:00 |
|
rogee
|
950b23da32
|
feat: unify account environments and work collection
|
2026-10-06 13:00:29 +08:00 |
|
rogee
|
b72727451d
|
fix: share Xvfb display across browser instances
|
2026-10-06 12:59:55 +08:00 |
|
rogee
|
f1a62e25de
|
feat(account): create browser environments before verified login
douyin-release-gate / verify (push) Failing after 4m22s
|
2026-10-06 05:55:53 +08:00 |
|
rogee
|
fa558d9a64
|
fix: show sync failures on hover and preserve browser error details
|
2026-10-05 22:14:15 +08:00 |
|
rogee
|
04407fb6b2
|
feat(gateway): 扫码登录默认打开 douyin.com/user/self 个人中心页
未登录访问会引导登录,登录后浏览器停留在账号个人中心(用户指定页面,替代原首页)
|
2026-09-30 12:50:19 +08:00 |
|
rogee
|
09a039eed2
|
fix(gateway): 删除/清理代际放行——runtime_id 为空或 sentinel 时不再与 released 残留代冲突 409
douyin-release-gate / verify (push) Failing after 4m30s
- pause 后(只剩 released 记录)账号删除链路:控制面以空/哨兵 runtime_id 发 DELETE,
_find_record_for_generation 不再回落命中 released 旧代,remove/purge 静默无副作用返回
- running 等实物代仍严格 fence(真实代 DELETE 行为不变)
- 回归:sentinel remove noop + purge released profile 两用例
|
2026-09-28 23:54:32 +08:00 |
|
rogee
|
77e79982fa
|
fix(gateway): douyinpic 图片 fetch 改 credentials omit——修复封面缓存全量 502
douyinpic CDN 恒返回 Access-Control-Allow-Origin:'*',跨站 fetch 带 credentials:'include'
按 CORS 规范必被拒(TypeError Failed to fetch),封面回填全部失败、creator_work_cover 落 0 行。
公共图片不需要 cookies,改 credentials:'omit' 后浏览器内 fetch 200,回填链路恢复。
验证:test_gateway 55 例全绿;实测 anon 浏览器 image fetch 200 image/jpeg;强制同步后
creator_work_cover 落 7/7(该账号全部作品),/works/:id/cover 正常输出 JPEG。
|
2026-09-28 11:57:28 +08:00 |
|
rogee
|
143f3b263e
|
fix(creator): 竞品分析页走查修复——封面本地缓存、作者名、指标全宽行、数量入卡片标题
- 后端:works 采集解析 author.nickname 与 video.cover.url_list(migration 042 新增
creator_work_cover 本地缓存表);竞品同步成功后回填缺失封面(单次上限 40,余量自愈)
- 网关:新增 /douyin/image 浏览器内 fetch 图片端点(douyinpic CDN 白名单、4MB 限额)
- API:GET /api/creator/works/:id/cover 输出本地缓存封面(private 缓存头)
- 前端:封面改读本地缓存(认证 fetch + blob);点赞/评论/分享全宽行贴封面下方;
作者名独立展示;'下次采集'移除;作品总数移入卡片标题右侧 extra
- '已核验' 状态标签补充 Tooltip 释义(发布时间已从平台数据成功解析核验)
测试:douyin 解析 3 例、cover 存储 PG 集成 1 例、网关 image 3 例全绿
|
2026-09-28 10:39:56 +08:00 |
|
rogee
|
6953c32434
|
fix(gateway): 端口冲突报错友好化——Python 层 EADDRINUSE 一行化,dev 脚本启动前预检并给出占用进程与处理建议
|
2026-09-28 09:33:05 +08:00 |
|
rogee
|
221ed65e32
|
feat(creator): 竞品作品同步改用匿名浏览器并限制并发
- 竞品同步不再依赖自有采集账号:每次同步按名额(并发上限 2)创建匿名浏览器,
导航至抖音首页等待访客 cookie 稳定后经网关受限 fetch 拉取作品
- 调度器对到期竞品并发同步,名额耗尽时排队等待
- 平台风控语义(实测,与公开爬虫项目一致):作品列表匿名仅能取第一页
(16-20 条),后续页一律空 envelope;空 envelope 视为正常分页终止
- 评论解析适配真实响应:reply_id="0" 为顶层评论、作者取 user 对象、
纯图片评论(text 空但带 image_list)记为「[图片]」
- fetch 签名与白名单:注入 byted_acrawler.frontierSign 的 a_bogus,
网关放宽响应上限至 8MB 并允许签名参数
|
2026-09-27 15:43:03 +08:00 |
|
rogee
|
6cd4cdc57f
|
refactor(platform): 平台收敛为抖音——移除小红书全链路,监控账号新增画像字段与卡片列表
- 移除小红书:internal/platform/xiaohongshu、controlplane XHS 分支与路由、
browser_gateway XHS 平台模块与处理器、前端平台选项;migration 038 清理
XHS 数据并将 creator_* 平台 CHECK 收紧为 douyin
- creator_competitor 新增 follower_count/following_count/aweme_count(仅
接口定义返回,暂不采集回填);列表接口返回 work_count 与
latest_published_at(creator_work_source 聚合 MAX(published_at))
- 导入页账号名称列展示作者头像(share job 列表带出 avatar_url)
- 监控账号页改 antd Listy 卡片列表(头像+粉丝/关注/作品/最近发布/同步状态);
AccountManagementList 收敛为 owned 专用
- 环境模块清理 browser_version 遗留:migration 034 补齐删列,修复 store.go
中 hub 别名悬空引用,测试 fixture 对齐新 schema
|
2026-09-24 19:30:28 +08:00 |
|
rogee
|
86a332997e
|
fix gateway share resolution and competitor identity
|
2026-09-21 12:51:58 +08:00 |
|
rogee
|
7934435475
|
remove browser version management
|
2026-09-21 08:47:21 +08:00 |
|
rogee
|
666f4580db
|
fix: make gateway request logs readable
|
2026-09-20 15:23:05 +08:00 |
|
rogee
|
8d35318c7e
|
feat: complete TanStack dashboard acceptance
|
2026-09-19 12:09:01 +08:00 |
|
rogee
|
2275075d7e
|
refactor: reorganize project by component
|
2026-09-18 19:00:31 +08:00 |
|