feat(core): 角色对白(剧情向按需)+ 聊天精准改一镜 + 模型下拉移位 + 全流程e2e + 交叉验证修复
新能力(均已端到端验证):
- 角色对白 dialogue:[{speaker,line}](speaker=null 即旁白)。默认口播,用户在聊天提要求才出多角色对白(剧情向);narration 保留扁平拼接兼容下游字幕/配音。skill 同步:默认不强制对白。
- 聊天精准改一镜:聊天说「第N镜改XX」→ agent 读全脚本上下文、只重写那一镜(target_index + 后端 _merge_single_segment 强制保其余镜原样),保衔接。
- 前端:分镜卡渲染对白/镜型/露出;模型下拉从顶部移到输入框下方小按钮(对齐 ChatGPT/Lovart)。
全流程 e2e 真跑通:商品→脚本→基础资产(gpt-image-2)→故事板(@图N 多图合成锁脸锁商品)→视频(Seedance 6.4分钟出片,带音效+人声)。
对抗式交叉验证(3 审查员)修复:
- 改稿用基准稿时长 effective_duration(prompt head + normalize + merge),避免请求默认 60 把 90s/6镜稿尾镜截掉/单镜改空转。
- target_index 越界服务端早返回报错、不计费;模型未产出目标镜时抛错释放额度(不静默空转)。
- 前端「第N镜」正则收窄为 镜|场(去掉会误判「第3个卖点」的 个|段)。
- 回归:测试 setUp 停用 seed 中转站文本模型,保证命中可 mock 的 provider(18/18 过)。
CLAUDE.md 加「AI 生成 Agent 化架构」一节供后续维护。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 4.8
parent
163a6627ba
commit
3d38c173e6
@@ -2,8 +2,8 @@
|
||||
|
||||
> **日期:** 2026-06-17(凌晨)
|
||||
> **交接人:** Claude(尹希乐 / seaislee 指导)→ **接手人:** 张业昌 + 你的 Claude + 前端 UX
|
||||
> **分支:** `dev`(已提交 2 commits:`feat` 主体 + `fix` 对抗审查修复;⚠️ 本机 `git push` 对 gitea 返回 403 权限不足,待 seaislee 推送)
|
||||
> **一句话:** 把脚本生成升级成「多模型可选 + 出稿/改稿一体的**流式对话 agent**(挂电商 skill)」,并把 商品→脚本→图片→故事板→视频 的 SOP 用**可插拔 Provider** 打通;参考图分镜(gpt-image-2 @图N)、模特库、Seedance 出音 全部就位。
|
||||
> **分支:** `dev`(本批改动已推送;gitea 凭证已入 git 库,后续 `git push` 自动用 seaislee 账号)
|
||||
> **一句话:** 把脚本生成升级成「多模型可选 + 出稿/改稿一体的**流式对话 agent**(挂电商 skill)」,并把 商品→脚本→图片→故事板→视频 的 SOP 用**可插拔 Provider** 打通;参考图分镜(gpt-image-2 @图N)、角色对白(剧情向按需出)、聊天精准改一镜、模特库、Seedance 出音 全部就位。**全流程已端到端真跑通(含 Seedance 出片)。**
|
||||
|
||||
---
|
||||
|
||||
@@ -33,8 +33,10 @@ npm install && npm run dev
|
||||
| 可插拔 Provider 层(tokenssr/任意中转站) | ✅ 已完成·已验证 | 真打 tokenssr 流式 chat 通过 |
|
||||
| 结构化脚本 agent + 流式 SSE(出稿/改稿/3模式/多模型) | ✅ 已完成·**双验证** | 后端 HTTP 探针 + **无头浏览器视觉自检**(截图见 `_qa_shots/`) |
|
||||
| gpt-image-2 参考图出图 + 落 TOS | ✅ 已完成·已验证 | 文生图→TOS→参考图合成 整链跑通 |
|
||||
| 故事板 @图1@图2@图3 多锚点合成 | ✅ 代码完成 | 逻辑接好,建议接 worker 后端到端复跑一次 |
|
||||
| Seedance 视频出音(generate_audio) | ✅ 已打开 | 默认 True;原来写死 False |
|
||||
| 角色对白(剧情向)`dialogue` | ✅ 已完成·已验证 | 默认口播,聊天提要求才出多角色对白;`_probe` 验只动目标镜+出对白 |
|
||||
| 聊天精准改一镜(`target_index`) | ✅ 已完成·已验证 | 读全脚本上下文、强制保其余镜;90s 改第5镜/越界保护均验过 |
|
||||
| 故事板 @图1@图2@图3 多锚点合成 | ✅ 已完成·**端到端验证** | 真跑 4/4 帧,gpt-image-2 多图合成锁脸锁商品(截图 `_qa_shots/e2e_storyboard.png`) |
|
||||
| Seedance 视频出音 + 故事板帧参考 | ✅ 已完成·**端到端验证** | 真出片 6.4 分钟,带音效+人声,mp4 落 TOS |
|
||||
| 多模型 seed(豆包/GPT-5.5/Gemini + gpt-image-2 + Seedance) | ✅ 已完成 | 数据迁移 0006,`get_default_model` 选取正确 |
|
||||
| 模特库生成器(9:16氛围图→16:9白底三视图) | ✅ 已完成·已验证 | 跑通 1 个,三视图角色一致性极好(截图 `_qa_shots/model_threeview.png`) |
|
||||
| 前端脚本趴(流式工具卡+思考流+模型下拉+改稿) | ✅ 已完成·**浏览器视觉验证** | 见 `_qa_shots/01..03` |
|
||||
|
||||
Reference in New Issue
Block a user