Jellyfish 评测:开源 AI 短剧工作流,想解决人物漂移和流程割裂
一站式 AI 生成短剧(竖屏短剧 / 微短剧)的生产工具
从剧本输入 → 智能分镜 → 角色/场景/道具一致性管理 → AI 视频生成 → 后期剪辑 → 一键导出成片
📷 项目截图 / Screenshots

一、做 AI 短剧,最烦的就是当“人工缝合怪”
现在用 AI 生成个视频片段不难,难的是怎么连贯地讲完一个故事。很多人做竖屏短剧,其实就是在“手动抽卡”:在文本模型里写剧本,去 Midjourney 垫图,最后丢进视频生成模型里等结果。
主角前一秒还是瓜子脸,切个远景直接变大妈了。为了保住“人物一致性”,你得搞个巨大的表格,把每个角色的提示词、垫图链接存起来,每次生成都要来回复制粘贴。这说白了就是赛博时代的流水线打螺丝。
今天要聊的 Jellyfish,就是一个想把这些重复操作尽量收拢起来的开源项目。它不做底层大模型,而是想把剧本、分镜、角色资产、视频生成和剪辑尽量串到一条流程里。

二、这套工作流想怎么处理“人物漂移”?
Jellyfish 没用什么玄乎的黑科技,它的核心思路非常实在,就是把做视频变成了“拼积木”,重点放在了资产复用的逻辑上。
- 全局风格与种子统一:建项目时锁定全局风格,尽量减少后续分镜在生成时的随机漂移。
- 双层资产库设计:捏好的角色或装备存进库里打上标签,下一个镜头需要用到时直接调标签,目标是省去重复手敲冗长 Prompt 的麻烦。
- 分镜控制粒度:从项目设计来看,它希望把分镜编辑做得更直观、更细一点,比如支持首尾关键帧独立提示词。
这工具本身不包算力。根据官方说明与项目设计方向,你可以自备 API Key,文本端对接 OpenAI、Claude 等,视频端则覆盖 Kling、Runway、Luma 等服务。
三、极客探路指南:别卡在 API 联调上
如果你有技术背景想拉代码跑跑看,目前 Jellyfish 的界面框架和模型管理部分已经能跑通。但有一个前后端联调的机制,很多新手容易踩坑。
它的前端请求是跟着后端 OpenAPI 规范自动生成的。如果启动后发现前端狂报接口错误,先确保你的后端在本机
8000 端口跑起来了,然后切到前端目录跑一句 pnpm run openapi:update,让它更新类型文件。提醒一句:官方 Roadmap 明确标示了核心的分镜渲染链路还在开发中,目前也没有一键部署包。现阶段它更适合技术团队用来摸索架构方向,而不是直接拿去上生产线。
四、算笔经济账:为什么我们需要优化流程?
搞过视频 API 的朋友都知道,现在高阶视频模型的计费可不便宜。如果全靠人工瞎试,高昂的废片率月底一看账单能让人心梗。
折腾这类工作流工具,核心诉求在于“成本控制”。如果项目后续的工作流编排和参考图复用能顺利落地,将有机会减少团队的重复试错和无效调用。对批量内容生产团队来说,这类流程优化才更有实际价值。(API定价与支持策略以各官方页面为准)。
如果你正准备搭建团队的 AI 基础设施,除了视频生成链路,底座模型的选择也同样关键。
| 模块 | 核心功能 | 亮点特性 |
|---|---|---|
| 项目管理 | 创建项目、全局风格/种子统一控制、项目仪表盘、章节统计 | 全局种子防漂移、风格强制继承 |
| 章节拍摄工作台 | 剧本输入 → 智能精简 → 智能分镜提取 → 分镜编辑 → 视频生成 → 预览 | 三栏式布局、可收起右侧属性面板、批量操作 |
| 分镜精细控制 | 景别/角度/运镜/情绪/时长/氛围/对白/配乐/音效/隐藏分镜 | 首/尾/关键帧独立提示词、多版本管理 |
| 高级生成控制 | 参考图跨分镜引用、ControlNet骨骼/深度、智能对口型、模型/时长选择 | 动作可控 + 口型同步 |
| 资产管理系统 | 角色/场景/道具/服装集中管理、智能提取 + 手动关联 + 提示词模板 | 项目资产库 vs 全局资产库双层体系 |
| 提示词模板库 | 分镜/角色/场景/视频/配乐/音效/综合提示词模板 | 一键初始化新章节 |
| 视频后期剪辑 | 时间线编辑、多轨视频/音频、素材库拖拽、最终导出 | 从 AI 片段直接剪辑成完整短剧 |
| Agent 工作流 | 剧情提取 / 角色提取 / 分镜建议 等可定制 Agent,支持可视化编排与测试 | 类似 Dify 的节点式工作流编辑器 |
| 模型管理 | 多供应商(OpenAI/Claude/通义/混元等)管理、模型分类(文本/图/视频) | 每类可设默认模型、快速测试连接 |
| 生成素材管理 | 图片/视频统一预览、标签标记、过滤、批量导出 | 支持优质素材快速复用 |
- 短剧/微短剧内容创作者
- AI 影视工作室批量生产
- 个人创作者想低成本试水竖屏短剧
- 教育/培训机构制作教学短视频
- 品牌/电商制作带剧情的产品宣传短片
- 前端:React 18 + TypeScript + Vite + Ant Design / Tailwind CSS
- 状态管理:Redux Toolkit / Zustand
- 工作流编辑:React Flow
- 视频播放器:Video.js / Plyr
- 富文本/代码编辑:Monaco Editor / React Quill
- 后端(可选开源部分):Node.js / NestJS / FastAPI / Spring Boot
- AI 生成层:对接多种大模型 API(OpenAI / Anthropic / Midjourney / Runway / Kling / Luma 等)
前端请求函数与数据结构由后端 OpenAPI 文档生成,生成目录为 front/src/services/generated/,OpenAPI 文档缓存为 front/openapi.json。
在后端开发服务已启动(默认 http://127.0.0.1:8000)时,在前端目录执行:
cd front
pnpm run openapi:update
说明:
openapi:update会先拉取http://127.0.0.1:8000/openapi.json到front/openapi.json,再生成代码到front/src/services/generated/- 如需修改请求基础地址(默认同源
/api),可在应用启动处调用initOpenAPI('http://127.0.0.1:8000'),配置文件见front/src/services/openapi.ts
🚀 项目获取与官方通道
🌐 官方 GitHub 仓库直达
关注 Jellyfish 开源短剧工厂,获取最新源码与架构说明
🐙 开发者 Issues 交流区
追踪核心分镜渲染功能的开发进度,参与分镜与自动化工作流相关探讨
相关文档
评论与补充0
有问题或想补充的,写在下面 · 选中正文文字再点「报告错误」会自动引用还没有评论。有疑问、补充,或者发现错字,都可以写在下面。