目前市面上有人销售199的sora2分镜工作流,我大概看过一个直播琢磨了一番,然后手搓了一个sor2分镜提示词工作流,生成的图片大概如下图这个样子,左边实拍图右边9张分镜图!

其实这个工作流很简单和我之前搭建的三宫格图一样的逻辑,只是这个是9个分镜那个是3个分镜,如下图可查阅!
爆火的三宫格comfyui工作流来了,一键生成抖音爆款三宫图,含搭建教程!
那么如何搭建sora2分镜工作流呢?老规矩先说一句话原理,借助Qwen-edit编辑模型给大模型一个图片,让它反推出9组分镜提示词,在将9组分镜提示词分别输入千问编辑模型生图,在把生成的图片组合到一起就可以!接下来具体看如何搭建!
1.搭建千问edit工作流

这里模型需要用一个素描或者铅笔画的lora,和next scene lora,增加分镜的叙事性和逻辑性,生成具有自然视觉过渡的电影图像序列。这个模型使 Qwen Image Edit 能够像电影导演一样思考——理解摄像机动态、视觉构图和叙事连续性,从而创建出能够无缝衔接的镜头

2.大模型的指令的设置

这里大模型我选择的是minicpm-4大模型,你选择其他的也可以,把两张图片用mulit image input组合成批次给大型参考!
指令方面经过调试可以具体输入你给大模型的是什么产品,你想要大模型生成什么样风格的分镜指令,这样让生成的指令更符合你的预期,而且我给大模型的指令是模仿同类产品的火爆脚本!
例如你输入可乐,它会模仿可口可乐tvc广告的脚本去生成,你输入小馒头,它会模仿旺仔小馒头的脚本去生成分镜!
3.提示词分割及处理

大模型生成的提示词是一整段的,而且段与段之间还有空格,所以这里我们用“常规字符处理”这个节点去空行,并用prompt line这个节点将一组batch节点变成list(列表)去输入,如上图最右!这样是不是就会有9张分镜的提示词了,可以直接输入到刚才上面搭建的千问编辑模型即可!

插播一个分镜,这里我们发现有一个分镜不是我们想要,例如第四张,你可以把第四张的分镜提示词单独拿出来去生成!
4.分镜的组合

这里只说一点刚才我们是用List的形式输入采样的,所以生成的图片也是list的形式存在的,所以我们需要用Image from list这个节点把0-9分别取出来做并用图像连接节点 concatenate image组合!
这里我尝试过用过for loop循环,这样就不需要把image from list 9个都列出来了,但是问题是不好组合到一起了!还是技术差点意思,我还会在学习,因为理论上可以实现!
最后几个用sora2生成的例子吧,未放大,未去水印,因为最近太忙了!
1.康师傅拌面

https://www.zhihu.com/video/
2.可口可乐

https://www.zhihu.com/video/0
需要工作流看主页,今天就到这里!以上如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/262292.html原文链接:https://javaforall.net
