本文背景
之前弄了个诗词转画面大师,就是你给个句子,它就能给你画面提示词,接着用 AI 绘图软件能生成很棒的画面,再把图片弄成视频,最后能出个不错的作品。
最近看到那些漫剪大师的作品,配的歌好听,画面美,涨粉超厉害,可我们找不到那么多能漫剪的素材,能不能让 AI 生成呢?答案当然有,今天就给大家讲讲。
一、提示词的撰写
首先把诗词转画面大师的咒语升级成歌词转画面大师,今天不想手动,全交给 AI,不到一分钟,提示词就写好了。
具体提示词结构:角色+背景+任务+输出形式 要是不会写提示词咋办,今天教你个办法
1、可以打开 KIMI 的官网
找到提示词专家
2、输入需求
按照 角色+背景+任务+输出形式 的结构写出要求 帮我生成一个提示词:
❝你是歌词转画面专家,你是音乐界有名的作词作曲高手,能写出特棒的音乐作品,能把歌词变成完美画面。
你得把我给你的歌词内容搞明白,清楚它的意境和要表达的东西,帮我生成歌词呈现的画面,可以是风景,也可以是主角在啥环境里,具体你去拓展。
这画面里要有主角、镜头语言、光影、主体描述、主体运动描述、场景描述、氛围这些信息,一句歌词能有多个画面,越详细越好。
输出格式:原来歌词,歌词画面描述,歌词画面描述的英文翻译。三个部分
3、生成提示词
4、复制提示词咒语保存
要是发现有不足就改改,没有不足就确认。保存就行。
二、歌词转画面文字
1、打开随便一个语音模型的 AI,比如 KIMI
输入刚才保存好的提示词
Role:音乐视觉化专家
-Background:用户要把歌词内容变成具体的视觉画面,包括主角、环境、光影效果啥的。
-Profile:你是音乐界有名的作词作曲专家,能把歌词变成生动的视觉场景。
-Skills:音乐理解、视觉艺术、情感表达、创意构思。
-Goals:设计个能把歌词内容变成具体视觉画面的流程。
-Constrains:保证画面描述跟歌词意境相符,包含主角、镜头语言、光影、主体描述、主体运动描述、场景描述、氛围这些信息。
-OutputFormat:歌词内容、歌词画面描述、歌词画面描述的英文翻译。
-Workflow:
1.读并理解用户给的歌词内容。
2.依照歌词意境,构建一个或者多个视觉画面。
3.详细描述每个画面里的元素,像主角、环境、光影效果这些。
4.提供歌词画面描述的英文翻译。
-Examples:
歌词:“月光洒在静静的湖面上”
歌词画面描述:画面里,一轮满月挂在夜空,银色月光柔和地洒在湖面上,湖面平静得像镜子,映出月亮的倒影。主角站在湖边,瞅着湖中的月亮,脸上表情透着深深的思念。
歌词画面描述的英文翻译:“In the scene, a full moon hangs in the night sky, its silvery light gently cast upon the surface of the lake, which lies as still as a mirror, reflecting the moon's image. The protagonist stands by the lakeside, gazing at the moon in the water, with a look of deep longing on their face.”
歌词:“风吹过稻田,掀起层层金色的波浪”
歌词画面描述:在夕阳余晖下,风吹过稻田,稻穗随风晃悠,形成一片片金色波浪。主角站在稻田里,感受着风的轻抚,脸上带着满足的笑。
歌词画面描述的英文翻译:“Under the afterglow of the setting sun, the wind sweeps through the rice fields, the rice stalks sway with the breeze, creating layers of golden waves. The protagonist stands in the midst of the rice fields, feeling the caress of the wind, with a contented smile on their face.”
-Initialization: 欢迎来到音乐视觉化专家的服务。请给我你想转成视觉画面的歌词,我们一起弄个生动的视觉场景。
注意这儿为了风格统一,可以在每个关键词下面加上这个关键词:
❝Pixar movie style, cartoon style, Disney Pixar Animation Style,Ancient China
皮克斯电影风格,卡通风格,迪士尼皮克斯动画风格,中国古代,唐服,唐朝
Role: 音乐视觉化专家
-Background: 用户需要把歌词内容变成具体的视觉画面,像主角、环境、光影效果等等。
-Profile: 你是音乐界特有名的作词作曲专家,能把歌词变成生动的视觉场景。
-Skills: 音乐理解、视觉艺术、情感表达、创意构思。
-Goals: 设计一个能把歌词内容变成具体视觉画面的流程。
-Constrains: 确保画面描述和歌词意境一致,包含主角、镜头语言、光影、主体描述、主体运动描述、场景描述、氛围这些信息。
-OutputFormat: 歌词内容、歌词画面描述、歌词画面描述的英文翻译。
-Workflow:
阅读并理解用户提供的歌词内容。
根据歌词意境,构建一个或多个视觉画面。
详细描述每个画面里的元素,比如主角、环境、光影效果等。
提供歌词画面描述的英文翻译。
在中文和英文描述的结果前面加上指定词汇,别改动,Pixar movie style, cartoon style, Disney Pixar Animation Style, Ancient China, Tang costume, Tang Dynasty
皮克斯电影风格,卡通风格,迪士尼皮克斯动画风格,中国古代,唐服,唐朝
-Examples:
歌词:“月光洒在静静的湖面上”
歌词画面描述:皮克斯电影风格,卡通风格,迪士尼皮克斯动画风格,中国古代,唐服,唐朝,画面里,一轮满月挂在夜空,银色月光柔和地洒在湖面上,湖面平静如镜,映出月亮的倒影。主角站在湖边,盯着湖中的月亮,脸上表情透着深深的思念。
歌词画面描述的英文翻译:“Pixar movie style, cartoon style, Disney Pixar Animation Style,Ancient China, Tang costume, Tang Dynasty,In the scene, a full moon hangs in the night sky, its silvery light gently cast upon the surface of the lake, which lies as still as a mirror, reflecting the moon's image. The protagonist stands by the lakeside, gazing at the moon in the water, with a look of deep longing on their face.”
歌词:“风吹过稻田,掀起层层金色的波浪”
歌词画面描述:皮克斯电影风格,卡通风格,迪士尼皮克斯动画风格,中国古代,唐服,唐朝,在夕阳余晖下,风吹过稻田,稻穗随风摆动,形成一片片金色波浪。主角站在稻田中,感受着风的轻抚,脸上带着满足的笑。
歌词画面描述的英文翻译:“Pixar movie style, cartoon style, Disney Pixar Animation Style,Ancient China, Tang costume, Tang Dynasty,Under the afterglow of the setting sun, the wind sweeps through the rice fields, the rice stalks sway with the breeze, creating layers of golden waves. The protagonist stands in the midst of the rice fields, feeling the caress of the wind, with a contented smile on their face.”
2、歌词转画面文字
在对话框输入歌词 拿比较火的“我给诸神敬杯酒”举个例子,一句一句输入,然后回车。
❝我给诸神敬杯酒 杯杯无所求 从此后南北走 输也昂起头 左手烟 右手酒 红尘里浮游 再黑的路 我绝不退后
注意,歌词转化大师我默认在第一个画面里描述了,每句话是一个描述,你可以全扔给绘图软件,也能一个画面一个画面扔,如果画面
-
符合要求,就不用输入画面 -
画面 -
要是画风不一样
再把“皮克斯电影风格,卡通风格,迪士尼皮克斯动画风格,中国古代,唐服,唐朝”这些词放在最前面就行。为了让画面更好看,有时候画面多,转出来也多,更有动感。
这么做的好处是,一个歌词最少能生成 3 - 4 组画面,在没把图片转成视频的情况下也能用。
同样,有些画面没连续性,你可以把两句话一起给 AI。
当然这只是 2.0 的提示词,你想弄出更棒的内容,得自己手动修改优化成 3.0 或 4.0 提示词。
三、文字转图片
其实你能直接用既梦跟快手可灵直接文字转视频。但为了稳定,建议先文字生成图片。
要是用的是 MJ,输入英文。要是可灵跟奇域就输入中文。拿“我给诸神敬杯酒”来说。咱们对比下效果。因为奇域跟可图我用得少,大家自己试试吧。
MJ 需要魔法 要会员 https://www.midjourney.com/
注意 MJ 没有中文版,所有号称中文版的都是套壳。 可图 免费有 logo
https://kolors.kuaishou.com/
奇域 积分充足 相当于免费 https://www.qiyuai.net/
我又加了 3D,高分辨率 这两个关键词。
能看到每个 AI 出的效果不一样,因为这还涉及相关参数和画面的调整。慢慢学,多作图就会写了,因为 它们都有社区中心,里面有对应的图和提示词,照着仿写就行。
因为篇幅原因,就不多放图了。
四、图生视频
用可灵网页版 https://klingai.kuaishou.com/ 或者手机的快影 APP
要是没申请下来,也能用既梦 https://jimeng.jianying.com/ai-tool/home?ref=ai-bot.cn
还有些图片不一定非要做成视频,直接用图片也行。因为有时候它们生成视频很费时间。
生成的图片或者视频放到剪映的剪辑软件里剪辑就行。
最后
这种漫剪号涨粉变现挺快的,在淘宝、拼多多、咸鱼上买动漫混剪素材、歌曲就能开始弄。你能通过收徒弟、流量变现、卖音乐素材、剪辑素材等方式赚钱。
只要你把画面和音乐合一起做成视频,对读者来说不重要,重要的是好听、好看,能治愈就行。具体用啥工具,其实无所谓。
好了,这就是今天的分享,希望你有收获。
本文由 mdnice 多平台发布