AI助力古诗视频制作全流程化教程
目录
1. 制作视频的原材料(全自动)
2.文生图:图像生成(手动)
3.文生音频:TTS技术(全自动)
4.视频编辑(手动)
5.自动发布多平台(全自动)
下一步计划
AI助力古诗视频制作全流程化教程
从上一篇“如何利用AI制作“小学古诗”视频?”发布后,我经过一段时间的实践,古诗视频制作基本实现了流水线生产方案,涉及的技术汇总如下:
1. 制作视频的原材料(全自动)
参考AI智能体实战案例,可以借鉴“实现一个自动生成小学生古诗词精读讲稿及插画的智能体”和“AI 智能体实战|优化迭代小学生古诗陪读智能体,提升使用体感”的思路。
通过重新编写程序调用LLM(大型语言模型),我们可以批量生成译文、图片提示词、音频文案等,为视频制作提供基础素材。
核心代码如下:
def call_api(messages, model_name="openai"):
if model_name not in clients:
raise ValueError(f"Unknown model: {model_name}")
client = clients[model_name]
model = MODEL_CONFIGS[model_name]["model"]
response = client.chat.completions.create(
model=model,
messages=messages,
temperature=0.7,
max_tokens=4000
)
return response.choices[0].message.content
def generate_poetry_explanation(poem_name,model_name="openai"):
messages = [
{"role": "system", "content": SYSTEM_PROMPT_POETRY},
{"role": "user", "content": f"请讲解这首古诗:{poem_name}"}
]
return call_api(messages, model_name)
2.文生图:图像生成(手动)
在图像生成方面,虽然国外平台如MJ在图片质量上可能更胜一筹,但考虑到网络访问的便捷性,我选择了国内免费的平台【即梦、可灵】。
关于文生图,可以参考“AI生成衣服搭配视频全流程”。目前,文生图仍需人工选择更合适的图片,这一步骤会耗费一些时间。
3.文生音频:TTS技术(全自动)
在文本转语音(TTS)技术方面,有许多选择,包括免费的ttsmaker。目前,我主要使用微软的文本转语音库,并自行编写代码生成音频。
核心代码如下:
communicate = edge_tts.Communicate(text, voice, rate=rate)
file_name = f"{uuid.uuid4()}.mp3"
file_path = os.path.join(CACHE_DIR, file_name)
await communicate.save(file_path)
4.视频编辑(手动)
准备好图片和音频后,接下来就是视频编辑工作。我使用的是【剪映】,只需掌握一些基础的编辑技术。可以参考“用AI把一张竹节人照片生成一个短视频”的教程,学习如何将素材整合成完整的视频内容。
5.自动发布多平台(全自动)
每次发布,需要填写诗文介绍和设定定时发布,我使用playwright模拟人工操作流程实现自动批量发布到多个平台。这一步骤大大节省了手动发布的时间,提高了工作效率。
核心代码是找到控件,然后点击,代码参考:
# 找到并点击“定时发布”单选按钮
schedule_radio = page.locator('label.el-radio span.el-radio__label:text-is("定时发布")')
await schedule_radio.click()
# 等待日期时间输入框出现
date_time_input = page.get_by_placeholder("选择日期和时间")
await date_time_input.click()
类似命令行工具是可以用AI直接生成:
usage: upload_cli.py [-h] {login,single_upload,batch_upload} ...
Upload video to multiple social media platforms.
positional arguments:
{login,single_upload,batch_upload}
Choose an action
login Login operation
single_upload Single video upload operation
batch_upload Batch video upload operation
下一步计划
提升自动化
文生图是否使用自动化呢?为什么没有用API直接文生图,因为最大的问题是图片的可靠性无法保证,有时需要出几次图才能选择到可用的图片。未来可考虑的方向是用大模型对图片进行审核,自动筛选出优质图片作为备选,减少人工筛选的时间。
视频编辑自动化的探索,用ffmpeg能实现很多视频处理的操作,如果素材是确定性的话,自动化是完全没有问题,但前提是需要先解决掉素材的确定性。当然,也可以先探索半自动化,把一些确定性的操作流程化。