今天给大家介绍一个自动化剪辑项目——FunClip,该项目是由阿里开源的,可以识别音频、视频中的文字,一键剪辑和添加字幕。
FunClip是一款高效的自动化视频剪辑工具,它利用语音识别技术对视频内容进行分析。用户可以在识别结果中选择所需的文本片段或特定说话人,然后通过点击剪辑按钮,快速获得所选片段对应的视频片段。
【FunClip校对版,音视频识别,自动化剪辑,文本校对,智能纠错,导出SRT】 https://www.bilibili.com/video/BV164pyekEv6/?share_source=copy_web&vd_source=09316244e4ff3a9793930d67cf748288
语音识别基于阿里巴巴通义实验室自研并开源的FunASR工具包,以及Paraformer系列模型,这些技术涵盖了语音识别、端点检测、标点预测、时间戳预测、说话人区分以及热词定制化等开源链路,为用户提供了一种创新且便捷的视频编辑解决方案。
我在一位粉丝的建议下增加以下几个功能:
- 增加文本校对功能
- 增加大模型智能纠错(支持kimi和千问plus)
- 支持导出正确的SRT
配置要求
以下是整合包运行所需配置
WIN
- Windwos10/11操作系统
- 支持CPU/GPU
- N卡8G显存(6G显存没测试过)
MAC
- Apple Silicon M系列芯片
- MacOS 12.1以上版本
快速上手
上传视频或音频
点击识别
识别后会生成识别的结果和SRT字幕
然后我们需要拿着生成的结果去做裁剪
裁剪方式有两种:
- 大模型智能裁剪
- 根据文本/说话人裁剪
大模型智能裁剪需要选择模型和填入apikey
根据文本/说话人裁剪需要将刚才识别出的文本粘贴进文本框内
然后点击裁剪或者裁剪+字幕
这里我选的是裁剪+字幕
生成的视频中会自动添加字幕
以上就是比较简单的使用流程,下面我来介绍下校对功能的使用
文本校对
如何开启文本校对和智能纠错?
原始文本里上传你的文案即可开启。
如果没上传,默认不开启校对和纠错。
文案格式目前只支持txt。
例子1:
例子2:
文本无论每段换行或者都写在一段里都支持。
然后记得上传视频和音频
智能校对/纠错需要用到大模型,这里需要填写对应的APIkey。APIkey的获取教程后面有讲到。
这里我只添加了两个大模型,一个是kimi,一个是千问plus。
根据测试kimi会更准确些,所以比较推荐kimi的。
考虑到网络环境的问题,我只添加了国内的。
其实还可以添加更多的...后面再说吧
填写APIkey,粘贴进去是换行的没关系的,你只要复制的时候没空格没换行就可以。
然后点击识别
校对模式下的识别速度要比普通识别速度慢一些(需要请求大模型)
然后可以看到原始文本、识别结果、文本比对这三个部分。
蓝色是识别的结果,红色是原始文本的结果
同样的,也会生成一份SRT的对比
正确的SRT文本会在项目目录内的SRT文件夹
内
SRT里的内容已经是纠错后的内容。
比如你正确的文案里是有2个
,然后识别的是有一个
最后纠错后的SRT里就是有2个
以上就是校对的使用方式。下面讲下如何获取APIkey
获取APIkey
kimi
官网
https://login.moonshot.cn/?source=https://platform.moonshot.cn/redirect&appid=dev-workbench
登录后实名认证
然后在APIkey管理这里新建一个,将APIkey填入FunClip中即可
新用户应该会送15元的额度
阿里千问plus
官网
https://account.aliyun.com/login/login.htm?oauth_callback=https://bailian.console.aliyun.com/&lang=zh#/home
创建APIkey
选择默认的业务空间
点击查看
点击复制,将这个key粘贴到FunClip中就可以
记得点击这里的开通,不然的话apikey无法正常使用。
确认开通就可以了。
注意
比较遗憾的是校对模式不支持在FunClip中进行直接添加字幕。
比如我们将正确的文案输入进去。
添加字幕的时候会报错
这是因为FunClip添加字幕的时候是以识别的结果来的,这部分的逻辑我还在看,如果后续支持会更新新的版本。
所以目前的解决方案是拿正确的SRT去剪辑软件中添加字幕
整合包获取
👇🏻👇🏻👇🏻下方下方下方👇🏻👇🏻👇🏻
关注公众号,发送【FunClip】关键字获取整合包。
如果发了关键词没回复你!记得看下复制的时候是不是把空格给粘贴进去了!
【FunClip校对版,音视频识别,自动化剪辑,文本校对,智能纠错,导出SRT】 https://www.bilibili.com/video/BV164pyekEv6/?share_source=copy_web&vd_source=09316244e4ff3a9793930d67cf748288
写到最后
起初是一位老哥(id:夢想家静旬)找到我跟我聊这个项目,问能不能加一个导出srt的功能。
再加上我很早就看到FunClip这个项目,但是一直还没来得及制作。
我觉得可以,导出SRT功能没什么难度,接着他又跟我讲了能不能做个纠错,因为某些情况下AI并不是能很好的识别出正确的文案,但是他们有原始的正确文案。希望可以用FunClip识别字幕,识别分段和标点符号,最后根据正确的文案更正到SRT文件中。
并且给我讲了几个使用场景
并且非常耗费时间
我觉得这个想法挺好的,可以搞一个试试。
在与老哥讨论了一段时间后做出了第一个版本的纠错Demo
然后老哥也提了一些建议,比如界面不够直观、导出srt问题等。调整后也就是大家看到的这个版本。
当然老哥也有建议我收费,我觉得没必要。
因为这个只是我学习过程中的一次尝试,再加上这个功能在某方面还不完美。
独乐乐不如众乐乐,希望可以帮助到更多人。
制作不易,如果本文对您有帮助,还请点个免费的赞或在看!感谢您的阅读!