体验网站链接：https://avse.vercel.app
GitHub网站链接：GitHub - yoeven/ai-video-search-engine
原文地址：视频搜索AI平台，输入关键词全网查找相关内容-喜好儿aigc
这个平台允许用户通过类似自然语言的查询方式搜索视频，例如输入“如何做蛋糕”就可以获得相关操作教程视频。除了搜索结果列表，平台还提供与视频内容实时对话的功能。比如在搜索结果视频播放期间，用户可以向系统提问视频中的细节，系统会自动在视频内容中找到答案进行回答。这就像跟一个指导员一样解答疑问。
从了解到，该平台至今已索引来自YouTube近17,245个视频，内容总时长超过276,556分钟。平台规划未来将扩充更多视频源，包括增加来自TikTok的视频索引。此外，还计划利用Whisper等技术转录没有字幕的视频，并定期通过自动化方式从YouTube和TikTok刷新导入最新视频，以不断丰富索引库内容。同时，平台也将提供一个页面记录所有用户之间在视频内容上的实时交流对话，以方便回顾与分享。
主要技术原理：
视频内容理解：
- 平台利用开源框架Hugging Face中的语音识别模型，针对来自YouTube的视频进行语音到文本的转录。
- 经转录后的视频文字内容会根据语义分割为不同段落块。每个段落均附有时间戳,以智能标注出文字对应视频片段的位置时间。
- 该技术通过对视频语音信息进行深度学习处理，能高精度转换为视频描述性文本，同时实现智能将文本细分为搭配时间线的语义块。
- 这使得视频内容得以结构化索引，便于后续应用如信息检索和问答处理。
搜索功能：用户可以通过提出问题来搜索视频。
- 该系统采用基于深度学习的语义向量模型，将视频内容和用户查询转换为同样的高维空间内的向量表达。它通过计算视频和查询向量之间的余弦距离，寻找语义上最相近的视频结果。
- 这种双层语义匹配机制，可以深度理解视频内容和查询 intent,更准确找到用户真实问题的关联视频片段，有效实现知识跨度的问答服务。
摘要和聊天：
- 平台将视频的转录文本输入到JigsawStack的API接口，后者基于自然语言处理技术生成该视频的概要摘要。
- JigsawStack API不仅可以输出关键点列表式或连贯文本式的视频内容概要，还负责创建和管理用户与系统间的视频问答互动 session。
