点击蓝字 关注我们
关注并星标
从此不迷路
计算机视觉研究院
公众号ID|计算机视觉研究院
学习群|扫码在主页获取加入方式
参考地址:https://github.com/ultralytics/ultralytics
计算机视觉研究院专栏
Column of Computer Vision Institute
现在的ChatGPT都是输入文字、图片或者语音,那如果将检测网络或者更上层一点的东西,把视觉与ChatGPT对接,会不会有不一样的火花?
01
简介
ChatGPT(全名:Chat Generative Pre-trained Transformer),是OpenAI研发的聊天机器人程序,于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文等任务。
现在的ChatGPT都是输入文字、图片或者语音,那如果将检测网络或者更上层一点的东西,把视觉与ChatGPT对接,会不会有不一样的火花?
02
尝试与设计
注册OpenAI账号并创建API密钥:首先需要注册OpenAI账号,并在Dashboard中创建API密钥以便后续使用。
安装OpenAIPythonSDK:
可以通过pipinstallopenai命令来安装OpenAIPythonSDK,这样就可以在Python代码中使用ChatGPT进行对话了。
调用API进行对话:可以使用SDK中提供的completions方法来调用API进行对话,需要传入API密钥和输入文本,API会返回生成的回复文本。
集成到应用中:可以将ChatGPT集成到应用中,例如网站或移动应用程序,使用户可以与ChatGPT进行对话。集成方式有很多种,可以根据具体应用场景选择合适的方式。
需要注意的是,ChatGPT是基于大规模的语言模型训练而成的,对话过程中可能会出现一些不准确或不恰当的回复。因此,在实际应用中需要谨慎评估ChatGPT的表现,并根据实际情况进行调整和优化。
YoloV8搭建
下载库——ultralytics
pip install ultralytics
运行测试
yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'
接下来就是打通视觉模型和ChatGPT的交流,先看一个例子!首先从网上下载一段视频,然后开始进行Sao操作:
准备好素材就开始表演!
先进入搭建好的系统中,进行启动:
然后就开始进入新的世界了
然后接入视频并启动Yolov8实时检测:
然后这边我对其说:
Lock the area on the right for real-time detection
此时一直在实时检测中:
然后输入有一个屏幕被打开,进行了检测可视化展示:
前面感觉检测的效果不是很好,就重新输入一段指令:
Direct detection of fire extinguishing stages
由于整体检测网络没有怎么优化训练,直接检测,效果不理想,但是与ChatGPT的联动还是有效果,这种有没有联想到流浪地球的MOSE。
这种能力如果全面打开,是不是在现实生活中,实时视频中,和ChatGPT对话,比如看中视频中的一键衣服,是不是GPT就可以自己去网上搜索,给出最优惠价格的链接(GPT帮用户去比价),然后把链接推送给用户。这些都是一种可能,也是GPT真正应该落地的应用。
© THE END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入!
ABOUT
计算机视觉研究院
计算机视觉研究院主要涉及深度学习领域,主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架,提供论文一键下载,并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!
往期推荐
🔗
引入无代码LLM FineTuning与Monster API
Consistent-Teacher:半监督目标检测超强SOTA
Sparse R-CNN:稀疏框架,端到端的目标检测(附源码)
RestoreDet:低分辨率图像中目标检测
All Things ViTs:在视觉中理解和解释注意力
基于LangChain+GLM搭建知识本地库
OVO:在线蒸馏一次视觉Transformer搜索
最近几篇较好论文实现代码(附源代码下载)
AI大模型落地不远了!首个全量化Vision Transformer的方法FQ-ViT(附源代码)
CVPR 2023|EfficientViT:让ViT更高效部署实现实时推理(附源码)
VS Code支持配置远程同步了
基于文本驱动用于创建和编辑图像(附源代码)