提示词4大经典框架;将AI融入动画工作流的案例和实践经验;构建基于LLM的系统和产品的模式;提示工程的艺术 | ShowMeAI日报

news2024/11/18 5:35:51

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦!

img

🤖 高效提示词的4大经典框架:ICIO、CRISPE、BROKE、RASCEF

img

img

ICIO 框架

  • Intruction (任务) :你希望AI去做的任务,比如翻译或者写一段文字

  • Context (背景) :给AI更多的背景信息,引导模型做出更贴合需求的回复,比如你要他写的这段文字用在什么场景的、达到什么目的的

  • Input Data (输入数据) :告诉AI你这次你要他处理的数据。比如你要他翻译那么你每次要他翻译的句子就是「输入数据」

  • Output Indicator (输出格式) :告诉AI他输出的时候要用什么格式、风格、类型,如果你无所谓什么它输出时候的格式,也可以不写

CRISPE 框架

  • Capacity and Role (角色) :告诉AI你要他扮演的角色,比如老师、翻译官等等

  • Insight (背景) :告诉AI你让他扮演这个角色的背景,比如扮演老师是要教自己10岁的儿子等等

  • Statement (任务) :告诉AI你要他做什么任务

  • Personality (格式) :告诉AI用什么风格、方式、格式来回答

  • Experiment (实验) :请求AI为你回复多个示例 (如果不需要,可无)

BROKE 框架

  • Background (背景) :说明背景,提供充足信息

  • Role (角色) :你要AI扮演的角色是什么

  • Objectives (目标/任务) :你要AI做的事情的一个描述

  • Key Result (关键结果) :对于AI输出的回答,在风格、格式、内容等方面的要求

  • Evolve (改进) :在AI给出回答以后,三种调整、改进方法

RASCEF 框架

  • Role (角色) :这就是AI假装的人,它可以是电子邮件营销人员、项目经理、厨师或您能想到的任何其他角色

  • Action (行动) :这是人工智能需要做的,例如编写项目执行计划

  • Script (步骤) :这些是 A 完成操作应遵循的步骤

  • Content (上下文) :这是背景信息或情况

  • Example (示例) :这些是说明这一点的特定实例,它们帮助人工智能理解语气和思维/写作风格

  • Format (格式) :这是AI应该呈现其答案的方式,它可以是段落、列表、对话或任何其他格式 ⋙ 即刻 @东风阁主

img

🤖 YouTube 测试用AI生成视频摘要,用技术改善用户体验

img

8月1日,YouTube 开始在搜索观看页面测试AI生成的视频摘要,帮助用户更快地获取视频核心内容,提高浏览效率。不过此次测试只面向英文用户且范围有限。

YouTube 表示,这是进一步利用AI技术改善用户体验的尝试,并将在之后将AI生成技术应用到更广泛的视频创意、标题等领域。不过!这并不意味着内容创作者的工作将被机器取代,相反,创作者编写的视频描述仍然是用户获取视频信息的重要来源 ⋙ Search Engine Land

🤖 阿里云宣布「通义千问」开源,国内首个商用开源的大厂模型

img

8月4日,阿里云官方公众号宣布通义千问70亿参数通用模型Qwen-7B和对话模型Qwen-7B-Chat上架魔搭,两款模型均开源、免费、可商用。此举让阿里云成为国内首个加入大模型开源行列的大型科技企业。

Qwen-7B 是支持中、英等多种语言的基座模型,Qwen-7B-Chat 是基于基座模型的中英文对话模型,在许多测基准上都取得了良好的表现。

用户目前已经可以从魔搭社区直接下载模型,也可通过阿里云灵积平台访问和调用这些模型,而通过开源代码,用户可以很方便地在消费级显卡上部署和运行模型 ⋙ 通义千问-7B-预训练 | 通义千问-7B-Chat

img

🤖 和 AI 一起做动画,将AI融入动画工作流的案例和实践经验

img

这是一篇超长的实践经验分享文章!作者 @海辛 总结了「使用AI制作动画」的不同路径和技术实现方式,并附上了动画视频和推荐的免费系列教程!

这应该是目前覆盖最全面的、最硬核的教程啦!非常值得放进收藏夹~

🔔 一、根据参考视频进行风格迁移

1. Runway Gen-1

  • 提供原视频和参考图像,基于风格迁移生成新的视频

  • 无法完全按参考图风格迁移,难以应用于实际项目,仍停留在玩具水准

2. Stable Diffusion + EbSynth

  • 使用 Stable Diffusion 绘制关键帧,再用 EbSynth 根据原视频+关键帧将其余帧补齐

  • 当画面引入全新的信息时,就要新建一个关键帧;还可以结合传统的影视抠像工具进行叠加,从而指定 AI 仅对画面部分内容进行风格迁移

  • 兼顾生成效果和计算效率,可控性强,是当前最优方案之一

3. Rerender

  • 自动判断关键帧,保证关键帧间信息连贯一致,避免了上个方案中人工调整关键帧间的信息连续性问题

  • 代码未开源但值得期待

4. AI + AE

  • AI工具与AE转场、PR剪辑等影视工具结合,发挥两者优势

  • AI 动画特效做得好的人,大多数都是影视/游戏/特效的背景,他们知道如何将 AI 生成的画面结合到其他管线的工具中,从而提升画面效果

🔔 二、AI生长类动画

1. Disco Diffusion、Stable Diffusion Deforum

  • 用传统 AI 生成图像工具,进行画面的批量生成,通过指定不同关键帧上的画面内容,和关键帧上的镜头运动,从而使得 AI 能生成连续的动画

  • 控制 AI 生成的参数和影视镜头语言其实呈现一定的映射关系

  • Youtube 频道主 DoodleChaos 给 Resonate 的歌曲《Canvas》 做的动画音乐视频,代表此类动画的最高水准之作

🔔 三、根据静态图生成动画

1. 让肖像画说话

  • D-ID、Movio、Artflow 等工具基于First Order Motion算法,可以让一张静态的肖像画动起来说话的功能

  • 算法成熟,可广泛应用于各类创意内容

2. 让静态图 (随机) 动起来

  • Pika Labs、Gen-2 等工具的底层技术类似 Animatediff,支持根据单张图输入其随机动态效果

  • 可用于概念预览,但可控性有限,对于目前工业界的帮助还不是很显著 ⋙ 海辛

img

🤖 构建基于LLM的系统和产品的模式

img

这篇长文探讨了一个非常实用的话题——在构建基于大语言模型的系统和产品时,需要注意的7个关键模式。

作者分享了自己宝贵经验和深度思考,覆盖了从从模型性能、成本控制到用户体验的各个方面,对于从业者来说是非常实用的指南。

1. Evals

  • What评估,用于测量性能

  • Why:Evals 可以测量系统或产品的表现,检测任何回归;一个具代表性的 Evals 套件可以大规模测量系统变更;如果没有Evals 就会飞盲,或者必须通过视觉检查每个LLM输出来检测每一个变更

  • More about:Evals包括基准数据集和指标;一些知名基准有 MMLU、EleutherAI Eval、HELM 和 AlpacaEval 等;指标可分为与上下文相关或无关的两类,还需要注意常用指标的局限性

2. RAG

  • What检索增强生成,用于添加外部知识

  • Why: RAG 可以减少 hallucination,基于检索出的上下文指导模型;相比持续预训练语言模型,使用检索索引更经济高效,也更易于提供最近的数据

  • More about:RAG 通常基于稠密向量检索 (例如 DPR),先 offline 构建文档索引,然后在线为每个查询检索出 Top K 个相关文档,并将其提供给语言模型作为上下文;一些变体包括 RAG-Sequence、RAG-Token、FiD 和 RETRO 等

3. Fine-tuning

  • What微调,用于提高特定任务的性能

  • Why:Fine-tuning 可以提高开放域语言模型的性能,实现比第三方语言模型更好的效果,也让系统模块化

  • More about:Fine-tuning 通常在预训练模型的基础上进行,一些常见的 Fine-tuning 技术包括软提示调优、前缀调优、适配器和低秩适配等

4. Caching

  • What缓存,用于降低延迟和成本

  • Why:缓存可以显著减少延迟和成本;对于某些不能容忍秒级延迟的用例,预计算和缓存可能是唯一的实现方式

  • More about:在语言模型中,常见做法是基于输入请求的 Embedding 来缓存响应;不过需要谨慎应用 (例如不要缓存可能过时的价格信息等)

5. Guardrails

  • What防护栏,用于确保输出质量

  • Why:Guardrails 可以确保模型输出可靠统一到足以用于生产环境,例如可能需要确保输出符合特定 JSON 模式等

  • More about:Guardrails 通常通过验证语言模型的输出来实现,一些常见策略包括结构指导、语法验证、内容安全检查、语义验证等

6. Defensive UX

  • What防御性UI,用于优雅地处理错误

  • Why:Defensive UX 承认语言模型可能出现不准确或 hallucination 的情况,并提前应对这些情况,主要通过引导用户行为、避免误用和优雅地处理错误

  • More about:一些常见模式包括设定正确的期望值、启用高效驳回、提供归因等,可以提高可访问性、信任度和体验质量

7. Collect user feedback

  • What收集用户反馈,用于构建数据飞轮

  • Why:收集用户反馈可以了解用户喜好,帮助改进模型、适应个人喜好,并评估系统整体性能

  • More about:反馈可以是明确或隐式的,要方便用户提供反馈;隐式反馈也很有价值,可以提供大量用户行为偏好信息 ⋙ eugeneyan

img

🤖 为什么AI「智能涌现」对创业者、从业者、普通人都价值巨大

img

我们一直在谈论的大模型「智能涌现」到底是什么意思?为什么理解这个概念对我们这么重要呢?这篇文章从一幅图的像素数量入手,非常清晰地解释了概念,并探讨了7个非常核心的问题。

正如图所示,当像素的数量多到一定程度时,我们就可以看出图片的基本内容了。宏观涌现可能只是构成系统的微观因素的线性变化的结果。大模型的智能涌现也是同样的道理。

问题1:除600亿参数规模外,还存在其他阈值,可以让AI发生智能涌现吗?

  • 存在多个阈值,对应AI的不同新能力

  • AI模型同理,600亿不是唯一阈值,要实现新的能力需要更大的参数量;涌现时AI表现不稳定,可确定处在一个阈值附近

问题2:随着AI参数规模的增加,AI的能力会持续提升,但这会有上限吗?

  • AI能力会持续增强,会跨越一个又一个阈值

  • 但人类对此的感知有上限,100万亿参数量级接近人脑神经连接数,超过这个量级后,人类将完全感知不到AI的进步

问题3:未来二十年你将会如何感受AI?

  • 未来每当AI跨越一个新阈值,人类会强烈感受到进步,但之后会逐渐感知不明显,直到下一个阈值突破

  • 就像人对新款 iPhone 屏幕的感受,开始惊艳,最后陷入「似乎稍有不同」的微妙感受

问题4:什么是「知识压缩」,它跟AI有什么关系?

  • 知识是压缩数据的方法,训练模型就是在寻找压缩方法 (知识),实现智能

  • 图像压缩实验证明了知识使图像在低像素下依然涌现,压缩越高效,知识越本质

问题5:什么是智能?

  • 智能是一个生成的过程,不是状态;高级智能具有更强的泛化能力,这来自大量知识的涌现,泛化是成规模知识涌现的结果

  • 低级智能以还原为主,高级智能强在泛化,智能必须是生成的过程

问题6:OpenAI到底做对了什么?

  • OpenAI 让AI自主大规模寻找知识,并以生成为目标而非应用

  • 解决了两个悖论:给AI自主学习的机会,以及将生成作为最重要目标 (OpenAI低估了这两点的价值)

问题7:什么是「世界模型」?

  • 世界模型是外部世界在AI内部的建模和模拟,是AI的未来方向

  • 它以层次方式组织知识并模拟世界运行,让AI拥有更强大的直觉式智能,能达到写出红楼梦的水平 ⋙ 阅读全文

🤖 对话「妙鸭」产品负责人:AIGC 的产品第一天不收钱,就可能收不到钱

img

谁都没有想到,国内 AIGC 第一个真正意义上破圈的现象级产品,诞生在照片美化(写实人像)这个已经相当成熟的赛道。

7月中旬悄悄上市,妙鸭凭借只需「9.9 元和 20 张照片就能生成艺术写真级的个人美照」这个噱头,在短短几周的时间内引来无数爱美女孩儿下载尝鲜,生成的「美照」席卷了朋友圈等社交媒体。

7月底,妙鸭相机接连受到上海市消保委和央视财经新闻的点名批评,称其退款相关规定违反了消费者权益保护法,并且威胁到了用户隐私。

最近,妙鸭接受了科技媒体的采访,介绍了产品源起和团队背景,并对争议话题进行了回应。感兴趣的小伙伴们可以 ⋙ 阅读原文

img

🤖 提升ChatGPT性能的实用指南:Prompt Engineering的艺术

img

提示工程是一门新兴学科,就像是为大语言模型 (LLM) 设计的「语言游戏」。通过这个「游戏」,可以更有效地引导 LLM 来处理问题。也只有熟悉了这个游戏的规则,才能更清楚地认识到 LLM 的能力和局限。

这篇文章非常全面地梳理和总结了提示工程关键知识点,长文!适合查漏补缺!

1. 什么是提示工程?

2. 提示工程基础

  • 提示四要素

  • 通用技巧:由浅入深、明确指令、明确细节、明确需求、正向引导,避免反向限制

  • 简单提示解析

3. 提示工程进阶

  • 零/少样本提示:Zero-Shot Prompting、Few-Shot Prompting

  • 思维链提示:少样本思维链、零样本思维链

  • Explicit 思维链

  • 主动提示

  • 思维树

  • 多模态思维链

  • 一致性提示

  • Progressive-Hint 提示

  • Plan-and-Solve 提示

  • 增强 (检索) 提示:外部知识库、LLM 知识库 (知识生成提示 / Clue And Reasoning 提示 / 知识反刍提示)

4. 懒人万能提示工程 ⋙ 腾讯技术工程

感谢贡献一手资讯、资料与使用体验的 ShowMeAI 社区同学们!

◉ 点击 👀日报&周刊合集,订阅话题 #ShowMeAI日报,一览AI领域发展前沿,抓住最新发展机会!

◉ 点击 🎡生产力工具与行业应用大全,一起在信息浪潮里扑腾起来吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/899103.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

软件测试中如何测试算法?

广义的算法是指解决问题的方案,小到求解数学题,大到制定商业策略,都可以叫做算法。而我们 今天讨论的软件测试中的算法,对应的英文单词为Algorithm ,专指计算机处理复杂问题的程序或 指令。 随着最近几年人工智能等领域的快速发展,算法受到前所未有的重视,算法测试也随之兴起。…

异步电机IM-改进的电压模型磁链观测器学习

导读:本期文章主要介绍异步电机的改进型电压模型磁链观测器。传统纯积分形式的积分器在低速区域存在初始值问题和直流偏置问题,所以在实际应用中必须对电压模型进行改进。本期文章中的对电压模型改进是借鉴一篇IEEE中的方法。 如果需要文章中对应的仿真…

gcc make cmake ninja的区别

理清C编译过程用到的工具概念 ref: 知乎 早先学C的时候,因为只需要点击IDE的运行按钮,程序就可以跑起来,写过最复杂的只不过是几个文件的学生管理系统。 现在要重新拾起C,看的项目和之前的不可同日而语,构建系统也复…

最优化方法Python计算:牛顿算法

设函数 f ( x ) f(\boldsymbol{x}) f(x), x ∈ R n \boldsymbol{x}\in\text{ℝ}^n x∈Rn二阶连续可微,记 g ( x ) ∇ f ( x ) \boldsymbol{g}(\boldsymbol{x})\nabla f(\boldsymbol{x}) g(x)∇f(x), H ( x ) ∇ 2 f ( x ) \boldsymbol{H}(\…

【数据结构OJ题】用栈实现队列

原题链接:https://leetcode.cn/problems/implement-queue-using-stacks/ 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 用两个栈实现,一个栈进行入队操作,另一个栈进行出队操作。 出队操作: 当出队的栈…

ARFoundation避坑记录

网上很多人说这个要改成可选的,否则如果没有安装arcore就会自动弹窗,但是如果关闭了,确实不会弹窗了,但是检测设备的代码也不能完美执行了,如果设备安装了arcore还好,如果没有安装测无法检测。 如果不想有…

常见的CRM系统报价

一个CRM系统大概多少钱?CRM系统的价格因为不同的厂商、功能、部署方式、用户数等因素而有很大的差异,没有一个固定的标准。但是,我们可以根据一些常见的CRM软件的报价,对CRM价格有一个大致的了解。 一、CRM的部署方式 CRM系统的…

填充柄功能

单元格右下角十字符号 顺序式填充 输入1,2,直接拉取即可实现顺序1到10. 复制式填充 CtrlD或者拉取,选择右下角复制单元格。 规律式填充 输入星期一,星期二,下拉一直可以到星期日 自定义填充 选择文件-》选项-》自定义序列 输…

AI工程师招募;60+开发者AI工具清单;如何用AI工具读懂插件源码;开发者出海解读;斯坦福LLM课程 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 一则AI工程师招募信息:新领域需要新技能 Vision Flow (目的涌现) 是一家基于 AGI 原生技术的创业公司,是全球探…

CSGO饰品价格会一直下跌吗?市场何时止跌回升?

最后一届巴黎major终于落下帷幕,Vitality小蜜蜂2-0战胜GL成功赢下本次Major冠军,也是首次夺得Major冠军!有人欢喜有人忧啊,csgo搬砖的饰品商人们一点也高兴不起来。 4月-5月,csgo皮肤饰品已持续走低快两个月了。手里满…

OPTEE3.17+ubuntu20.04+qemu_v8搭建OPTEE开发环境

参考文章: https://blog.csdn.net/capodexi/article/details/123548850 https://blog.csdn.net/qq_42557044/article/details/130973200 https://blog.csdn.net/zhuwade/article/details/125513873 https://zhuanlan.zhihu.com/p/521196386 https://blog.csdn.net/…

wsl2 安装cuda

1 设置为清华源 首先登录wsl 直接命令 wsl 就行 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak sudo sed -i s/archive.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /etc/apt/sources.list sudo sed -i s/security.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g /e…

AVL树的讲解

算法拾遗三十八AVL树 AVL树AVL树平衡性AVL树加入节点AVL删除节点AVL树代码 AVL树 AVL树具有最严苛的平衡性,(增、删、改、查)时间复杂度为O(logN),AVL树任何一个节点,左树的高度和右树的高度差…

为什么美元美债没有出现死亡螺旋?

号外:刘教链最新文章,欢迎点击阅读: 公众号「刘教链内参」8.18发表:《内参:SEC批准ETF将推高大饼至15-18w$ ?》。 公众号「刘教链Pro」8.18发表:《大饼插爆两万五》。 * * * * * * 如果我们把美…

Linux系统基础服务启动的方法

服务,其实就是运行在操作系统后台的一个或者多个应用程序,为计算机系统或用户提供某项特定的服务。Linux系统运行的绝大多数服务都是需要安装才有的,例如FTP服务、httpd服务、MySQL、redis、Zookeeper、rabbitmq、vsftpd等等,那么…

面试题 ①

1、请讲一下常见的SQL优化方法(至少10条) 1.尽量避免使用子查询 虽然在 mysql5.6 版本之后对 select 的子查询用 join关联方式 做了优化,但是update/delete子查询依然先查外表再查内表,当外表过大时查询速度会很慢;因此…

浙大数据结构第八周之08-图7 公路村村通

题目详情: 现有村落间道路的统计数据表中,列出了有可能建设成标准公路的若干条道路的成本,求使每个村落都有公路连通所需要的最低成本。 输入格式: 输入数据包括城镇数目正整数N(≤1000)和候选道路数目M&#xff08…

Linux 应急响应命令总结【持续更新】

系统基本信息 CPU 信息 CPU 信息: lscpu操作系统信息 操作系统信息: uname -a操作系统信息: cat /proc/version模块信息 模块信息: lsmod账户信息 系统所有账户 系统所有账户: cat /etc/passwd超级权限账户…

【leetcode 力扣刷题】快乐数/可被k整除的最小整数(可能存在无限循环的技巧题)

可能存在无限循环的技巧题 202. 快乐数数学分析 1015. 可被k整除的最小整数数学分析 202. 快乐数 题目链接:202. 快乐数 题目内容: 理解题意,快乐数就是重复每位数的平方之和得到的新数的过程,最终这个数能变成1。变成1以后&…

STM32 串口复习

按数据通信方式分类: 串行通信:数据逐位按顺序依次传输。传输速率较低,抗干扰能力较强,通信距离较长,I/O资源占用较少,成本较低。并行通信:数据各位通过多条线同时传输。 按数据传输方向分类&…