【LLM：Gemini】文本摘要、信息提取、验证和纠错、重新排列图表、视频理解、图像理解、模态组合

news2024/9/29 5:38:04

开始使用Gemini

目录

开始使用Gemini

Gemini简介

Gemini实验结果

Gemini的多模态推理能力

文本摘要

信息提取

验证和纠错

重新排列图表

视频理解

图像理解

模态组合

Gemini多面手编程助理

库的使用

引用

本文概述了Gemini模型和如何有效地提示和使用这些模型。本章也包括了有关Gemini模型的功能，技巧，应用，限制，论文和其他阅读材料。

Gemini简介

Gemini是Google Deepmind最新、最强大的AI模型。它原生支持多模态，具备跨模态推理能力，包括文本，图像，视频，音频和代码。

Gemini分为三个版本：

  • Ultra - 三个模型版本中功能最强大，适用于高度复杂的任务
  • Pro - 适用于广泛任务的最佳模型
  • Nano - 性能最佳的模型，适用于终端设备和内存有限的任务；包括1.8B参数（Nano-1）和3.25B参数（Nano-2）两个版本，从较大的Gemini模型中蒸馏训练得到，采用4位量化。

根据随附的技术报告(opens in a new tab)，Gemini在32个基准测试中的30个上取得了领先，涵盖了语言、编码、推理和多模态推理等任务。

Gemini是第一个在MMLU(opens in a new tab)（大规模多任务语言理解）上超越人类专家的模型，声称在20项多模态测试基准处于领先水平。Gemini Ultra在MMLU上达到90.0%准确率，在MMMU基准(opens in a new tab)上达到62.4%准确率，相当于大学水平的学科知识和推理能力。

Gemini模型在32K的序列长度上进行训练，并建立在具有高效注意力机制(例如, multi-query attention(opens in a new tab))的Transformer解码器之上，在跨越上下文长度进行查询时表现出98%的准确率。这个重要的功能支撑了新的应用场景如文档检索和视频理解。

Gemini模型基于多模态和多语言数据进行训练，例如网络文档，书籍和代码数据，包括图像，音频和视频数据。这些模型经过所有模态数据的联合训练，展现出强大的跨模态推理能力，甚至在每个领域都具有强大的能力。

Gemini实验结果

Gemini Ultra在与思维链提示(chain-of-thought (CoT) prompting)(opens in a new tab)和自洽性(self-consistency)(opens in a new tab)等有助于处理模型不确定性的方法相结合时，达到了最高的准确率。

技术报告中提到，Gemini Ultra在32个样本上的MMLU测试效果，从贪婪采样(greedy sampling)方法的84.0%提高到不确定性路由思维链(uncertainty-routed chain-of-thought)方法(包括CoT和多数投票(majority voting)）的90.0%，如果仅使用32个思维链样本，则略微提高到85.0%。类似地，思维链(CoT)和自洽性(self-consistency)在GSM8K小学数学基准上实现了94.4%的准确率。此外，Gemini Ultra正确地实现了74.4%的HumanEval(opens in a new tab)代码补全问题。下表总结了Gemini的测试结果以及与其他著名模型的结果对比。

Gemini Nano模型在事实性（即检索相关任务），推理，STEM（科学、技术、工程、数学），编码，多模态和多语言任务方面也表现出强大的性能。

除了标准的多语言功能之外，Gemini在多语言数学和摘要基准（例如MGSM(opens in a new tab)和XLSum(opens in a new tab)）上分别表现出了出色的效果。

Gemini模型在32K的序列长度上进行训练，在跨越上下文长度进行查询时表现出98%的准确率。这个重要的功能支持了新的应用场景如文档检索和视频理解。

在遵循指令，创意写作和安全等重要能力方面，经过指令调整的Gemini模型受到人类评估者的一致青睐。

Gemini的多模态推理能力

Gemini经过原生多模态训练，表现出了将跨模态能力与大语言模型的推理能力相结合的能力。它的功能包括但不限于从表格，图表和图形中提取信息。还有其他有趣的功能，例如从输入中辨别细粒度的细节，跨空间和时间聚合上下文以及跨不同模态组合信息。

Gemini在图像理解任务，例如高级目标检测（high-level object recognition），细粒度语音识别（fine-grained transcription），图表理解和多模态推理方面始终优于现有方法。一些图像理解和生成功能还可以跨多种全球语言进行传输（例如，使用印地语和罗马尼亚语等语言生成图像描述）。

文本摘要

虽然Gemini是作为多模态系统进行训练的，但它拥有现代大语言模型（如GPT-3.5、Claude和Llama）中存在的许多功能。以下是使用Gemini Pro实现简单文本摘要任务的示例。本例中我们使用Google AI Studio(opens in a new tab)，温度值（temperature）为0。

提示:

Your task is to summarize an abstract into one sentence.Avoid technical jargon and explain it in the simplest of words.Abstract: Antibiotics are a type of medication used to treat bacterial infections. They work by either killing the bacteria or preventing them from reproducing, allowing the body’s immune system to fight off the infection. Antibiotics are usually taken orally in the form of pills, capsules, or liquid solutions, or sometimes administered intravenously. They are not effective against viral infections, and using them inappropriately can lead to antibiotic resistance.

Gemini Pro输出:

Antibiotics are medicines used to kill or stop the growth of bacteria causing infections, but they don't work against viruses.

Google AI Studio里的任务和模型响应（高亮）截图

信息提取

接下来的示例是一个分析一段文本并提取所需信息的任务。注意，本例使用零样本提示，因此结果并不完美，但模型的性能相对较好。

提示:

Your task is to extract model names from machine learning paper abstracts. Your response is an array of the model names in the format [\"model_name\"]. If you don't find model names in the abstract or you are not sure, return [\"NA\"]Abstract: Large Language Models (LLMs), such as ChatGPT and GPT-4, have revolutionized natural language processing research and demonstrated potential in Artificial General Intelligence (AGI). However, the expensive training and deployment of LLMs present challenges to transparent and open academic research. To address these issues, this project open-sources the Chinese LLaMA and Alpaca…

Gemini Pro输出:

[\"LLMs\", \"ChatGPT\", \"GPT-4\", \"Chinese LLaMA\", \"Alpaca\"]

验证和纠错

Gemini模型展示了令人印象深刻的跨模态推理能力。例如，下图(左)是一个物理问题的解答，该问题是由一位物理老师画的。然后，Gemini被提示对该问题进行推理，并解释该学生在答案中出错的地方（如果有错误）。该模型还被指示解决问题并使用LaTeX来完成数学部分。右图是模型的响应，详细解释了问题和答案。

重新排列图表

以下是技术报告中的另一个有趣的示例，展示了基于Gemini的多模态推理能力生成用于重新排列subplots的matplotlib代码。左上角展示的是多模态提示，生成的代码显示在右侧，代码渲染显示在左下角。该模型利用多种功能来解决任务，例如，识别，代码生成，subplot位置的抽象推理以及按照指示以将subplot重新排列在所需位置。

视频理解

Gemini Ultra在各种少样本（few-shot）视频字幕生成任务和零样本（zero-shot）视频问答任务中取得了最先进的结果。下面的示例展示了为模型提供了一个视频和文本指令作为输入。它可以分析视频并对情况进行推理，以提供适当的答案，或者，在本示例中，提供了视频中的人物如何改进技术的建议。

图像理解

Gemini Ultra也可以基于少样本（few-shot）提示生成图片。如下例所示，可以使用图像和文本交错的示例提示，其中用户提供了有关两种颜色和图像建议的信息。然后，模型接受提示中的最终指令，然后基于它看到的颜色和一些想法做出响应。

模态组合

Gemini模型还展示了原生支持处理一系列音频和图像的能力。从示例中，我们使用一系列音频和图像来提示模型。然后，该能模型基于每次交互的上下文做出文本响应。

Gemini多面手编程助理

Gemini还被用于构建一个名为AlphaCode 2的多面手助理，它将推理功能与搜索和工具使用相结合，用来解决编程竞赛问题。AlphaCode 2在Codeforces编程竞赛平台的参赛者中名列前15%。

库的使用

下面这个简单的示例演示了如何使用Gemini API提示Gemini Pro模型。你需要安装google-generativeai库并从Google AI Studio获取API密钥。下面的示例是以上章节中提到的信息提取任务的代码。

"""At the command line, only need to run once to install the package via pip: $ pip install google-generativeai""" import google.generativeai as genai genai.configure(api_key="YOUR_API_KEY") # Set up the modelgeneration_config = {  "temperature": 0,  "top_p": 1,  "top_k": 1,  "max_output_tokens": 2048,} safety_settings = [  {    "category": "HARM_CATEGORY_HARASSMENT",    "threshold": "BLOCK_MEDIUM_AND_ABOVE"  },  {    "category": "HARM_CATEGORY_HATE_SPEECH",    "threshold": "BLOCK_MEDIUM_AND_ABOVE"  },  {    "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",    "threshold": "BLOCK_MEDIUM_AND_ABOVE"  },  {    "category": "HARM_CATEGORY_DANGEROUS_CONTENT",    "threshold": "BLOCK_MEDIUM_AND_ABOVE"  }] model = genai.GenerativeModel(model_name="gemini-pro",                              generation_config=generation_config,                              safety_settings=safety_settings) prompt_parts = [  "Your task is to extract model names from machine learning paper abstracts. Your response is an array of the model names in the format [\\\"model_name\\\"]. If you don't find model names in the abstract or you are not sure, return [\\\"NA\\\"]\n\nAbstract: Large Language Models (LLMs), such as ChatGPT and GPT-4, have revolutionized natural language processing research and demonstrated potential in Artificial General Intelligence (AGI). However, the expensive training and deployment of LLMs present challenges to transparent and open academic research. To address these issues, this project open-sources the Chinese LLaMA and Alpaca… [\\\"LLMs\\\", \\\"ChatGPT\\\", \\\"GPT-4\\\", \\\"Chinese LLaMA\\\", \\\"Alpaca\\\"]",] response = model.generate_content(prompt_parts)print(response.text)

引用

  • Introducing Gemini: our largest and most capable AI model(opens in a new tab)
  • How it’s Made: Interacting with Gemini through multimodal prompting(opens in a new tab)
  • Welcome to the Gemini era(opens in a new tab)
  • Gemini: A Family of Highly Capable Multimodal Models - Technical Report(opens in a new tab)
  • Fast Transformer Decoding: One Write-Head is All You Need

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2137093.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Linux：git

Linux：git

hello，各位小伙伴，本篇文章跟大家一起学习《Linux：git》，感谢大家对我上一篇的支持，如有什么问题，还请多多指教 ！ 如果本篇文章对你有帮助，还请各位点点赞！！&…
阅读更多...
基于java网吧管理系统设计与实现

基于java网吧管理系统设计与实现

博主介绍：专注于Java .net php phython 小程序 等诸多技术领域和毕业项目实战、企业信息化系统建设，从业十五余年开发设计教学工作 ☆☆☆ 精彩专栏推荐订阅☆☆☆☆☆不然下次找不到哟 我的博客空间发布了1000毕设题目 方便大家学习使用 感兴趣的可以…
阅读更多...
Pytorch_CPU鸢尾花lirsDataset 尝试

Pytorch_CPU鸢尾花lirsDataset 尝试

鸢尾花数据集（lris Dataset） （1）下载地址【引用】：鸢尾花数据集下载 （2）鸢尾花数据集特点 茑尾花数据集有150 条样本记录，分为3个类别，每个类别有 50 个样本&#xff…
阅读更多...
学习笔记JVM篇（一）

学习笔记JVM篇（一）

1、类加载的过程 加载->验证->准备->解析->初始化->使用->卸载 2、JVM内存组成部分（HotSpot） 名称作用特点元空间（JDK8之前在方法区）用于存储类的元数信息，例如名称、方法名、字段等；…
阅读更多...
【程序分享】express 程序：可扩展的高级工作流程，用于更快速的从头算材料建模

【程序分享】express 程序：可扩展的高级工作流程，用于更快速的从头算材料建模

分享一个 express 程序：可扩展的高级工作流程，用于更快速的从头算材料建模。 感谢论文的原作者！ 主要内容 “在这项工作中，我们介绍了一个开源的Julia项目express，这是一个可扩展的、轻量级的、高通量的高级工作流框…
阅读更多...
学python要下什么包吗，有推荐的教程或者视频吗?

学python要下什么包吗，有推荐的教程或者视频吗?

初学者可以尝试三种方法来学习Python第三方库，第一种传统，第二种省心，第三种轻量。 1、安装PythonPycharm，通过pip进行包管理，或者Pycharm后台也可以 2、安装Anaconda，预装了几百个数据科学包&#xff0c…
阅读更多...
模仿抖音用户ID加密ID的算法MB4E，提高自己平台ID安全性

模仿抖音用户ID加密ID的算法MB4E，提高自己平台ID安全性

先看抖音的格式 对ID加密的格式 MB4EENgLILJPeQKhJht-rjcc6y0ECMk_RGTceg6JBAA 需求是 同一个ID 比如 413884936367560 每次获取得到的加密ID都是不同的，最终解密的ID都是413884936367560 注意这是一个加密后可解密原文的方式，不是单向加密 那么如下进行…
阅读更多...
Windows 环境下 vscode 配置 C/C++ 环境

Windows 环境下 vscode 配置 C/C++ 环境

vscode Visual Studio Code（简称 VSCode）是一个由微软开发的免费、开源的代码编辑器。它支持多种编程语言，并提供了代码高亮、智能代码补全、代码重构、调试等功能，非常适合开发者使用。VSCode 通过安装扩展（Extension…
阅读更多...
abVIEW 可以同时支持脚本编程和图形编程

abVIEW 可以同时支持脚本编程和图形编程

LabVIEW 可以同时支持脚本编程和图形编程，但主要依赖其独特的 图形编程 环境（G语言），其中程序通过连线与节点来表示数据流和功能模块。不过，LabVIEW 也支持通过以下方式实现脚本编程的能力： 1. 调用外部脚本…
阅读更多...
第4步CentOS配置SSH服务用SSH终端XShell等连接方便文件上传或其它操作

第4步CentOS配置SSH服务用SSH终端XShell等连接方便文件上传或其它操作

宿主机的VM安装CENTOS文件无法快速上传，也不方便输入命令行，用SSH终端xshell连接虚拟机的SSH工具就方便多了，实现VM所在宿主机Win10上的xshell能连接vm的centos要实现以下几个环节 1、确保宿主机与虚拟机的连通性。 2、虚拟机安装SSH服务&…
阅读更多...
ESP8266_MicroPython——GPIO_LED_KEY_外部中断

ESP8266_MicroPython——GPIO_LED_KEY_外部中断

MicroPython 文章目录 MicroPython前言一、安装软件二、点亮第一颗LED灯三、KEY按键四、外部中断总结 前言 MicroPython比较简单但是没有系统的更新过文章，准备写一下ESP8266——MicroPython的文章做一个系列。 一、安装软件 安装开发软件 Thonny，安装…
阅读更多...
豆包MarsCode编程助手：产品功能解析与应用场景探索!

豆包MarsCode编程助手：产品功能解析与应用场景探索!

随着现代技术的不断进化升级，人工智能正在逐步改变着我们的日常工作方式。特别是对于复杂的项目，代码编写、优化、调试、测试等环节充满挑战。为了简化这些环节、提高开发效率，许多智能编程工具应运而生，豆包MarsCode 编程助手就是…
阅读更多...
瑞芯微Android6 内核编译报错解决方案

瑞芯微Android6 内核编译报错解决方案

1、报错内容如下图所示 错误内容： Kernel: arch/arm/boot/zImage is ready make: *** [kernel.img] Error 127 2、分析与解决方法 由于之前在ubuntu环境下编译没问题，现在是在centos环境下重新编译的时候报错，所以经过分析对比两个环境的…
阅读更多...
非关系型数据库Redis

非关系型数据库Redis

文章目录 一，关系型数据库和非关系型数据可区别1.关系型数据库2.非关系型数据库3.区别3.1存储方式3.2扩展方式3.2事务性的支持 二，非关系型数据为什么产生三，Redis1.Redis是什么2.Redis优点3.Redis适用范围4. Redis 快的原因4.1 基于内存运行…
阅读更多...
1-4微信小程序基础

1-4微信小程序基础

模板配置 🌮🌮目标 1.能够使用WXML模板语法渲染页面结构2.能够使用WXSS样式渲染标签样式3.能够使用app.json对小程序进行全局配置4.能够使用page.json对小程序页面进行个性化配置5.如何发起网络数据请求 数据绑定的基本原则 在data中定义数据在WXML中…
阅读更多...
（论文解读）Visual-Language Prompt Tuning with Knowledge-guided Context Optimization

（论文解读）Visual-Language Prompt Tuning with Knowledge-guided Context Optimization

Comment: accepted by CVPR2023 基于知识引导上下文优化的视觉语言提示学习 摘要 提示调优是利用任务相关的可学习标记将预训练的视觉语言模型（VLM）适应下游任务的有效方法。基于CoOp的代表性的工作将可学习的文本token与类别token相结合，…
阅读更多...
Linux环境使用Git同步教程

Linux环境使用Git同步教程

📖 前言：由于CentOS 7已于2024年06月30日停止维护，为了避免操作系统停止维护带来的影响，我们将把系统更换为Ubuntu并迁移数据，在此之前简要的学习Git的上传下载操作。 目录 🕒 1. 连接🕘 1.1 配…
阅读更多...
Effective C++笔记之二十二：C++临时变量的析构

Effective C++笔记之二十二：C++临时变量的析构

先来看段代码 #include <iostream> #include <string>std::string myBlog() {return "https://blog.csdn.net/caoshangpa"; }int main() {const char *p myBlog().c_str();std::cout << p << std::endl;return 0; } 预期输出&#xff1a;…
阅读更多...
Netty笔记06-组件ByteBuf

Netty笔记06-组件ByteBuf

文章目录 概述ByteBuf 的特点ByteBuf的组成ByteBuf 的生命周期 ByteBuf 相关api1. ByteBuf 的创建2. 直接内存 vs 堆内存3. 池化 vs 非池化4. ByteBuf写入代码示例 5. ByteBuffer扩容6. ByteBuf 读取7. retain() & release()TailContext 释放未处理消息逻辑HeadContext 8. …
阅读更多...
【新片场-注册安全分析报告-无验证方式导致安全隐患】

【新片场-注册安全分析报告-无验证方式导致安全隐患】

前言 由于网站注册入口容易被黑客攻击&#xff0c;存在如下安全问题&#xff1a; 1. 暴力破解密码&#xff0c;造成用户信息泄露 2. 短信盗刷的安全问题&#xff0c;影响业务及导致用户投诉 3. 带来经济损失&#xff0c;尤其是后付费客户&#xff0c;风险巨大&#xff0c;造…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023