LLaMA以及其扩展模型总结（一）

news2024/11/27 4:14:08

自从ChatGPT发布以来，人们看到了AGI时代的曙光，但是由于ChatGPT是闭源的，只能在官网体验和使用API进行访问，据OpenAI CEO说是出于AGI的安全性考虑，这样大大限制了很多研究人员和机构对于AGI的研究进展。Meta公司反其道行之，今年2月24日发布了半开源大语言模型LLaMA(中文意为“羊驼”)，这是一组包含 7 到 650 亿个参数的基础大型语言模型，因其参数量远小于GPT-3，效果却仍能优于后者一度在圈内引起热议。之所以是半开源，是因为LLaMA模型的权重需要申请的。下面对LLaMA以及其扩展的模型进行简单总结：

一、LLaMA

图片

论文地址：https://research.facebook.com/file/1574548786327032/LLaMA--Open-and-Efficient-Foundation-Language-Models.pdf

1.1）介绍

LLaMA，是Meta AI最新发布的一个从7B到65B参数的基础语言模型集合。在数以万亿计的token上训练模型，并表明有可能完全使用公开的数据集来训练最先进的模型，而不需要求助于专有的和不可获取的数据集。LLaMA-13B在大多数bechmark上超过了GPT-3（175B），而LLaMA-65B与最好的模型Chinchilla70B和PaLM-540B相比具有竞争力。

1.2）预训练数据

图片

使用SentencePiece库的BPE算法进行数据切分，并且用bytes对不知道的UTF-8编码进行处理，最终得到的1.4T的token。

1.3）模型的架构与参数

模型架构采纳了其他模型中的一些改进，包括：

  • Pre-normalization，来自GPT-3，可以稳定训练。

    • normalize输入而非输出

    • 使用RMSNorm

  • SwiGLU，来自PaLM，替换了ReLU来获得更好的效果。维度使用的是2/3*4d而不是PaLM中的4d。

  • Rotary Embedding，来自GPTNeo，替换了绝对位置编码。

其他的模型超参数见下表。

图片

optimizer使用AdamW, beta1=0.9，beta2=0.95。使用cosine learning rate schedule, 最终的learning rate是最高值的十分之一，weight decay 是0.1，2000步warmup。

1.4）模型的性能

图片

1.5）高效实现

  • 使用了xformer中的高效的casual multi-head attention实现来内存占用的运行时间。灵感来自PaperSelf-attention does not need o(n^2) memory，并在Flashattention: Fast and memory-efficient exact attention with io-awareness.中使用。这个高效是由不存储注意力权重和不计算被mask的key/query分数来达到的。

  • 减少了在反向传播阶段需要重新计算的激活值，具体来说，是将计算量比较大的中间结果存储下来，比如线性层的输出。

    • 要实现这个，需要手动实现反向传播函数而不是依赖pytorch的autograd。

    • 为了更好的达到这一点，还需要我们多使用模型和序列并行来降低内存占用。

    • 还需要尽可能的让激活值的计算和GPU间的通信overlap。

在训练65B模型的时候，代码80G内存的2048块A100上每秒每GPU处理380个token。意味着需要21天处理完1.4T token。

1.6）核心结论

  1. LLaMA 是一个开源的基础语言模型集合，参数范围从7B到65B，完全使用公开的数据集在数万亿 Token 上训练；

  2. LLaMA-13B 在大多数基准上都优于 GPT-3(175B)，而模型大小却小了 10 倍以上，LLaMA-65B 与最好的模型 Chinchilla70B 和 PaLM-540B 性能相当；

  3. 该研究表明，通过完全在公开可用的数据上进行训练，有可能达到最先进的性能，而不需要求助于专有的数据集，这可能有助于努力提高鲁棒性和减轻已知的问题，如毒性和偏见；

  4. 向研究界发布LLaMA模型，可能会加速大型语言模型的开放，并促进对指令微调的进一步研究，未来的工作将包括发布在更大的预训练语料库上训练的更大的模型。

二、Alpaca以及其扩展模型

2.1）Alpaca

2.1.1）Alpaca介绍

图片

官网地址：https://crfm.stanford.edu/2023/03/13/alpaca.html

模型入口：https://crfm.stanford.edu/alpaca

github地址：https://github.com/tatsu-lab/stanford_alpaca

      3月15日，斯坦福发布语言大模型Alpaca，它是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。

具体花费如下：

  • 在8个80GB A100上训练了3个小时，不到100美元；

  • 生成数据使用OpenAI的API，500美元。

2.1.2）Alpaca微调

图片

首先使用人工标注的175个「指令-输出」对作为种子，然后，使用这些种子作为上下文示例让text-davinci-003生成更多Prompt。

通过简化生成管道改进了自生成指令的方法，这样大大降低了成本。在数据生成过程中，产生了52K个独特指令和相应的输出，使用OpenAI API的成本不到500美元。

有了这个指令遵循的数据集，研究人员利用Hugging Face的训练框架对LLaMA模型进行微调，利用了完全分片数据并行（FSDP）和混合精度训练等技术。

2.1.3）Alpaca评估

为了评估Alpaca，斯坦福研究人员对自生成指令评价集的输入进行了人工评估（由5位学生作者进行）。

这个评价集是由自生成指令作者收集的，涵盖了多样化的面向用户的指令，包括电子邮件写作、社交媒体和生产力工具等。

他们对GPT-3.5（text-davinci-003）和Alpaca 7B进行了比较，发现这两个模型的性能非常相似。Alpaca在与GPT-3.5的比较中，获胜次数为90对89。

鉴于模型规模较小，且指令数据量不大，取得这个结果已经是相当惊人了。

除了利用这个静态评估集，他们还对Alpaca模型进行了交互式测试，发现Alpaca在各种输入上的表现往往与GPT-3.5相似。

2.2）Alpaca-CoT

是多接口统一的轻量级LLM指令微调平台。

官网地址：https://sota.jiqizhixin.com/project/alpaca-cot

GitHub地址：https://github.com/PhoebusSi/Alpaca-CoT

三、BiLLa[1]

3.1）BiLLa介绍

Github 地址： https://github.com/Neutralzz/BiLLa 

HuggingFace 模型： 

https://huggingface.co/Neutralzz/BiLLa-7B-LLM（语言模型 BiLLa-7B-LLM） 

https://huggingface.co/Neutralzz/BiLLa-7B-SFT（指令微调模型 BiLLa-7B-SFT） 

注：因 LLaMa 的使用限制，权重下载后不能直接使用，需通过脚本 [1] 转换

BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型。模型的主要特性有： 

  • 较大提升 LLaMA 的中文理解能力，并尽可能减少对原始 LLaMA

    英文能力的损伤； 

  • 训练过程增加较多的任务型数据，利用 ChatGPT 生成解析，强化

    模型理解任务求解逻辑；

  • 全量参数更新，追求更好的生成效果。

以下是经过有限的评测分析得出的结论： 

  • BiLLa-7B-LLM 中英语言建模能力显著优于 Chinese-LLaMA-7B；

  • BiLLa-7B-SFT中文推理能力显著优于BELLE-LLaMA-Ext-7B等

    模型；

  • 由 GPT4 打分，BiLLa-7B-SFT 在英文指令上得分显著高于

    ChatGLM-6B，中文得分持平，但解题与代码得分更高。 

3.2）BiLLa模型训练

该模型以原始 LLaMa 模型为基础，进行了如下三个阶段的训练。

  • 第一阶段：扩充中文词表，使用中文预训练语料 Wudao [5]、英文预训练语料 PILE [6]、翻译语料 WMT [7] 的中英数据进行二次预训练。 

  • 第二阶段：训练数据在第一阶段基础上增加任务型数据，训练过程中两部分数据保持 1:1 的比例混合。任务型数据均为 NLP 各任务的主流开源数据，包含有数学解题、阅读理解、开放域问答、摘要、代码生成等，利用 ChatGPT API 为数据标签生成解析，用于训练提升模型对任务求解逻辑的理解。 

  • 第三阶段：保留第二阶段任务型数据，并转化为对话格式，增加其

    他指令数据（如 Dolly 2.0、Alpaca GPT4、COIG等），进行对齐阶段的微调。

借鉴 BELLE 之前的工作，三阶段的训练均为全量参数的更新，未使用 LoRA。

目前开源的模型，BiLLa-7B-LLM 是第二阶段训练完成的语言模型，BiLLa-7B-SFT 是第三阶段训练完成的指令微调模型。

四、CaMA[2]

通过全量预训练和指令微调提高了中文理解能力、知识储备和指令理解能力

CaMA: A Chinese-English Bilingual LLaMA Model - CaMA: A Chinese-English Bilingual LLaMA Model.' ZJUNLP

图片

GitHub地址: https://github.com/zjunlp/CaMA 

五、ChatLLaMA[3]

5.1）ChatLLaMA模型介绍

3月23日，AI公司Nebuly开源了第一个基于人类反馈强化学习 (RLHF) 的 LLaMA模型：ChatLLama（https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama），允许用户基于预训练的LLaMA模型构建个性化的ChatGPT服务，且训练速度更快，成本更低。

       虽然 LLaMA 发布之初就得到众多研究者的青睐，但是少了 RLHF 的加持，从上述评测结果来看，还是差点意思。在 LLaMA 发布三天后，初创公司 Nebuly AI 开源了 RLHF 版 LLaMA（ChatLLaMA）的训练方法。它的训练过程类似 ChatGPT，该项目允许基于预训练的 LLaMA 模型构建 ChatGPT 形式的服务。项目上线刚刚 2 天，狂揽 5.2K 星。

图片

github地址：https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama

ChatLLaMA 训练过程算法实现主打比 ChatGPT 训练更快、更便宜，我们可以从以下四点得到验证：

  • ChatLLaMA 是一个完整的开源实现，允许用户基于预训练的 LLaMA 模型构建 ChatGPT 风格的服务；

  • 与 ChatGPT 相比，LLaMA 架构更小，但训练过程和单 GPU 推理速度更快，成本更低；

  • ChatLLaMA 内置了对 DeepSpeed ZERO 的支持，以加速微调过程；

  • 该库还支持所有的 LLaMA 模型架构（7B、13B、33B、65B），因此用户可以根据训练时间和推理性能偏好对模型进行微调。

5.2）ChatLLaMA模型使用

ChatLLaMA 允许您使用 RLHF 以类似于 ChatGPT 的方式轻松训练基于 LLaMA 的架构。例如，下面是在 ChatLLaMA 7B 的情况下开始训练的代码。

from chatllama.rlhf.trainer import RLTrainerfrom chatllama.rlhf.config import Config
path = "path_to_config_file.yaml"config = Config(path=path)trainer = RLTrainer(config.trainer)trainer.distillate()trainer.train()trainer.training_stats.plot()

请注意，在开始微调过程之前，您应该提供 Meta 的原始权重和您的自定义数据集。或者，您可以使用 LangChain 的代理生成您自己的数据集。

python generate_dataset.py

六、CAMEL[4]

CAMEL: 从LLaMA衍生并适应临床的模型。CAMEL基于LLaMA进行进一步的微调，使用了MIMIC-III和MIMIC-IV的临床病例，并在临床指导上进行微调。

图片

图片

图片

官网地址：https://starmpcc.github.io/CAMEL/

github地址：https://github.com/starmpcc/CAMEL

七、草本[5]

草本大模型原名是华佗，它提出了一个基于LLaMA模型的中医知识微调模型——华驼，它能够在生物医学领域生成更专业、更可靠、更人性化的回答。

图片

论文地址：https://arxiv.org/pdf/2304.06975v1.pdf

代码开源：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese

  • 在CMeKG中医知识图谱上，生成了8,000多条指令数据，用于对LLaMA模型进行监督微调。这些指令数据包括问答、填空、排序、分类等类型，涉及中医的各个方面。

  • 在生物医学领域的回答任务上，比较了华驼模型和其他基准模型的表现。这些基准模型包括ChatGLM-6B、Alpaca和原始LLaMA。使用自动评价指标和人工评价来评估模型生成的回答的质量和可靠性。

图片

八、DB-GPT[6]

DB-GPT：基于vicuna-13b和FastChat的开源实验项目，采用了langchain和llama-index技术进行上下文学习和问答。项目完全本地化部署，保证数据的隐私安全，能直接连接到私有数据库处理私有数据。其功能包括SQL生成、SQL诊断、数据库知识问答等。

图片

DB-GPT - A Open Database-GPT Experiment, which based on vicuna-13b and fastchat, meanwhile it use langchain and llama-index for in-context learning and QA' magic.chen

一个数据库相关的GPT实验项目, 模型与数据全部本地化部署, 绝对保障数据的隐私安全。同时此GPT项目可以直接本地部署连接到私有数据库, 进行私有数据处理。

DB-GPT 是一个实验性的开源应用程序，它基于FastChat，并使用vicuna-13b作为基础模型。此外，此程序结合了langchain和llama-index基于现有知识库进行In-Context Learning来对其进行数据库相关知识的增强。它可以进行SQL生成、SQL诊断、数据库知识问答等一系列的工作。

GitHub地址: https://github.com/csunny/DB-GPT

九、ExpertLLaMA

9.1）ExpertLLaMA介绍

ExpertLLaMA:一个使用ExpertPrompting（https://arxiv.org/abs/2305.14688）构建的开源聊天机器人，其能力达到ChatGPT的96%。

ExpertLLaMA通过在普通指令中添加专家身份描述，产生高质量、详细的专家级回答。本项目提供了方法简介、52,000个专家数据集样本、52,000个基线数据集样本、52,000个对应每个具体指令的专家身份描述、基于专家数据集训练的ExpertLLaMA检查点以及与Vicuna、LLaMA-GPT4等现有模型的评估结果

图片

GitHub地址：https://github.com/OFA-Sys/ExpertLLaMA

9.2）ExpertLLaMA微调的大致步骤如下：

a）首先使用gpt-3.5-turbo模型对 52k Alpaca instructions数据使用ExpertPrompting方法进行数据增强，增强后的数据在github地址的data目录下；

图片

b）然后使用这些增强后的指令跟随数据对LLaMA-7B进行微调。

9.3）ExpertLLaMA训练脚本如下：​​​​​​​

torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \    --model_name_or_path <your_path_to_hf_converted_llama_ckpt_and_tokenizer> \    --data_path ./data/expertllama.json \    --bf16 True \    --output_dir <your_output_dir> \    --num_train_epochs 3 \    --per_device_train_batch_size 4 \    --per_device_eval_batch_size 4 \    --gradient_accumulation_steps 8 \    --evaluation_strategy "no" \    --save_strategy "steps" \    --save_steps 2000 \    --save_total_limit 1 \    --learning_rate 2e-5 \    --weight_decay 0. \    --warmup_ratio 0.03 \    --lr_scheduler_type "cosine" \    --logging_steps 1 \    --fsdp "full_shard auto_wrap" \    --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \    --tf32 True

9.4）ExpertLLaMA模型加载：

模型加载可以参考Vicuna，是LLaMA原始模型权重和ExpertLLaMA权重的合并，脚本可以参考：https://github.com/lm-sys/FastChat#vicuna-weights

Step1：下载LLaMA-7B官方模型权重，然后转换成huggingface transformers格式，参考地址：https://huggingface.co/docs/transformers/main/model_doc/llama

Step2：下载ExpertLLaMA权重，参考地址：https://huggingface.co/OFA-Sys/expertllama-7b-delta/tree/main或者设置OFA-Sys/expertllama-7b-delta

Step3：运行./model/apply_delta.py脚本

python3 apply_delta.py --base-model-path {your_base_model_path} --target-model-path {your_target_model_path} --delta-path {downloaded_delta_weights}

本地部署脚本如下：

python3 gen_demo.py --expertllama_path {your_target_model_path}

十、FreedomGPT

FreedomGPT是由AI风险投资公司Age of AI开发，它使用Electron 和 React构建，它是一个桌面应用程序，允许用户在他们的本地机器上运行LLaMA。它与ChatGPT不同，ChatGPT遵循OpenAI的使用政策，限制仇恨、自残、威胁、暴力、性方面的内容。而FreedomGPT是一个号称完全自由的 GPT 聊天模型，不带有任何过滤机制，有 Web 版和桌面端。

官网地址：https://freedomgpt.com/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/759917.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

在线转换视频格式到mp4怎么换？分享两个方法！

在线转换视频格式到mp4怎么换？分享两个方法！

在日常生活和工作中&#xff0c;我们常常需要将视频文件转换为MP4格式以便于在各种设备上播放和共享。本文将介绍两种快速转换视频格式为MP4的方法&#xff0c;一种是使用记灵在线工具&#xff0c;另一种是使用一个在线转换工具。 方法一&#xff1a;记灵在线工具 记灵是一款…
阅读更多...
LED驱动（原始架构）——STM32MP157

LED驱动（原始架构）——STM32MP157

文章目录 硬件知识 LED 原理GPIO 引脚操作方法GPIO 模块一般结构GPIO 寄存器的一般操作 STM32MP157的GPIO操作方法先使能PLL4MPU、MCU共享GPIO模块1. 在MPU上使能某个GPIO模块2. 在MCU上使能某个GPIO模块 GPIO模块设置引脚工作模式&#xff1a;GPIO模式对于输出引脚&#xff1a…
阅读更多...
模块化+命名空间

模块化+命名空间

1.目的&#xff1a;为了让代码更好维护&#xff0c;让多种数据分类更加明确 2.修改src/store/index.js为了解决不同模块命名冲突的问题&#xff0c;将不同模块的namespaced:true&#xff0c;之后在不同页面中引入getter actions mutations state&#xff0c;需要加上所属的模块…
阅读更多...
ADC基础进阶

ADC基础进阶

ADC 啊.... 拿华大的来举例吧... 最少要知道了两个电路。 1. VERF 华大HC32F60的ADC以VREF为内部基准电压&#xff0c;如果VREFH管教悬空&#xff0c;那么实际其基准电压应该是MCU_3.3V&#xff0c;如果VREFH额外搭电路提供电压&#xff0c;应该是以其实际提供的电压为准&am…
阅读更多...
Uber是如何解决数据一致性问题的呢？

Uber是如何解决数据一致性问题的呢？

Uber的请求流程非常复杂&#xff0c;如上图所示&#xff0c;他们使用Spanner来存储大量数据。Spanner是一个全面托管的、关键的关系型数据库服务&#xff0c;可以在全球范围内提供事务一致性和高可用性的自动同步复制。 但是&#xff0c;当扩展到数百万并发请求时&#xff0c;使…
阅读更多...
【2023 年第二届钉钉杯大学生大数据挑战赛】 初赛 B：美国纽约公共自行车使用量预测分析 问题一Python代码分析

【2023 年第二届钉钉杯大学生大数据挑战赛】 初赛 B：美国纽约公共自行车使用量预测分析 问题一Python代码分析

2023 年第二届钉钉杯大学生大数据挑战赛 初赛 B&#xff1a;美国纽约公共自行车使用量预测分析 问题一 1 题目 Citi Bike是纽约市在2013年启动的一项自行车共享出行计划&#xff0c;由“花旗银行”(Citi Bank)赞助并取名为“花旗单车”(Citi Bike)。在曼哈顿&#xff0c;布鲁克…
阅读更多...
PID算法：标准PID算法的一些改进措施

PID算法：标准PID算法的一些改进措施

前面的几篇文章分别分享了PID算法的原理、增量式和位置式PID算法的区别、以及过程控制中一些重要的指标&#xff0c;感兴趣的朋友可以回看之前的文章或者自行查阅资料。 在实际项目中&#xff0c;使用数字PID算法对系统的被控量进行控制的时候&#xff0c;有时候并不是仅仅的使…
阅读更多...
面试之可重复读是否可以解决幻读

面试之可重复读是否可以解决幻读

可重复读&#xff08;repeatable read&#xff09;定义:一个事务执行过程中看到的数据&#xff0c;总是跟这个事务在启动时看到的数据时是一致的。 不过理论上 是会出现幻读的&#xff0c;简单的来说幻读指的是当用户读取某一范围的数据行时&#xff0c;另外一个事务又在该范围…
阅读更多...
一个PDF怎么拆分成几个?这几个方法轻松拆分PDF！

一个PDF怎么拆分成几个?这几个方法轻松拆分PDF！

在现代生活与工作的环境中&#xff0c;我们常常需要以高效的方式处理包含大量信息的PDF文件。在这种情况下&#xff0c;拆分这些文件成为一种理想的解决方案&#xff0c;以便更精准地管理和阅读这些信息。接下来&#xff0c;我们将深入探讨几种实用的PDF拆分技巧。 一、直观的…
阅读更多...
postman-循环调用测试接口

postman-循环调用测试接口

此篇文章产生的背景是想针对接口做流控验证&#xff0c;检查流控是否奏效&#xff0c;便发现postman也能一次操作来循环调用接口&#xff0c;减少了一些开发测试工作&#xff0c;下面就看一下操作流程 目录 前置查看postman版本我的接口数据 具体操作步骤新建接口集选择接口集进…
阅读更多...
FL Studio Producer Edition v21.0.3.3517 for Mac中文版解锁版下载

FL Studio Producer Edition v21.0.3.3517 for Mac中文版解锁版下载

水果音乐编辑软件FL Studio Producer Edition v21.0.3.3517 for Mac中文版解锁版下载是兔八哥爱分享搜集到的Mac Os系统上一款功能齐全的音乐编曲工具&#xff0c;可以为需要创作高品质音乐曲目的专业和业余艺术家提供多轨录音&#xff0c;排序和混音。 借助FL Studio 21的帮助…
阅读更多...
运动模糊还原｜维纳滤波｜图像处理

运动模糊还原｜维纳滤波｜图像处理

前言 那么这里博主先安利一些干货满满的专栏了&#xff01; 这两个都是博主在学习Linux操作系统过程中的记录&#xff0c;希望对大家的学习有帮助&#xff01; 操作系统Operating Syshttps://blog.csdn.net/yu_cblog/category_12165502.html?spm1001.2014.3001.5482Linux S…
阅读更多...
《Ansible故障篇：ansible报错解决python依赖》

《Ansible故障篇：ansible报错解决python依赖》

一、背景信息 如下报错&#xff1a;这个警告是提醒您当前的Ansible配置在目标主机上使用的是/usr/bin/python而不是建议的/usr/bin/python3&#xff0c;因为Ansible 2.9版本之前的某些版本默认使用早期的Python 2.x版本。然而&#xff0c;在将来的版本中&#xff0c;Ansible将会…
阅读更多...
xpath下载安装——Python爬虫xpath插件下载安装（2023.7亲测可用！！）

xpath下载安装——Python爬虫xpath插件下载安装（2023.7亲测可用！！）

目录 1.免费下载插件链接&#xff08;若失效评论区留言发送最新链接&#xff09;&#xff08;2023.7亲测可用&#xff09; 2.安装插件 &#xff08;1&#xff09;打开chrome浏览器页面&#xff0c;点击&#xff1a;右上角三个点 > 扩展程序 > 管理拓展程序 &#xff…
阅读更多...
leedcode 1326. 灌溉花园的最少水龙头数目

leedcode 1326. 灌溉花园的最少水龙头数目

在 x 轴上有一个一维的花园。花园长度为 n&#xff0c;从点 0 开始&#xff0c;到点 n 结束。 花园里总共有 n 1 个水龙头&#xff0c;分别位于 [0, 1, …, n] 。 给你一个整数 n 和一个长度为 n 1 的整数数组 ranges &#xff0c;其中 ranges[i] &#xff08;下标从 0 开始…
阅读更多...
wsl2中安装docker

wsl2中安装docker

1、安装docker 执行以下脚本&#xff1a; 这个脚本在执行之前需要先执行chmod x install-docker.sh这个命令 # install docker curl -fsSL get.docker.com -o get-docker.sh sh get-docker.shif [ ! $(getent group docker) ]; thensudo groupadd docker; elseecho "doc…
阅读更多...
暗图增强 小期刊/会议 论文阅读笔记

暗图增强 小期刊/会议 论文阅读笔记

Y. Ueda, H. Misawa, T. Koga, N. Suetake and E. Uchino, “HUE-Preserving Color Contrast Enhancement Method Without Gamut Problem by Using Histogram Specification,” 2018 25th IEEE International Conference on Image Processing (ICIP), Athens, Greece, 2018, pp…
阅读更多...
一种具有集成JFET区域的新型SiC沟道MOSFET，通过该区域改善了其短路容限能力

一种具有集成JFET区域的新型SiC沟道MOSFET，通过该区域改善了其短路容限能力

标题&#xff1a;A Novel SiC Trench MOSFET with Improved Short-circuit Capability through an Integrated JFET Region 阅读日期&#xff1a;2023.7.16 研究了什么 该文章研究了一种新型SiC沟槽栅MOSFET&#xff0c;其具有集成JFET区域&#xff08;IJ-TMOS&#xff09;&a…
阅读更多...
天天刷题--＞LeetCode(最长回文子串)

天天刷题--＞LeetCode(最长回文子串)

个人名片&#xff1a; &#x1f405;作者简介&#xff1a;一名大二在校生&#xff0c;热爱生活&#xff0c;爱好敲码&#xff01; \ &#x1f485;个人主页 &#x1f947;&#xff1a;holy-wangle ➡系列内容&#xff1a; &#x1f5bc;️ tkinter前端窗口界面创建与优化 &…
阅读更多...
【NLP】使用Word Embedding实现中文自动摘要

【NLP】使用Word Embedding实现中文自动摘要

使用Word Embedding实现中文自动摘要 主要步骤中文语料库数据预处理生成词向量把文档的词转换为词向量生成各主题的关键词检查运行结果 参考资料 本文通过一个实例介绍如何使用Word Embedding实现中文自动摘要&#xff0c;使用 Gensim中的word2vec模型来生成Word Embedding。 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023