词向量模型

bert4keras

字级

bert4keras 文档中心

bert4keras/examples at master · bojone/bert4keras · GitHub

mirrors / bojone / bert4keras · GitCode

GitHub - bojone/bert4keras: keras implement of transformers for humans

bert4keras、transformers 加载预训练bert模型、句向量cls，字向量提取；tokenizer使用_loong_XL的博客-CSDN博客

bert-wwm

词级，目前向量表示最为准确的语言模型

GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）

面向中文的BERT预训练模型 - 知乎 wwmbert

GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）

GitHub - ShenDezhou/Chinese-PreTrained-BERT: We released BERT-wwm, a Chinese pre-training model based on Whole Word Masking technology, and models closely related to this technology. 我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型

Alpaca

GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

mirrors / ymcui / chinese-llama-alpaca · GitCode

【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录_提笔忘字的帝国的博客-CSDN博客

【五一创作】跑alpaca-lora语言模型的常见问题（心得）_如果皮卡会coding的博客-CSDN博客

Gpt进阶（二）:训练部署自己的ChatGPT模型(羊驼 Alpaca-LoRA） - 知乎

sentence_transformers

5分钟 NLP系列 — SentenceTransformers 库介绍_sentence_transformers_deephub的博客-CSDN博客

roBERTa

GitHub - brightmart/roberta_zh: RoBERTa中文预训练模型: RoBERTa for Chinese

使用PaddleNLP识别垃圾邮件（四）：用RoBERTa做中文邮件标题分类 - 飞桨AI Studio

bert4vec

GitHub - zejunwang1/bert4vec: 一个基于预训练的句向量生成工具

可以生成相似句子对：GitHub - ZhuiyiTechnology/pretrained-models: Open Language Pre-trained Model Zoo

hugging face

Models - Hugging Face

hugging face 模型库的使用及加载 Bert 预训练模型_IT__learning的博客-CSDN博客

huggingfacehub 模型使用

# 使用方式一：指定模型名字 ,这种方式不需要下载预训练模型，函数调用过程中如果发现没有这个模型就会自动下载

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained(“nghuyong/ernie-1.0”)

model = AutoModel.from_pretrained(“nghuyong/ernie-1.0”)

# 使用方式二：指定路径,这种方式需要先下载好预训练模型的文件

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained(“/home/models/huggingface/gpt2”)

model = AutoModel.from_pretrained(“/home/models/huggingface/gpt2”)

transformers

pipeline有问答模板Bert 输出及例子_bert输出_桃汽宝的博客-CSDN博客https://blog.csdn.net/weixin_44317740/article/details/113248250?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-1-113248250-blog-121080763.235%5Ev36%5Epc_relevant_anti_vip&spm=1001.2101.3001.4242.2&utm_relevant_index=4