目录
前言
web ui
ValueError: When localhost is not accessible
前言
使用 text-generation-webui 生成大模型界面，这个是专门用于文本对话生成的 web ui 界面
GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.
克隆或下载到本地，我是想试试这个怎么样，我的环境：
win10, cpu
所以在模型方面找了小模型来试试，https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat/tree/main
qwen1.5-0.5B 只有 2g 多，可以下载模型文件，我在本地电脑没 gpu 情况下能跑起来：
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cpu" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen1.5-0.5B-Chat",
torch_dtype="auto",
device_map="cpu"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat")
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
web ui
下载好后，按照它的安装指引安装一下，中途按照提示选择即可
模型文件位置，按照自行放置：
ValueError: When localhost is not accessible
到 text-generation-webui 目录下，运行 python service.py，先提示缺少包，提示啥就安装啥
注意：gradio 需要安装指定版本（requirements.txt 中可以看）
全部没问题后，会得到这个错误，需要在 shared.py 中加一个值 default=True 如下，这个代码直接用 pycham 打开搜索就能找到
group.add_argument('--share', action='store_true', help='Create a public URL. This is useful for running the web UI on Google Colab or similar.', default=True)然后重新启动 service，点开 url 就可以看到效果
需要加载选择模型，由于我是 cpu ，还有一个 cpu 需要选择，在下面一点，就不截图了，加载成功会提示 successfull：
然后就恶意正常对话了，不过从模型上看，0.5 的效果太差了
