提示词工程实践

news2024/11/28 6:46:49

本讲义主要以text2SQL为场景进行讲解，包括提示词的编写和闭源模型调用、本地开源模型部署调用以及基于开源模型的微调。

回顾下大模型学习思路：

1. 开发环境准备

1.1 代码

代码位于【算法管理】->【公共算法】->【prompts_engineering_04】，使用之前先点击【复制算法】，将代码复制到【我的算法】中。

训练代码内容:

# Copyright (c) OpenMMLab. All rights reserved.
import torch
from datasets import load_dataset
from mmengine.dataset import DefaultSampler
from mmengine.hooks import (CheckpointHook, DistSamplerSeedHook, IterTimerHook,
                            LoggerHook, ParamSchedulerHook)
from mmengine.optim import AmpOptimWrapper, CosineAnnealingLR, LinearLR
from peft import LoraConfig
from torch.optim import AdamW
from transformers import (AutoModelForCausalLM, AutoTokenizer,
                          BitsAndBytesConfig)

from xtuner.dataset import process_hf_dataset
from xtuner.dataset.collate_fns import default_collate_fn
from xtuner.dataset.map_fns import sql_map_fn, template_map_fn_factory
from xtuner.engine.hooks import (DatasetInfoHook, EvaluateChatHook,
                                 VarlenAttnArgsToMessageHubHook)
from xtuner.engine.runner import TrainLoop
from xtuner.model import SupervisedFinetune
from xtuner.parallel.sequence import SequenceParallelSampler
from xtuner.utils import PROMPT_TEMPLATE, SYSTEM_TEMPLATE

#######################################################################
#                          PART 1  Settings                           #
#######################################################################
# Model
pretrained_model_name_or_path = '/dataset/CodeLlama-7b-hf/'
use_varlen_attn = False

# Data
data_path = '/dataset/datasets/sql_datasets'
prompt_template = PROMPT_TEMPLATE.llama2_chat
max_dataset_length=16000
max_length = 2048
pack_to_max_length = False

# parallel
sequence_parallel_size = 1

# Scheduler & Optimizer
batch_size = 4  # per_device
accumulative_counts = 8
accumulative_counts *= sequence_parallel_size
dataloader_num_workers = 0
max_epochs = 1
optim_type = AdamW
lr = 2e-4
betas = (0.9, 0.999)
weight_decay = 0
max_norm = 1  # grad clip
warmup_ratio = 0.03

# Save
save_steps = 500
save_total_limit = 2  # Maximum checkpoints to keep (-1 means unlimited)

# Evaluate the generation performance during the training
evaluation_freq = 500
SYSTEM = SYSTEM_TEMPLATE.sql
evaluation_inputs = [
    ('CREATE TABLE station (name VARCHAR, lat VARCHAR, city VARCHAR)\n'
     'Find the name, latitude, and city of stations with latitude '
     'above 50.'),
    ('CREATE TABLE weather (zip_code VARCHAR, mean_visibility_miles '
     'INTEGER)\n找到mean_visibility_miles最大的zip_code。')
]

#######################################################################
#                      PART 2  Model & Tokenizer                      #
#######################################################################
tokenizer = dict(
    type=AutoTokenizer.from_pretrained,
    pretrained_model_name_or_path=pretrained_model_name_or_path,
    trust_remote_code=True,
    padding_side='right')

model = dict(
    type=SupervisedFinetune,
    use_varlen_attn=use_varlen_attn,
    llm=dict(
        type=AutoModelForCausalLM.from_pretrained,
        pretrained_model_name_or_path=pretrained_model_name_or_path,
        trust_remote_code=True,
        torch_dtype=torch.bfloat16),
    lora=dict(
        type=LoraConfig,
        r=64,
        lora_alpha=16,
        lora_dropout=0.1,
        bias='none',
        task_type='CAUSAL_LM'))

#######################################################################
#                      PART 3  Dataset & Dataloader                   #
#######################################################################
train_dataset = dict(
    type=process_hf_dataset,
    dataset=dict(type=load_dataset, path=data_path),
    tokenizer=tokenizer,
    max_dataset_length=max_dataset_length,
    max_length=max_length,
    dataset_map_fn=sql_map_fn,
    template_map_fn=dict(
        type=template_map_fn_factory, template=prompt_template),
    remove_unused_columns=True,
    shuffle_before_pack=True,
    pack_to_max_length=pack_to_max_length,
    use_varlen_attn=use_varlen_attn)

sampler = SequenceParallelSampler \
    if sequence_parallel_size > 1 else DefaultSampler
train_dataloader = dict(
    batch_size=batch_size,
    num_workers=dataloader_num_workers,
    dataset=train_dataset,
    sampler=dict(type=sampler, shuffle=True),
    collate_fn=dict(type=default_collate_fn, use_varlen_attn=use_varlen_attn))

#######################################################################
#                    PART 4  Scheduler & Optimizer                    #
#######################################################################
# optimizer
optim_wrapper = dict(
    type=AmpOptimWrapper,
    optimizer=dict(
        type=optim_type, lr=lr, betas=betas, weight_decay=weight_decay),
    clip_grad=dict(max_norm=max_norm, error_if_nonfinite=False),
    accumulative_counts=accumulative_counts,
    loss_scale='dynamic',
    dtype='float16')

# learning policy
# More information: https://github.com/open-mmlab/mmengine/blob/main/docs/en/tutorials/param_scheduler.md  # noqa: E501
param_scheduler = [
    dict(
        type=LinearLR,
        start_factor=1e-5,
        by_epoch=True,
        begin=0,
        end=warmup_ratio * max_epochs,
        convert_to_iter_based=True),
    dict(
        type=CosineAnnealingLR,
        eta_min=0.0,
        by_epoch=True,
        begin=warmup_ratio * max_epochs,
        end=max_epochs,
        convert_to_iter_based=True)
]

# train, val, test setting
train_cfg = dict(type=TrainLoop, max_epochs=max_epochs)

#######################################################################
#                           PART 5  Runtime                           #
#######################################################################
# Log the dialogue periodically during the training process, optional
custom_hooks = [
    dict(type=DatasetInfoHook, tokenizer=tokenizer)
    # ,
    # dict(
    #     type=EvaluateChatHook,
    #     tokenizer=tokenizer,
    #     every_n_iters=evaluation_freq,
    #     evaluation_inputs=evaluation_inputs,
    #     system=SYSTEM,
    #     prompt_template=prompt_template)
]

if use_varlen_attn:
    custom_hooks += [dict(type=VarlenAttnArgsToMessageHubHook)]

# configure default hooks
default_hooks = dict(
    # record the time of every iteration.
    timer=dict(type=IterTimerHook),
    # print log every 10 iterations.
    logger=dict(type=LoggerHook, log_metric_by_epoch=False, interval=10),
    # enable the parameter scheduler.
    param_scheduler=dict(type=ParamSchedulerHook),
    # save checkpoint per `save_steps`.
    checkpoint=dict(
        type=CheckpointHook,
        by_epoch=False,
        interval=save_steps,
        max_keep_ckpts=save_total_limit),
    # set sampler seed in distributed evrionment.
    sampler_seed=dict(type=DistSamplerSeedHook),
)

# configure environment
env_cfg = dict(
    # whether to enable cudnn benchmark
    cudnn_benchmark=False,
    # set multi process parameters
    mp_cfg=dict(mp_start_method='fork', opencv_num_threads=0),
    # set distributed parameters
    dist_cfg=dict(backend='nccl'),
)

# set visualizer
visualizer = None

# set log level
log_level = 'INFO'

# load from which checkpoint
load_from = None

# whether to resume training from the loaded checkpoint
resume = False

# Defaults to use random seed and disable `deterministic`
randomness = dict(seed=None, deterministic=False)

# set log processor
log_processor = dict(by_epoch=False)

1.2 数据

数据已经下载好放在平台的huggingface-cache这个【公共数据集】中，数据位于/dataset/datasets/sql_datasets

数据下载链接：https://huggingface.co/datasets/b-mc2/sql-create-context

1.3 模型

模型位于【公共数据集】的hugging-cache中，创建好notebook后，可以在/dataset/CodeLlama-7b-hf/下查看模型文件

模型下载链接：https://huggingface.co/codellama/CodeLlama-7b-hf

1.4 创建开发环境

关键参数如下图所示，如果不希望开发环境（平台上也被成为notebook）默认4小时关闭，可以将【自动停止】关闭，如下图所示

注意⚠️

使用平台时，如需连接互联网，下载数据和模型需要设置如下环境变量

export HF_HOME=/code/huggingface-cache/

export HF_ENDPOINT=https://hf-mirror.com

export http_proxy=http://10.10.9.50:3000

export https_proxy=http://10.10.9.50:3000

export no_proxy=localhost,127.0.0.1

1.5 国内外模型的api-key准备

课程需要使用的大模型api-key需要自行申请下，国内大模型很多都首次注册送免费额度，基本够用。

api申请地址如下，大家可以根据需要申请：

讯飞星火大模型

https://xinghuo.xfyun.cn/sparkapi

智普 AI

https://open.bigmodel.cn/pricing

阿里千问

https://bailian.console.aliyun.com/#/model-market

百度千帆

https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Nlks5zkzu

DeepSeek

https://platform.deepseek.com/api_keys

申请完毕后，按照对应的环境变量进行设置即，例如：

百度：

export QIANFAN_AK=xxxxx

export QIANFAN_SK=xxxxxx

讯飞：

export SPARK_APP_ID=xxxx

export SPARK_API_KEY=xxxxxxx

export SPARK_API_SECRET=xxxxxxx

智普：

export ZHIPUAI_API_KEY=xxx_xxx

2. 调用国内外大模型测试

2.1 调用GPT-4o

import openai

# 设置 OpenAI API 密钥
# 如果设置了环境变量OPENAI_API_KEY就可以不再设置
client = openai.OpenAI() # 填写您自己的APIKey

# 提示词
prompt = """You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables.

You must output the SQL query that answers the question.
### Input:
Which Class has a Frequency MHz larger than 91.5, and a City of license of hyannis, nebraska?

### Context:
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

### Response:
"""

# 使用 OpenAI API 进行请求
chat_completion = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "user", "content": prompt}
    ]
)

# 提取生成的回复文本
print(chat_completion.choices[0].message.content)

生成结果

```sql
SELECT class 
FROM table_name_12 
WHERE frequency_mhz > 91.5 
AND LOWER(city_of_license) = 'hyannis, nebraska';
```

2.2 调用GLM4

import zhipuai

# 设置 ZHIPUAI_API_KEY 密钥
# 如果设置了环境变量ZHIPUAI_API_KEY就可以不再设置
client = zhipuai.ZhipuAI() # 填写您自己的APIKey

# 提示词
prompt = """You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables.

You must output the SQL query that answers the question.
### Input:
Which Class has a Frequency MHz larger than 91.5, and a City of license of hyannis, nebraska?

### Context:
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

### Response:
"""

# 使用 ZHIPUAI API 进行请求
chat_completion = client.chat.completions.create(
    model="glm-4",
    messages=[
        {"role": "user", "content": prompt}
    ]
)

# 提取生成的回复文本
print(chat_completion.choices[0].message.content)

生成结果

To answer the question, we need to query the `table_name_12` table for rows where the `Frequency MHz` is greater than 91.5 and the `City of license` is 'hyannis, nebraska'. The SQL query would look like this:

```sql
SELECT class 
FROM table_name_12 
WHERE frequency_mhz > '91.5' AND city_of_license = 'hyannis, nebraska';
```

This query assumes that the `frequency_mhz` column contains values that can be compared using the greater than operator, which is typical for numerical data formatted as strings. If the column contains actual numerical data, the quotes around '91.5' should be removed. However, since the context indicates that `frequency_mhz` is a `VARCHAR`, the quotes are necessary to compare it as a string.

2.3 注意⚠️

运行代码调用线上模型之前设置代理以连接到互联网，设置如下

# 终端输入命令
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1

此外还需要设置对应的api-key

# 用自己申请的api-key 替换*****部分
export OPENAI_API_KEY=***** 
export ZHIPUAI_API_KEY=*****

2.4 本地开源模型部署部署

2.4.1 使用FastChat部署codellama-7b-hf模型

# 按顺序依次执行
# 新建终端，输入如下命令
python -m fastchat.serve.controller --host 0.0.0.0
# 新建终端，输入如下命令
python -m fastchat.serve.model_worker --model-path /dataset/CodeLlama-7b-hf/ --host 0.0.0.0 --num-gpus 4 --max-gpu-memory 15GiB
# 新建终端，输入如下命令
python -m fastchat.serve.openai_api_server --host 0.0.0.0

2.4.2 模型调用

curl -X POST http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "CodeLlama-7b-hf",
    "prompt": "You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables. You must output the SQL query that answers the question. ### Input: Which Class has a Frequency MHz larger than 91.5, and a City of license of hyannis, nebraska? ### Context: CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR) ### Response:",
    "max_tokens": 41,
    "temperature": 0.5
  }'

3. 微调训练

针对codellama对问题回答不够好的问题，进行微调。微调数据来源：https://huggingface.co/datasets/b-mc2/sql-create-context，本次实验使用2机8卡，调试过程需要创建2个notebook进行分布式训练的【模型调试】。下面详细讲解微调的过程以及平台使用。

3.1 获取master IP地址

创建好notebook后选择一台机器（notebook）作为master，获取该机器的IP地址

# 打开终端，执行如下命令
ifconfig

可以看到如下输出，显示本机IP地址为10.244.132.114

3.2 启动训练

此时，在进行训练任务启动时，使用该IP地址作为ADDR的值，启动训练的命令如下：

# node1上（作为master），打开一个终端，执行如下命令
# 其中ADDR=10.244.132.114里的IP地址是master机器的地址
NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.132.114 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

# node2上，打开一个终端，执行如下命令
NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.132.114 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

3.3 查看训练进度

训练的进度只看master节点的日志，如下所示：

当看到日志显示Iter(train)[500/500]时，表示已经训练到最后一步，字面意思就是总共500步，现在训练到500步了。

3.4 使用【训练管理】启动训练任务

首先准备好训练脚本，用于配置环境变量、启动训练任务（可以看到这个脚本基本上和之前启动任务的脚本一样，是一个通用脚本）：

#!/bin/bash

export LD_LIBRARY_PATH=/opt/dtk/hip/lib:/opt/dtk/llvm/lib:/opt/dtk/lib:/opt/dtk/lib64:/opt/hyhal/lib:/opt/hyhal/lib64:/opt/dtk/.hyhal/lib:/opt/dtk/.hyhal/lib64:/opt/dtk-24.04/hip/lib:/opt/dtk-24.04/llvm/lib:/opt/dtk-24.04/lib:/opt/dtk-24.04/lib64:/opt/hyhal/lib:/opt/hyhal/lib64:/opt/dtk-24.04/.hyhal/lib:/opt/dtk-24.04/.hyhal/lib64:/usr/local/lib/:/usr/local/lib64/:/opt/mpi/lib:/opt/hwloc/lib:/opt/dtk/hip/lib:/opt/dtk/llvm/lib:/opt/dtk/lib:/opt/dtk/lib64:/opt/hyhal/lib:/opt/hyhal/lib64:/opt/mpi/lib:/opt/hwloc/lib:/usr/local/lib/:/usr/local/lib64/:$LD_LIBRARY_PATH

# 设置环境变量
export NCCL_DEBUG=INFO
export NCCL_IB_DISABLE=0
export NCCL_IB_HCA=mlx5
export NCCL_SOCKET_IFNAME=eth0
export GLOO_SOCKET_IFNAME=eth0
export HF_HOME=/userhome/huggingface-cache/

# 设置训练参数
export TRAIN_CONFIG=${1:-"llama2_13b_qlora_sql_e3_copy"}
export WORLD_SIZE=${2:-1}
export GPU=`rocm-smi| grep "auto" | wc -l`
export MASTER_ADDR=${TASKSET_NAME}-task0-0.${TASKSET_NAME}
export MASTER_PORT=12345
export RANK=`echo ${HOSTNAME} | awk -F '-' '{print $NF}'`

# 参数检查
echo ${GPU}
echo ${WORLD_SIZE}
echo ${MASTER_PORT}
echo ${RANK}
echo ${TRAIN_CONFIG}

# 训练模型
NPROC_PER_NODE=${GPU} NNODES=${WORLD_SIZE} PORT=${MASTER_PORT} ADDR=${MASTER_ADDR} NODE_RANK=${RANK} xtuner train /code/${TRAIN_CONFIG} --work-dir /userhome/xtuner-workdir-job --deepspeed deepspeed_zero3_offload

注意⚠️：

1. 脚本中为了方便，已经将路径/code固定并将需要用的优化方法固定

2. 脚本略有修改，获取RANK变量时，使用HOSTNAME环境变量去获取

3. 训练任务设置的工作路径（work-dir）是在/userhome/xtuner-workdir-job，这是一个共享目录（联系下之前讲到的多机共享目录NFS搭建）

获取训练配置文件的绝对路径：

得到的路径为：/code/llama2_7b_chat_qlora_sql_e3_copy.py，此时训练任务的【运行命令】可填入如下：

bash distributed_finetune_job.sh llama2_7b_chat_qlora_sql_e3_copy.py 2

界面操作如图所示：

训练过程中想看下训练进度，可以通过查看训练日志得知

step1: 点击详情

step2: 查看replica-0的节点日志进行查看：

因为/userhome/xtuner-workdir-job是一个共享目录，这意味着大家也可以选择在【模型调试】里开启一个开发环境，查看训练任务的日志：

3.5 训练后测试

测试需要在notebook中进行，需要创建一个notebook。

模型转换lora->hf，将lora训练的checkpoint转成hf格式的模型

如果是在notebook中训练的模型，执行如下命令：

xtuner convert pth_to_hf /code/llama2_7b_chat_qlora_sql_e3_copy.py /code/xtuner-workdir/iter_500.pth/ /code/iter_500_hf/

如果是使用【训练管理】训练的模型，执行如下命令：

xtuner convert pth_to_hf /code/llama2_7b_chat_qlora_sql_e3_copy.py /userhome/xtuner-workdir-job/iter_500.pth/ /code/iter_500_hf/

注意⚠️

这里的模型位置/code/xtuner-workdir/iter_500.pth/是我训练好放在这里的，如果是自己训练的模型，并修改了work-dir，需要填写对应的路径

这里直接加载lora的HF格式模型进行测试，测试代码：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

local_model_path = "/dataset/CodeLlama-7b-hf/"

tokenizer = AutoTokenizer.from_pretrained(local_model_path)

eval_prompt = """You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables.

You must output the SQL query that answers the question.
### Input:
Which Class has a Frequency MHz larger than 91.5, and a City of license of hyannis, nebraska?

### Context:
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

### Response:
"""
model_input = tokenizer(eval_prompt, return_tensors="pt").to("cuda")

base_model = AutoModelForCausalLM.from_pretrained(local_model_path, torch_dtype=torch.float16, device_map="cuda")  # don't quantize here

base_model.eval()
with torch.no_grad():
    print(tokenizer.decode(base_model.generate(**model_input, max_new_tokens=100)[0], skip_special_tokens=True))

print("=========下面是微调后的模型=========")

from peft import PeftModel
model = PeftModel.from_pretrained(base_model, "/code/iter_500_hf")

model.eval()
with torch.no_grad():
    print(tokenizer.decode(model.generate(**model_input, max_new_tokens=100)[0], skip_special_tokens=True))

执行测试：

python final_test.py

测试结果如图所示

可以看到相同的prompt，微调后回答正确，微调之前回答错误。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2186829.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

leetcode每日一题day17(24.9.27)——每种字符最少取k个

leetcode每日一题day17(24.9.27)——每种字符最少取k个

思路：看到题目就想到了搜索， 广搜：满足要求就往后搜，最后返回搜索队列达到过的最大深度， 深搜：一直往一边取，搜索完所有可能，并在此基础上进行剪枝，剪枝方案有如果某一分…
阅读更多...
大师级GC调优：剖析高并发系统的垃圾回收优化实战

大师级GC调优：剖析高并发系统的垃圾回收优化实战

前期准备 大家开始前一定要对VisualVM、Jmeter这两款工具有所了解！ 1. 下载安装VisualVM，以便后续调优分析。JDK1.8及之前所在目录的bin目录下有自带的VisualVM，JDK1.8以后需要自行手动安装下载。 下载地址：https://visualvm.git…
阅读更多...
模型的深度优化

模型的深度优化

文章目录 一、测试模型是否正确二、图形打印直观观察三、保存训练模型四、正确率（仅使用于分类问题） 一、测试模型是否正确 本文承接我的上一篇文章完整网络模型训练（一） 运用测试数据集（test_dataloader）…
阅读更多...
第二十一章 （动态内存管理）

第二十一章 （动态内存管理）

1. 为什么要有动态内存分配 2. malloc和free 3. calloc和realloc 4. 常⻅的动态内存的错误 5. 动态内存经典笔试题分析 6. 总结C/C中程序内存区域划分 1.为什么要有动态内存管理 我们目前已经掌握的内存开辟方式有 int main() {int num 0; //开辟4个字节int arr[10] …
阅读更多...
全局安装cnpm并设置其使用淘宝镜像的仓库地址（地址最新版）

全局安装cnpm并设置其使用淘宝镜像的仓库地址（地址最新版）

npm、cnpm和pnpm基本概念 首先介绍一下npm和cnpm是什么，顺便说一下pnpm。 npm npm（Node Package Manager）是Node.js的默认包管理器，用于安装、管理和分享JavaScript代码包。它是全球最大的开源库生态系统之一，提供了数…
阅读更多...
centos环境安装JDK详细教程

centos环境安装JDK详细教程

centos环境安装JDK详细教程 一、前期准备二、JDK安装2.1 rpm方式安装JDK2.2 zip方式安装JDK2.3 yum方式安装JDK 本文主要说明CentOS下JDK的安装过程。JDK的安装有三种方式，用户可根据实际情况选择： 一、前期准备 查看服务器操作系统型号，执…
阅读更多...
YOLOv7改进之主干DAMOYOLO结构，结合 CReToNeXt 结构，打造高性能检测器

YOLOv7改进之主干DAMOYOLO结构，结合 CReToNeXt 结构，打造高性能检测器

一、DAMOYOLO理论部分 论文地址：2211.15444 (arxiv.org) 在本报告中，我们提出了一种快速准确的对象检测方法，称为 DAMO-YOLO，它实现了比最先进的 YOLO 系列更高的性能。DAMO-YOLO 是从 YOLO 扩展而来的，具有一些新技术，包括神经架构搜索 （NAS）、高效的重新参数化广义 …
阅读更多...
【Linux】用虚拟机配置Ubuntu 24.04.1 LTS环境

【Linux】用虚拟机配置Ubuntu 24.04.1 LTS环境

目录 1.虚拟机安装Ubuntu系统 2.Ubuntu系统的网络配置 3.特别声明 首先我们先要下载VMware软件，大家自己去下啊！ 1.虚拟机安装Ubuntu系统 我们进去之后点击创建新的虚拟机，然后选择自定义 接着点下一步 再点下一步 进入这个界面之后&…
阅读更多...
[C++]使用纯opencv部署yolov11目标检测onnx模型

[C++]使用纯opencv部署yolov11目标检测onnx模型

yolov11官方框架：https://github.com/ultralytics/ultralytics 【算法介绍】 在C中使用纯OpenCV部署YOLOv11进行目标检测是一项具有挑战性的任务，因为YOLOv11通常是用PyTorch等深度学习框架实现的，而OpenCV本身并不直接支持加载和运行PyTor…
阅读更多...
Python+Matplotlib展示单射、双射、满射

Python+Matplotlib展示单射、双射、满射

import matplotlib.pyplot as pltplt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号def create_function_plot(ax, title, x, y, connections):ax.set_xlim(0, 5)ax.set_ylim(0, 5)ax.set_aspect…
阅读更多...
UE4 材质学习笔记01（什么是着色器/PBR基础）

UE4 材质学习笔记01（什么是着色器/PBR基础）

1.什么是shader 着色器是控制屏幕上每个像素颜色的代码，这些代码通常在图形处理器上运行。 现如今游戏引擎使用先进的基于物理的渲染和照明。而且照明模型模型大多数是被锁定的。 因此我们创建着色器可以控制颜色，法线，粗糙度，…
阅读更多...
十一假期不停歇-学习ROS第二天

十一假期不停歇-学习ROS第二天

一、自动修改环境变量 source install/setup.bash 这句指令可不重复添加环境变量，直接运行就可以。 从左右图即可即可看出有所不同的。以后写完功能包发现不存在那就source一下就好了。 实际上它运行的是 python3.10那里的功能包与节点 我们在创建完功能包会出…
阅读更多...
python-矩阵转置/将列表分割成块/和超过N的最短子数组

python-矩阵转置/将列表分割成块/和超过N的最短子数组

一：矩阵转置 题目描述 输入一个 n 行 m 列的矩阵 A，输出它的转置 AT。输入 第一行包含两个整数 n 和 m，表示矩阵 A 的行数和列数。1≤n≤100，1≤m≤100。接下来 n 行，每行 m 个整数，表示矩阵 A 的元素。相邻…
阅读更多...
别再为开题报告发愁了，ChatGPT可以助力你高效完成！

别再为开题报告发愁了，ChatGPT可以助力你高效完成！

学境思源，一键生成论文初稿： AcademicIdeas - 学境思源AI论文写作 面对开题报告时，我们常常感到迷茫和压力。如何清晰地表达研究目的、梳理文献综述、明确研究问题与假设，以及构建合理的研究方法，这些环节都对开题报告…
阅读更多...
OpenCV-图像拼接

OpenCV-图像拼接

文章目录 一、基本原理二、步骤三、代码实现1.定义函数2.读取图像3.图像配准（1）.特征点检测（2）.特征匹配 4.透视变换5.图像拼接 四、图像拼接的注意事项 图像拼接是一种将多张有重叠部分的图像合并成一张无缝的全景图或高分辨率图…
阅读更多...
蓝桥杯【物联网】零基础到国奖之路:十七. 扩展模块之单路ADC和NE555

蓝桥杯【物联网】零基础到国奖之路:十七. 扩展模块之单路ADC和NE555

蓝桥杯【物联网】零基础到国奖之路:十七. 扩展模块之单路ADC和NE555 第一节 硬件解读第二节 CubeMx配置第三节 代码1，脉冲部分代码2，ADC部分代码![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/57531a4ee76d46daa227ae0a52993191.png) 第一节 …
阅读更多...
基于工业物联网的能源监控系统：边缘数据处理的应用

基于工业物联网的能源监控系统：边缘数据处理的应用

论文标题：《Industrial IoT-Based Energy Monitoring System: Using Data Processing at Edge》 作者信息： Akseer Ali MiraniAnshul AwasthiNiall O’MahonyJoseph Walsh 他们均来自爱尔兰的芒斯特技术大学IMaR研究中心，以及位于利默里克的…
阅读更多...
秋招校招北森笔试测评北森笔测评常见图推题目解答

秋招校招北森笔试测评北森笔测评常见图推题目解答

北森笔试测评常见题目解析第二弹： P1：每一行均出现圆，米，口加上内部的菱形和小圆形，行测上称之为遍历。 P2：题干也给提示了，肯定不选9，考虑封闭部分，选11. P3&#xf…
阅读更多...
面试速通宝典——7

面试速通宝典——7

150. 数据库连接池的作用 数据库连接池的作用包括以下几个方面： 资源重用：连接池允许多个客户端共享有限的数据库连接，减少频繁创建和销毁连接的开销，从而提高资源的利用率。 统一的连接管理：连接池集中管理数据库连…
阅读更多...
访问webapps下边的内容不能访问解决办法

访问webapps下边的内容不能访问解决办法

1、看是否是带有中文路径，中文路径访问不了 2、是否在访问的时候没有带8080端口 如图，带有8080就可以访问了 原因： 当你尝试通过 http://localhost:8080/hello/hello.html 访问网页时，端口号 “8080” 指定了该请求将发送到本地主…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023