一、引言
对于算法工程师来说,语言从来都不是关键,关键是快速学习以及解决问题的能力。大学的时候参加ACM/ICPC一直使用的是C语言,实习的时候做一个算法策略后台用的是php,毕业后做策略算法开发,因为要用spark,所以写了scala,后来用基于storm开发实时策略,用的java。至于python,从日常用hive做数据策略用python写udf,到基于tensorflow深度学习框架写python版的模型网络,再到现在实用pytorch做大模型。眼看着在语言纷争中,python的应用越来越广,开一个单独的专栏用于记录python中常用到的技巧,算是做笔记,没事翻出来看看。
本文重点介绍python中的参数解析器(ArgumentParser)。
二、参数解析器(ArgumentParser)
2.1 概述
在Python中,
ArgumentParser用于定义和读取命令行输入的参数,在运行python文件时对命令行参数进行解析处理。
2.2 代码示例
from argparse import ArgumentParser
def _get_args():
parser = ArgumentParser()
parser.add_argument("-c", "--checkpoint-path", type=str, default=DEFAULT_CKPT_PATH,
help="Checkpoint name or path, default to %(default)r")
parser.add_argument("--cpu-only", action="store_true", help="Run demo with CPU only")
parser.add_argument("--share", action="store_true", default=False,
help="Create a publicly shareable link for the interface.")
parser.add_argument("--inbrowser", action="store_true", default=False,
help="Automatically launch the interface in a new tab on the default browser.")
parser.add_argument("--server-port", type=int, default=18003,
help="Demo server port.")
parser.add_argument("--server-name", type=str, default="127.0.0.1",
help="Demo server name.")
parser.add_argument("-g","--gpus",type=str,default="auto",help="set gpu numbers")
args = parser.parse_args()
return args
def main():
args = _get_args()
model, tokenizer = _load_model_tokenizer(args)
if __name__ == '__main__':
main()
这是一个大模型web_demo.py的参数读取样例:先通过 ArgumentParser类声明一个解析器对象parser,采用add_argument(加参数)方法将参数加入到解析器parser中,最后parser调用parse_args(解析参数)方法将参数提取、返回。参数传入后续的函数进行应用。
重点在于add_argument方法的参数:
"-c":一个"-"代表命令命令行指定命令的缩写,这个后面跟进要输入的内容
"--checkpoint-path":两个"--"后面跟着参数的名字,args.checkpoint-path即可使用该参数
"type=str":参数类型
"default=DEFAULT_CKPT_PATH":参数默认值
"action="store_true"":如果命令行输入了该参数,该参数即为true,不加为default中的默认值,带有这个的参数主要为true、false判别类参数。
"help="Checkpoint name or path, default to %(default)r")":help,注释。
三、总结
命令行参数解析器ArgumentParser通常为python代码的第一道关,在main()中声明或定义。使用该方法可以轻松的读取命令行的参数,构造带有命令行参数的python脚本。
《AI—工程篇》
AI智能体研发之路-工程篇(一):Docker助力AI智能体开发提效
AI智能体研发之路-工程篇(二):Dify智能体开发平台一键部署
AI智能体研发之路-工程篇(三):大模型推理服务框架Ollama一键部署
AI智能体研发之路-工程篇(四):大模型推理服务框架Xinference一键部署
AI智能体研发之路-工程篇(五):大模型推理服务框架LocalAI一键部署
《AI-模型篇》
AI智能体研发之路-模型篇(一):大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
AI智能体研发之路-模型篇(二):DeepSeek-V2-Chat 训练与推理实战
AI智能体研发之路-模型篇(三):中文大模型开、闭源之争
AI智能体研发之路-模型篇(四):一文入门pytorch开发
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
AI智能体研发之路-模型篇(六):【机器学习】基于tensorflow实现你的第一个DNN网络
AI智能体研发之路-模型篇(七):【机器学习】基于YOLOv10实现你的第一个视觉AI大模型
AI智能体研发之路-模型篇(八):【机器学习】Qwen1.5-14B-Chat大模型训练与推理实战