大模型开发(十六)：从0到1构建一个高度自动化的AI项目开发流程(中)

news2025/1/18 11:57:18

全文共1w余字，预计阅读时间约40~60分钟 | 满满干货(附代码)，建议收藏！

本文目标：通过LtM提示流程实现自动构建符合要求的函数，并通过实验逐步完整测试code_generate函数功能。
在这里插入图片描述

代码下载点这里

一、介绍

此篇文章为从0到1构建一个高度自动化的AI项目开发流程的第二篇，在大模型开发(十五)：从0到1构建一个高度自动化的AI项目开发流程(上)中已经实现了第一部分的优化：完整的执行引导Chat模型创建外部函数代码、代码管理以及测试的全部流程。此文将提出一种“全自动函数编写策略”的解决思路，进一步深化大模型在实际开发过程中的作用，即尝试梳理当前开发流程中的核心环节，并尝试借助Chat模型完成各核心环节的工作。

image-20230801135253001

二、利用Chat模型自动实现需求函数的编写

2.1 借助Few-shot完成需求函数的自动编写

在之前的流程中，已经实现了围绕某个具体的需求实现了让Chat模型自己编写代码完成需求的功能，因此，现在距离让智能邮件收发系统实现功能上的自生长就还剩下最后的关键一步，那就是将用户的实时需求进行翻译和整理，并形成一整套自动代码流程和提示方法，来引导模型进行对应的外部函数创建。

这一步是非常重要的，比如在当前对话过程中，用户提出了一个全新的需求：查看邮箱里是否有某位重要人物的未读邮件，并解读邮件里面的内容。此前定义的一系列外部函数都无法满足当前需求，回顾一下之前定义的四个函数：

functions_list = [get_recent_emails, send_email, get_latest_email, get_email_count]
functions = auto_functions(functions_list)

各外部函数JSON Schema格式的描述如下：

image-20230801141802674

如果此时使用这些外部函数，来回答新需求：查看邮箱里是否有某位重要人物的未读邮件，并解读邮件里面的内容

messages = [{"role": "user", "content": '请帮我查询一下我的Gmail邮箱中是否有来自算法小陈的未读邮件，如果有的话请帮我解读下邮件内容。'}]

response = openai.ChatCompletion.create(
        model="gpt-4-0613",
        messages=messages,
        functions=functions,
        function_call="auto",  
    )

此时的输出是这样的：

image-20230801142348526

针对这个问答，模型找到了get_recent_emails函数，看起来貌似是对了，但是当使用response.choices[0].message[‘content’]查看返回内容的时候，会发现返回的内容数据是空的，很容易发现，从功能实现角度来说，这个功能和查询最近若干封邮件信息属于类似的功能，但还是存在需求上的差异，为了避免这种让大模型混淆的外部函数，是需要进一步根据新需求创建新的外部函数。

所以一个比较好的解决思路就是：通过提示工程让大模型(LLMs)自动完成新增功能。上述过程是这样的：

1

提示词过程其实就是一个指令翻译过程，和大模型开发(九)：基于Few-Shot-LtM提示工程复现SCAN数据集下的指令翻译任务复现的任务类似，唯一不同的是，对于SCAN指令翻译，其背后是一套完全不同于自然语言的语法规则，而当前指令翻译任务相对简单，输入和输出都是可以基于自然语言的语义对其进行理解的，其背后的语法规则相对清晰。

所以从指令翻译的角度来思考，是否可以通过Few-shot提示法来给大模型赋能呢？所以做了下面一系列的测试：

  • Step 1：构建提示词

直接使用这里大模型开发(十五)：从0到1构建一个高度自动化的AI项目开发流程(上)中手写的两个创建外部函数的示例，如下：

get_email_input = "请帮我查下邮箱里最后一封邮件内容。"

get_email_out = "请帮我编写一个python函数，用于查看我的Gmail邮箱中最后一封邮件信息，函数要求如下：\
                 1.函数参数userId，userId是字符串参数，默认情况下取值为'me'，表示查看我的邮件；\
                 2.函数返回结果是一个包含最后一封邮件信息的对象，返回结果本身必须是一个json格式对象；\
                 3.请将全部功能封装在一个函数内；\
                 4.请在函数编写过程中，在函数内部加入中文编写的详细的函数说明文档，用于说明函数功能、函数参数情况以及函数返回结果等信息；"

email_counts_input = "请帮我查下邮箱里现在总共有多少封邮件。"

email_counts_out = "请帮我编写一个python函数，用于查看我的Gmail邮箱中总共有多少封邮件，函数要求如下：\
                    1.函数参数userId，userId是字符串参数，默认情况下取值为'me'，表示查看我的邮件；\
                    2.函数返回结果是当前邮件总数，返回结果本身必须是一个json格式对象；\
                    3.请将全部功能封装在一个函数内；\
                    4.请在函数编写过程中，在函数内部加入中文编写的详细的函数说明文档，用于说明函数功能、函数参数情况以及函数返回结果等信息；"
  • Step 2：拼接成Few-shot的输入形式
user_content = "请查下我的邮箱里是否有来自无敌小怪兽的未读邮件，并解读最近一封未读邮件的内容"

messages_fewShot_stage1 = [{"role": "system", "content": "请按照格式，编写一段函数功能说明。"},
                          {"role": "user", "name":"example1_user", "content": get_email_input},
                          {"role": "assistant", "name":"example1_assistant", "content": get_email_out},
                          {"role": "user", "name":"example2_user", "content": email_counts_input},
                          {"role": "assistant", "name":"example2_assistant", "content": email_counts_out},
                          {"role": "user", "name":"example_user", "content": user_content}]
messages_fewShot_stage1

看下输出结果：

image-20230801160939396

  • Step 3：调用GPT 4.0 API
response = openai.ChatCompletion.create(
  model="gpt-4-0613",
  messages=messages_fewShot_stage1
)

看一下输出结果：

image-20230801161212809

通过这段返回结果，其实能看出模型可以较好的学习到Few-shot提示示例的指令翻译规范，进一步测试一下。

  • Step 4：功能测试

读取之前本地已经存储好的get_latest_email()外部函数：

with open('./functions/tested functions/%s_module.py' % 'get_latest_email', encoding='utf-8') as f:
    assistant_example_content = f.read()

描述是这样的：

image-20230801163440567

在Step 3 中GPT 4.0 API给生成的函数描述是这样的：

image-20230801163810269

  • Step 5：构建测试的提示词
messages_fewShot_stage2 = [{"role": "system", "content": system_content},
                          {"role": "user", "name":"example_user", "content": user_example_content},
                          {"role": "assistant", "name":"example_assistant", "content": assistant_example_content},
                          {"role": "user", "name":"example_user", "content": user_content}]

messages_fewShot_stage2

输出是这样的：

image-20230801163951867

  • Step 6：再次调用GPT 4.0 API
response = openai.ChatCompletion.create(
  model="gpt-4-0613",
  messages=messages_fewShot_stage2
)

结果输出是这样的：

image-20230801164230288

  • Step 7：提取为本地代码文件
def extract_function_code(s, detail=0, tested=False):
    """
    函数提取函数，同时执行函数内容，可以选择打印函数信息，并选择代码保存的地址
    """
    def extract_code(s):
        """
        如果输入的字符串s是一个包含Python代码的Markdown格式字符串，提取出代码部分。
        否则，返回原字符串。

        参数:
        s: 输入的字符串。

        返回:
        提取出的代码部分，或原字符串。
        """
        # 判断字符串是否是Markdown格式
        if '```python' in s or 'Python' in s or'PYTHON' in s:
            # 找到代码块的开始和结束位置
            code_start = s.find('def')
            code_end = s.find('```\n', code_start)
            # 提取代码部分
            code = s[code_start:code_end]
        else:
            # 如果字符串不是Markdown格式，返回原字符串
            code = s

        return code
    
    # 提取代码字符串
    code = extract_code(s)
    
    # 提取函数名称
    match = re.search(r'def (\w+)', code)
    function_name = match.group(1)
    
    # 将函数写入本地
    if tested == False:
        with open('./functions/untested functions/%s_module.py' % function_name, 'w', encoding='utf-8') as f:
            f.write(code)
    else:
        with open('./functions/tested functions/%s_module.py' % function_name, 'w', encoding='utf-8') as f:
            f.write(code)
    
    # 执行该函数
    try:
        exec(code, globals())
    except Exception as e:
        print("An error occurred while executing the code:")
        print(e)
    
    # 打印函数名称
    if detail == 0:
        print("The function name is:%s" % function_name)
    
    if detail == 1:
        with open('./functions/untested functions/%s_module.py' % function_name, encoding='utf-8') as f:
            content = f.read()
        print(content)

看一下代码描述：

image-20230801164904223

从测试结果上看，这个函数确实是没什么问题的，基本上已经能借助Few-shot来完成函数的自动创建。

2.2 借助LtM提示流程完成更稳定的函数编写

大语言模型(LLMs)生成的内容并不是固定的，虽然Few-shot在一定程度上能解决自动编写函数的需求，但在实际的测试过程中，Few-shot还不是特别的稳定，一个有效而且容易想到的解决办法就是使用更强的提示方法：如LtM提示法。

在大模型开发(八)：基于思维链(CoT)的进阶提示工程这篇文章中已经用大量实验证明，LtM就是目前为止最有效的提示方法，通过多段提示策略并结合当前指令翻译任务考虑，一种更有希望能够引导模型能够顺利完成指令翻译流程的提示方法是：先引导模型拆解当前需求中的“变量”作为后续函数的参数，然后再基于已经确定的变量，引导模型完成翻译工作。

就整个指令翻译任务来说，最难的地方也就在于函数参数的理解过程，一旦模型能够准确的翻译出外部函数需要哪些参数，其他部分的翻译任务自然迎刃而解。所以优化第一阶段提示流程后，一个比较好的整体提示过程如下：

2

让模型合理的分析符合当前需求的参数设置，是一种提高函数复用率的措施。例如现在想查询来自无敌小怪兽的未读邮件，若模型可以将读取“谁”的未读邮件视作一个变量，即将读取邮件的对象设置为参数，则可以更好的提升后续该函数的复用率。

如果还不理解LtM提示过程的，强烈建议先看完这一篇再继续本文：大模型开发(八)：基于思维链(CoT)的进阶提示工程

看一下LtM的流程图：

image-20230719153447415

对于LtM提示有两个阶段，第一个阶段的提示命名为Command decomposition，简写为CD，第二阶段的提示命名为Command mapping，简写为CM。

image-20230719153925634

  • Step 1：使用Few-shot构建拆分子问题的示例

以“查看最后一封邮件内容”和“发送邮件”这两个函数作为LtM提示的两个阶段的示例，其使用Few-shot提示首先要做示例的子问题拆解，如下：

system_content1 = "为了更好编写满足用户需求的python函数，我们需要先识别用户需求中的变量，以作为python函数的参数。需要注意的是，当前编写的函数中涉及到的邮件收发查阅等功能，都是通过调用Gmail API来完成。"

input1 = "请帮我查下Gmail邮箱里最后一封邮件内容。"
pi1 = "当前需求中可以作为函数参数的是：1.查看谁的邮箱。"

input2 = "请帮我给小陈发送一封Gmail邮件，请他明天早上9点半来我办公室开会，商量我的100亿应该怎么花。"
pi2 = "当前需求中可以作为函数参数的是：1.发送邮件的对象；2.发送邮件的主题；3.邮件具体内容"

input3 = "请查下我的邮箱里是否有来自无敌小怪兽的未读邮件，并解读最近一封未读邮件的内容。"
  • Step 2：创建Prompt
messages_CD = [{"role": "system", "content": system_content1},
                {"role": "user", "name":"example1_user", "content": input1},
                {"role": "assistant", "name":"example1_assistant", "content": pi1},
                {"role": "user", "name":"example2_user", "content": input2},
                {"role": "assistant", "name":"example2_assistant", "content": pi2},
                {"role": "user", "name":"example_user", "content": input3}]

看下结果：

image-20230802082855418

  • Step 3：调用GPT 4.0 API
response = openai.ChatCompletion.create(
  model="gpt-4-0613",
  messages=messages_CD
)

看一下在Few-shot下的拆解结果：

image-20230802094846316

从结果上看，通过Few-shot将问题拆解并在第一个阶段给与提示，模型能够非常清楚的判断当前需求中可以作为函数的变量。

  • Step 4：创建LtM Command mapping阶段提示
system_content2 = "我现在已完成Gmail API授权，授权文件为本地文件token.json。所编写的函数要求参数类型都必须是字符串类型。"

get_email_input = "请帮我查下邮箱里最后一封邮件内容。" + pi1

get_email_out = "请帮我编写一个python函数，用于查看我的Gmail邮箱中最后一封邮件信息，函数要求如下：\
                 1.函数参数userId，userId是字符串参数，默认情况下取值为'me'，表示查看我的邮件；\
                 2.函数返回结果是一个包含最后一封邮件信息的对象，返回结果本身必须是一个json格式对象；\
                 3.请将全部功能封装在一个函数内；\
                 4.请在函数编写过程中，在函数内部加入中文编写的详细的函数说明文档，用于说明函数功能、函数参数情况以及函数返回结果等信息；"

send_email_input = "请帮我给小陈发送一封Gmail邮件，请他明天早上9点半来我办公室开会，商量我的100亿应该怎么花。" + pi2

send_email_out = "请帮我编写一个python函数，用于给小陈发送邮件，请他明天早上9点半来我办公室开会，商量我的100亿应该怎么花。，函数要求如下：\
                  1.函数参数to、subject和message_text，三个参数都是字符串类型，其中to表示发送邮件对象，subject表示邮件主题，message_text表示邮件具体内容；\
                  2.函数返回结果是当前邮件发送状态，返回结果本身必须是一个json格式对象；\
                  3.请将全部功能封装在一个函数内；\
                  4.请在函数编写过程中，在函数内部加入中文编写的详细的函数说明文档，用于说明函数功能、函数参数情况以及函数返回结果等信息；"

user_content = input3 + pi3
  • Step 4：创建第二阶段的Prompt
messages_CM = [{"role": "system", "content": system_content2},
                   {"role": "user", "name":"example1_user", "content": get_email_input},
                   {"role": "assistant", "name":"example1_assistant", "content": get_email_out},
                   {"role": "user", "name":"example2_user", "content": send_email_input},
                   {"role": "assistant", "name":"example2_assistant", "content": send_email_out},
                   {"role": "user", "name":"example_user", "content": user_content}]

看下输出结果：

image-20230802095447681

  • **Step 5：再次调用GPT 4.0 API **
response = openai.ChatCompletion.create(
  model="gpt-4-0613",
  messages=messages_CM
)

看一下结果：

image-20230802100002842

能够发现，在合理的函数参数设置下，这段函数描述看起来也更加合理，至此就完成了基于LtM的函数描述创建的提示过程，也就是下图：

image-20230802100319119

对于整体提示的第二阶段，即引导大模型基于function_description进行相应函数的创建工作。

  • Step 6：根据Prompt创建函数

在函数创建阶段，同样采用Few-shot的方式进行提示，提示的示例仍然为get_email_out和send_email_out两个函数，提示流程如下：

对于get_email_out来说，它的函数描述和函数定义是这样的：

image-20230802100742324

对于send_email_out来说，它的函数描述和函数定义是这样的：

image-20230802100911934

  • Step 7：创建Prompt
system_content3 = "我现在已完成Gmail API授权，授权文件为本地文件token.json。函数参数必须是字符串类型对象，函数返回结果必须是json表示的字符串对象。"

messages_stage2 = [{"role": "system", "content": system_content3},
                    {"role": "user", "name":"example1_user", "content": func1_description},
                    {"role": "assistant", "name":"example1_assistant", "content": func1_str},
                    {"role": "user", "name":"example2_user", "content": func2_description},
                    {"role": "assistant", "name":"example2_assistant", "content": func2_str},
                    {"role": "user","content": function_description}]

messages_stage2

生成的Prompt 是这样的：

image-20230802101143216

  • Step 8：调用GPT 4.0 API
response = openai.ChatCompletion.create(
  model="gpt-4",
  messages=messages_stage2
)

看一下输出结果：

image-20230802101834941

  • Step 9： 将字符串解析

image-20230802102343042

模型定义的函数为get_unread_email，该函数在经过人工审核后，是能够满足当前功能需求的。

  • Step 10：带入该函数到Chat模型中进行功能验证

先看一下函数的解析情况：

functions_list = [get_unread_email_from]

functions = auto_functions(functions_list)

functions

image-20230802103022962

先发送一篇测试邮件，如图：

image-20230802103517276

然后通过LLMs + Gmail API 测试AI应用程序情况：

messages = [{"role": "user", "content": '请查询我的邮箱，看下里面是否有来自算法小陈的未读邮件。'}]

response = openai.ChatCompletion.create(
        model="gpt-4",
        messages=messages,
        functions=functions,
        function_call="auto",  
    )

看下输出：

image-20230802103659539

至此就能验证出：模型能够正常使用用户需求，并创建对应的符合要求的参数。

2.3 多轮对话测试

在完成上述过程后，可以将该函数直接带入到多轮对话函数中测试效果，并同时带入其他外部函数以便进行更加复杂的功能测试。

  • Step 1：准备测试邮件

先提前往Gmail邮箱中发送一封邮件，邮件内容如下：

image-20230802104244401

  • Step 2：导入多轮对话函数：
def chat_with_model(functions_list=None, 
                    prompt="你好呀", 
                    model="gpt-4-0613", 
                    system_message=[{"role": "system", "content": "你是以为乐于助人的助手。"}]):
    
    messages = system_message
    messages.append({"role": "user", "content": prompt})
    
    while True:           
        answer = run_conversation(messages=messages, 
                                    functions_list=functions_list, 
                                    model=model)
        
        
        print(f"模型回答: {answer}")

        # 询问用户是否还有其他问题
        user_input = input("您还有其他问题吗？(输入退出以结束对话): ")
        if user_input == "退出":
            break

        # 记录用户回答
        messages.append({"role": "user", "content": user_input})
  • Step 3：更新外部函数列表
functions_list = [get_recent_emails, send_email, get_latest_email, get_email_count, get_unread_email_from]
  • Step 4：功能测试
chat_with_model(functions_list=functions_list, 
                system_message=[{"role": "system", "content": "算法小陈的邮箱地址是:snowball6@qq.com"}])

看一下对话过程：

image-20230802112318039

看下邮箱情况：

image-20230802112335601

至此，就完整的执行了一次新需求自动编写函数实现的完整流程。

三、实现全自动功能函数编写流程

上述基于LtM提示流程的稳定编写外部函数流程，根本目的是在探索一种适用于更多一般情况的全自动开发流程，做成目前这样还远远不够，通过更高层次的抽象实现函数封装，还有几个关键的中间环节。

3.1 提示词管理

其实不论任何领域的开发任务，**找到一种有效的对模型、流程中间环节的提示词管理方法，才能具备对掌控大语言(LLMs)输出的能力，**不同开发项目在前期需要通过人工经验的探索得到适用于当前开发流程的（能获得稳定代码结果的）提示流程，例如对于当前开发项目而言，总共是两个阶段进行提示，并且第一阶段还会采用LtM提示法，因此每个函数的背后总共都有三个提示阶段，一种有效的解决思路是：围绕每个经过测试的函数，创建一个JSON对象以保存其每个阶段的提示过程。过程如下：

  • Step 1：get_latest_email完整提示示例创建过程

此前的流程中手动编写的该函数的三个阶段提示词及结果如下：

# 第一阶段LtM_CD阶段提示词及输出结果
get_latest_email_CD_input = "请帮我查下Gmail邮箱里最后一封邮件内容。"
get_latest_email_pi = "当前需求中可以作为函数参数的是：1.查看谁的邮箱。"
get_latest_email_messages_CD = [
                                {"role": "user", "content": get_latest_email_CD_input},
                                {"role": "assistant", "content": get_latest_email_pi}
                                ]

# 第一阶段LtM_CM阶段提示词及输出结果
get_latest_email_CM_input = get_latest_email_CD_input + get_latest_email_pi
get_latest_email_description = "请帮我编写一个python函数，用于查看我的Gmail邮箱中最后一封邮件信息，函数要求如下：\
                 1.函数参数userId，userId是字符串参数，默认情况下取值为'me'，表示查看我的邮件；\
                 2.函数返回结果是一个包含最后一封邮件信息的对象，返回结果本身必须是一个json格式对象；\
                 3.请将全部功能封装在一个函数内；\
                 4.请在函数编写过程中，在函数内部加入中文编写的详细的函数说明文档，用于说明函数功能、函数参数情况以及函数返回结果等信息；"
get_latest_email_messages_CM = [
                                {"role": "user", "content": get_latest_email_CM_input},
                                {"role": "assistant", "content":get_latest_email_description}
                                ]

# 第二阶段提示词及输出结果
with open('./functions/tested functions/%s_module.py' % 'get_latest_email', encoding='utf-8') as f:
    get_latest_email_function = f.read()

    get_latest_email_messages = [
                             {"role": "user", "content": get_latest_email_description},
                             {"role": "assistant", "content":get_latest_email_function}
                             ]

这个过程中需要注意两点：

  • 在提示词保存过程中，不仅需要保存提示的提示词，还需要保存提示结果，以便作为其他提示过程的提示示例
  • 实际开发过程多用Chat模型，因此建议以类messages参数形式进行保存

在以message形式保存完每个阶段的提示内容之后，将三个提示示例以如下格式进行保存，即将一个函数对象的三个阶段的全部提示示例保存为一个字典，并且字典中的每个键值对代表一个阶段的提示内容。同时，每个函数的完整提示示例都以function_name_prompt命名，具体get_latest_email_prompt对象创建过程如下：

# 第一阶段LtM_CD阶段提示词及输出结果
get_latest_email_CD_input = "请帮我查下Gmail邮箱里最后一封邮件内容。"
get_latest_email_pi = "当前需求中可以作为函数参数的是：1.查看谁的邮箱。"
get_latest_email_messages_CD = [
                                {"role": "user", "content": get_latest_email_CD_input},
                                {"role": "assistant", "content": get_latest_email_pi}
                                ]

# 第一阶段LtM_CM阶段提示词及输出结果
get_latest_email_CM_input = get_latest_email_CD_input + get_latest_email_pi
get_latest_email_description = "请帮我编写一个python函数，用于查看我的Gmail邮箱中最后一封邮件信息，函数要求如下：\
                 1.函数参数userId，userId是字符串参数，默认情况下取值为'me'，表示查看我的邮件；\
                 2.函数返回结果是一个包含最后一封邮件信息的对象，返回结果本身必须是一个json格式对象；\
                 3.请将全部功能封装在一个函数内；\
                 4.请在函数编写过程中，在函数内部加入中文编写的详细的函数说明文档，用于说明函数功能、函数参数情况以及函数返回结果等信息；"
get_latest_email_messages_CM = [
                                {"role": "user", "content": get_latest_email_CM_input},
                                {"role": "assistant", "content":get_latest_email_description}
                                ]

# 第二阶段提示词及输出结果
with open('./functions/tested functions/%s_module.py' % 'get_latest_email', encoding='utf-8') as f:
    get_latest_email_function = f.read()

    get_latest_email_messages = [
                             {"role": "user", "content": get_latest_email_description},
                             {"role": "assistant", "content":get_latest_email_function}
                             ]  
    
get_latest_email_prompt = {
                            "stage1_CD": get_latest_email_messages_CD,
                            "stage1_CM": get_latest_email_messages_CM,
                            "stage2": get_latest_email_messages
                          }

看一下完整的Prompt：

image-20230802154554165

  • Step 2：将其写入本地，并将其和对应函数的py文件保存为同一文件夹内
with open('./functions/tested functions/%s_prompt.json' % 'get_latest_email', 'w') as f:
    json.dump(get_latest_email_prompt, f)

同样的操作，可以完成get_recent_emails, send_email, get_email_count, get_unread_email_from的完整提示示例保存。

  • Step 3：保存系统提示消息
system_messages = {"system_message_CD": [{"role": "system", "content": "为了更好编写满足用户需求的python函数，我们需要先识别用户需求中的变量，以作为python函数的参数。需要注意的是，当前编写的函数中涉及到的邮件收发查阅等功能，都是通过调用Gmail API来完成。"}], 
                   "system_message_CM": [{"role": "system", "content": "我现在已完成Gmail API授权，授权文件为本地文件token.json。函数参数必须是字符串类型对象，函数返回结果必须是json表示的字符串对象。"}], 
                   "system_message": [{"role": "system", "content":"我现在已完成Gmail API授权，授权文件为本地文件token.json。函数参数必须是字符串类型对象，函数返回结果必须是json表示的字符串对象。"}]}

with open('./functions/tested functions/%s.json' % 'system_messages', 'w') as f:
    json.dump(system_messages, f)

看下最终的保存结果：

image-20230802155728811

3.2 项目代码文件管理

一个完整的开发项目，必然存在着非常多的函数代码和相关提示词说明文档，为了更好的做项目管理，有必要对当前项目的代码结构和文件结构进行修改。

就以Gmail这个项目开发为例，可以尝试这种操作：

  • 将原本的通用性functions文件夹更名为特定的autoGmail_project，注明是该文件夹专门用于保存autoGmail相关文件。
  • 将tested和untested内的同名函数代码和提示文件保存到一个同名文件夹内，原system_messages.json文件位置不变。

修改前是这样的：

image-20230802160332397

将同一个函数的module文件和prompt文件都放在一个函数同名文件夹内，修改后tested文件是这样的：

image-20230802160631340

3.3 提示词管理辅助函数

  • Step 1：修改remove_to_tested函数

当修改了文件路径后，需要重新定义一个remove_to_tested函数，以实现函数文件夹的untested到tested的转移过程，代码如下：

def remove_to_tested(function_name):
    """
    将函数同名文件夹由untested文件夹转移至tested文件夹内。\
    完成转移则说明函数通过测试，可以使用。此时需要将该函数的源码写入gptLearning.py中方便下次调用。
    """
    
    # 将函数代码写入gptLearning.py文件中
    with open('./functions/untested functions/%s/%s_module.py' % (function_name, function_name), encoding='utf-8') as f:
        function_code = f.read()
    
    with open('gptLearning.py', 'a', encoding='utf-8') as f:
        f.write(function_code)
    
    # 源文件夹路径
    src_dir = './functions/untested functions/%s' % function_name

    # 目标文件夹路径
    dst_dir = './functions/tested functions/%s' % function_name
    
    # 移动文件夹
    shutil.move(src_dir, dst_dir)
  • Step 2：修改extract_function_code函数

extract_function_code需要添加在完成函数提取时就在untested文件夹中创建同名函数文件夹的功能，以及需要求修改读取和写入代码的文件路径，代码如下：

def extract_function_code(s, detail=0, tested=False, g=globals()):
    """
    函数提取函数，同时执行函数内容，可以选择打印函数信息，并选择代码保存的地址
    """
    def extract_code(s):
        """
        如果输入的字符串s是一个包含Python代码的Markdown格式字符串，提取出代码部分。
        否则，返回原字符串。

        参数:
        s: 输入的字符串。

        返回:
        提取出的代码部分，或原字符串。
        """
        # 判断字符串是否是Markdown格式
        if '```python' in s or 'Python' in s or'PYTHON' in s:
            # 找到代码块的开始和结束位置
            code_start = s.find('def')
            code_end = s.find('```\n', code_start)
            # 提取代码部分
            code = s[code_start:code_end]
        else:
            # 如果字符串不是Markdown格式，返回原字符串
            code = s

        return code
    
    # 提取代码字符串
    code = extract_code(s)
    
    # 提取函数名称
    match = re.search(r'def (\w+)', code)
    function_name = match.group(1)
    
    # 在untested文件夹内创建函数同名文件夹
    directory = './functions/untested functions/%s' % function_name
    if not os.path.exists(directory):
        os.makedirs(directory)
    
    # 将函数写入本地
    if tested == False:
        with open('./functions/untested functions/%s/%s_module.py' % (function_name, function_name), 'w', encoding='utf-8') as f:
            f.write(code)
    else:
        # 调用remove_to_test函数将函数文件夹转移至tested文件夹内
        remove_to_tested(function_name)
        with open('./functions/tested functions/%s/%s_module.py' % (function_name, function_name), 'w', encoding='utf-8') as f:
            f.write(code)
    
    # 执行该函数
    try:
        exec(code, g)
    except Exception as e:
        print("An error occurred while executing the code:")
        print(e)
    
    # 打印函数名称
    if detail == 0:
        print("The function name is:%s" % function_name)
    
    if detail == 1:
        if tested == False:
            with open('./functions/untested functions/%s/%s_module.py' % (function_name, function_name), 'r', encoding='utf-8') as f:
                content = f.read()
        else:
            with open('./functions/tested functions/%s/%s_module.py' % (function_name, function_name), 'r', encoding='utf-8') as f:   
                content = f.read()
                
        print(content)
        
    return function_name
  • Step 3：修改show_functions函数

show_functions功能则需要修改为展示文件夹内内文件名称，代码如下：

def show_functions(tested=False, if_print=False):
    """
    打印tested或untested文件夹内全部函数
    """
    current_directory = os.getcwd()
    if tested == False:
        directory = current_directory + '\\functions\\untested functions'
    else:
        directory = current_directory + '\\functions\\tested functions'
    files_and_directories = os.listdir(directory)
    # 过滤结果，只保留.py文件和非__pycache__文件夹
    files_and_directories = files_and_directories = [name for name in files_and_directories if (os.path.splitext(name)[1] == '.py' or os.path.isdir(os.path.join(directory, name))) and name != "__pycache__"]
    
    if if_print != False:
        for name in files_and_directories:
            print(name)
    
    return files_and_directories

至此，就完成了经过测试的函数的提示词管理，并搭建了新的提示词管理方法，以及创建了协助完成文件管理的相关函数。

四、实现全自动编程函数创建方法

在对功能函数实现自动化编写后，还需要将从用户需求到LtM提示法创建外部函数完整流程封装到一个名为code_generate的函数内。该函数基本功能、和其他函数交互关系以及和函数库之间调用关系如下：

3

将上述过程封装成高级函数，代码是这样的：

def code_generate(req, few_shot='all', model='gpt-4-0613', g=globals(), detail=0):
    """
    Function calling外部函数自动创建函数，可以根据用户的需求，直接将其翻译为Chat模型可以直接调用的外部函数代码。
    :param req: 必要参数，字符串类型，表示输入的用户需求；
    :param few_shot: 可选参数，默认取值为字符串all，用于描述Few-shot提示示例的选取方案，当输入字符串all时，则代表提取当前外部函数库中全部测试过的函数作为Few-shot；\
    而如果输入的是一个包含了多个函数名称的list，则表示使用这些函数作为Few-shot。
    :param model: 可选参数，表示调用的Chat模型，默认选取gpt-4-0613；
    :param g: 可选参数，表示extract_function_code函数作用域，默认为globals()，即在当前操作空间全域内生效；
    :param detail: 可选参数，默认取值为0，还可以取值为1，表示extract_function_code函数打印新创建的外部函数细节；
    :return：新创建的函数名称。需要注意的是，在函数创建时，该函数也会在当前操作空间被定义，后续可以直接调用；
    """
    
    # 提取提示示例的函数名称
    if few_shot == 'all':
        few_shot_functions_name = show_functions(tested=True)
    elif type(few_shot) == list:
        few_shot_functions_name = few_shot
    # few_shot_functions = [globals()[name] for name in few_shot_functions_name]
    
    # 读取各阶段系统提示
    with open('./functions/tested functions/system_messages.json', 'r') as f:
        system_messages = json.load(f)
        
    # 各阶段提示message对象
    few_shot_messages_CM = []
    few_shot_messages_CD = []
    few_shot_messages = []
    
    # 先保存第一条消息，也就是system message
    few_shot_messages_CD += system_messages["system_message_CD"]
    few_shot_messages_CM += system_messages["system_message_CM"]
    few_shot_messages += system_messages["system_message"]

    # 创建不同阶段提示message
    for function_name in few_shot_functions_name:
        with open('./functions/tested functions/%s/%s_prompt.json' % (function_name, function_name), 'r') as f:
            msg = json.load(f)
        few_shot_messages_CD += msg["stage1_CD"]
        few_shot_messages_CM += msg["stage1_CM"]
        few_shot_messages += msg['stage2']
        
    # 读取用户需求，作为第一阶段CD环节User content
    new_req_CD_input = req
    few_shot_messages_CD.append({"role": "user", "content": new_req_CD_input})
    
    print('第一阶段CD环节提示创建完毕，正在进行CD提示...')
    
    # 第一阶段CD环节Chat模型调用过程
    response = openai.ChatCompletion.create(
                  model=model,
                  messages=few_shot_messages_CD
                )
    new_req_pi = response.choices[0].message['content']
    
    print('第一阶段CD环节提示完毕')
    
    # 第一阶段CM环节Messages创建
    new_req_CM_input = new_req_CD_input + new_req_pi
    few_shot_messages_CM.append({"role": "user", "content": new_req_CM_input})
    
    print('第一阶段CM环节提示创建完毕，正在进行第一阶段CM提示...')
    # 第一阶段CM环节Chat模型调用过程
    response = openai.ChatCompletion.create(
                      model=model,
                      messages=few_shot_messages_CM
                    )
    new_req_description = response.choices[0].message['content']
    
    print('第一阶段CM环节提示完毕')
    
    # 第二阶段Messages创建过程
    few_shot_messages.append({"role": "user", "content": new_req_description})
    
    print('第二阶段提示创建完毕，正在进行第二阶段提示...')
    
    # 第二阶段Chat模型调用过程
    response = openai.ChatCompletion.create(
                  model=model,
                  messages=few_shot_messages
                )
    new_req_function = response.choices[0].message['content']
    
    print('第二阶段提示完毕，准备运行函数并编写提示示例')
    
    # 提取函数并运行，创建函数名称对象，统一都写入untested文件夹内
    function_name = extract_function_code(s=new_req_function, detail=detail, g=g)
    
    print('新函数保存在./functions/untested functions/%s/%s_module.py文件中' % (function_name, function_name))
    
    # 创建该函数提示示例
    new_req_messages_CD = [
                          {"role": "user", "content": new_req_CD_input},
                          {"role": "assistant", "content": new_req_pi}
                         ]
    new_req_messages_CM = [
                          {"role": "user", "content": new_req_CM_input},
                          {"role": "assistant", "content":new_req_description}
                         ]
    
    with open('./functions/untested functions/%s/%s_module.py' % (function_name, function_name), encoding='utf-8') as f:
        new_req_function = f.read()
    
    new_req_messages = [
                       {"role": "user", "content": new_req_description},
                       {"role": "assistant", "content":new_req_function}
                      ] 
    
    new_req_prompt = {
                     "stage1_CD": new_req_messages_CD,
                     "stage1_CM": new_req_messages_CM,
                     "stage2": new_req_messages
                    }   
    
    with open('./functions/untested functions/%s/%s_prompt.json' % (function_name, function_name), 'w') as f:
        json.dump(new_req_prompt, f)
        
    print('新函数提示示例保存在./functions/untested functions/%s/%s_prompt.json文件中' % (function_name, function_name))
    print('done')
    return function_name

对于上述过程，如果不理解的话可以手动尝试验证一下，以get_latest_email为例：

  • Step 1：读取get_latest_email的函数描述
function_name = 'get_latest_email'

with open('./functions/tested functions/%s/%s_prompt.json' % (function_name, function_name), 'r') as f:
    msg = json.load(f)
    
msg['stage2']

看一下输出：

image-20230802161931652

  • Step 2：查看保存的函数文件
few_shot_functions_name = show_functions(tested=True)

看下返回结果：

image-20230802162944430

  • Step 3：查看各阶段的系统Prompt
with open('./functions/tested functions/system_messages.json', 'r') as f:
    system_messages = json.load(f)
    
# 各阶段提示message对象
few_shot_messages_CM = []
few_shot_messages_CD = []
few_shot_messages = []

# 先保存第一条消息，也就是system message
few_shot_messages_CD += system_messages["system_message_CD"]
few_shot_messages_CM += system_messages["system_message_CM"]
few_shot_messages += system_messages["system_message"]

看下返回结果：

image-20230802163152760

  • Step 4：查看各函数完整的Prompt
for function_name in few_shot_functions_name:
    with open('./functions/tested functions/%s/%s_prompt.json' % (function_name, function_name), 'r') as f:
        msg = json.load(f)
    few_shot_messages_CD += msg["stage1_CD"]
    few_shot_messages_CM += msg["stage1_CM"]
    few_shot_messages += msg['stage2']

看下结果：

image-20230802163709515

image-20230802163737076

  • Step 4：输入新需求
new_req_CD_input = "请查下我的邮箱里是否有来自算法小陈的未读邮件，有的话请解读下这封未读邮件的内容。"
  • Step 5：拼接新需求的Prompt
few_shot_messages_CD.append({"role": "user", "content": new_req_CD_input})

输出的Prompt如下：

image-20230802164022378

  • Step 6：进行第一阶段的CD提示
response = openai.ChatCompletion.create(
  model="gpt-4-0613",
  messages=few_shot_messages_CD
)

看下模型输出：

image-20230802164255788

  • Step 7：进行第一阶段的CM提示
new_req_CM_input = new_req_CD_input + new_req_pi

few_shot_messages_CM.append({"role": "user", "content": new_req_CM_input})
few_shot_messages_CM

看下拼接好的Prompt：

image-20230802164447559

输入模型：

response = openai.ChatCompletion.create(
  model="gpt-4-0613",
  messages=few_shot_messages_CM
)

看一下模型返回结果：

image-20230802164743710

  • Step 8：进行第二阶段的提示

此阶段的提示为系统输入+ 函数描述及具体函数的Few-shot，引导大语言模型（LLMs）根据Prompt生成具体的函数，代码如下：

few_shot_messages.append({"role": "user", "content": new_req_description})

response = openai.ChatCompletion.create(
  model="gpt-4-0613",
  messages=few_shot_messages
)

看下模型输出结果：

image-20230802165134192

  • Step 9：提取字符串，转化成函数
extract_function_code(new_req_function, detail=1, g=globals())

看下生成的函数：

image-20230802165258140

  • Step 10：测试code_generate一键生成函数
few_shot_functions = ['get_latest_email', 'send_email']

req = "请查下我的邮箱里是否有来自算法小陈的未读邮件，有的话请解读下这封未读邮件的内容。"

function_name = code_generate(req=req, few_shot=few_shot_functions)

其创建过程如下：

image-20230802165802965

image-20230802165837115

  • Step 11：手动对生成的函数进行测试
functions_list = [check_unread_emails]

messages = [{"role": "system", "content": "算法小陈的邮箱地址是:snowball6@qq.com "},
            {"role": "user", "content": req}]

final_response = run_conversation(messages=messages, functions_list=functions_list, model="gpt-3.5-turbo-16k-0613")

基于这套流程，基本上实现了高效便捷的外部函数创建，可以基于code_generate尝试新增函数，示例如下：

few_shot_functions = ['get_latest_email', 'send_email']

req = "请查下我的邮箱里第一封邮件，并告诉我第一封邮件的收件时间和邮件内容"

function_name = code_generate(req=req, few_shot=few_shot_functions)

functions_list = [get_first_email]

messages = [{"role": "user", "content": req}]

final_response = run_conversation(messages=messages, functions_list=functions_list, model="gpt-3.5-turbo-16k-0613")
final_response

五、总结

本文作为构建高度自动化AI项目开发流程的第二步优化，通过LtM提示流程，解决了根据用户需求，自动构建符合要求的函数，并通过示例一步一步的完整测试了code_generate函数功能。

总的来说，进展到这里整套流程已经基本固定并且符合高度的自动化，并且具有一定的通用性，但在实验测试中发现，gpt4.0接口相较于gpt3.5接口，其输出能力还是更为稳定，然而就算是目前最强的gpt4.0，在实际进行批量代码创建时还是会存在编写的代码不稳定的情况，这也是一个需要进一步思考如何解决的问题。

最后，感谢您阅读这篇文章！如果您觉得有所收获，别忘了点赞、收藏并关注我，这是我持续创作的动力。您有任何问题或建议，都可以在评论区留言，我会尽力回答并接受您的反馈。如果您希望了解某个特定主题，也欢迎告诉我，我会乐于创作与之相关的文章。谢谢您的支持，期待与您共同成长！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/829310.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Redis两种持久化方案RDB持久化和AOF持久化

Redis两种持久化方案RDB持久化和AOF持久化

Redis持久化 Redis有两种持久化方案： RDB持久化AOF持久化 1.1.RDB持久化 RDB全称Redis Database Backup file（Redis数据备份文件），也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启…
阅读更多...
docker---网络

docker---网络

docker网络 使用–publish或-p标志使端口可用于 Docker 外部的服务。这会在主机中创建一条防火墙规则，将容器端口映射到 Docker 主机上通往外界的端口。 -p 8080:80：将容器中的TCP端口80映射到Docker主机上的端口8080。 -p 192.168.1.100:8080:80&…
阅读更多...
说明学习委员之作业管理系统—后端部分

说明学习委员之作业管理系统—后端部分

项目背景 学习委员收集作业的过程，繁琐且曲折，作者充分理解并体谅为大家服务的苦逼学习委员，以此为出发点和灵感，设计并开发了此套作业管理系统，希望能帮助各位提高效率，早日摆脱重复机械式的工作&#xf…
阅读更多...
Vue3和TypeScript_页面

Vue3和TypeScript_页面

1 在views下新建myView.view 2 在router文件夹里，配置路径，按需引入组件 3 浏览器通过路径访问页面
阅读更多...
pycharm——涟漪散点图

pycharm——涟漪散点图

from pyecharts import options as opts from pyecharts.charts import EffectScatterc (EffectScatter().add_xaxis( ["高等数学1，2","C语言程序设计","python程序设计","大数据导论","数据结构","大数据…
阅读更多...
旺店通·企业奇门和用友U8接口打通对接实战

旺店通·企业奇门和用友U8接口打通对接实战

旺店通企业奇门和用友U8接口打通对接实战 接通系统：旺店通企业奇门 慧策最先以旺店通ERP切入商家核心管理痛点——订单管理，之后围绕电商经营管理中的核心管理诉求，先后布局流量获取、会员管理、仓库管理等其他重要经营模块。慧策的产品线从旺…
阅读更多...
QT学习笔记-QT5.15 + MSVC编译套件时编译日志及运行日志日志乱码解决

QT学习笔记-QT5.15 + MSVC编译套件时编译日志及运行日志日志乱码解决

QT学习笔记-QT5.15 MSVC编译套件时编译日志及运行日志日志中文乱码解决 0、基础环境1、QtCreator中的基本设置编辑->首选项->文本编辑器 2、问题1：MSVC编译日志乱码问题解决问题描述解决方法 3、问题2：MSVC构建套件编译后程序运行日志乱码问题问题…
阅读更多...
多雷达探测论文阅读笔记：雷达学报 2023, 多雷达协同探测技术研究进展：认知跟踪与资源调度算法

多雷达探测论文阅读笔记：雷达学报 2023, 多雷达协同探测技术研究进展：认知跟踪与资源调度算法

多雷达协同探测技术 原始笔记链接：https://mp.weixin.qq.com/s?__biz=Mzg4MjgxMjgyMg==&mid=2247486627&idx=1&sn=f32c31bfea98b85f2105254a4e64d210&chksm=cf51be5af826374c706f3c9dcd5392e0ed2a5fb31ab20924b7dd38e1b1ae32abe9a48afa8174#rd ↑ \uparrow …
阅读更多...
Redis—全局命令

Redis—全局命令

Redis—全局命令 🔎get / set🔎常用全局命令keysexistsdelexpirettlkey 的过期策略type Redis 官网 Redis 中的命令不区分大小写 进入 Redis 客户端 redis-cli -h Redis 服务器的 IP 地址 -p Redis 服务器的端口号省略 -h 表示 Redis 服务器的 IP 地址…
阅读更多...
【ASP.NET MVC】数据库访问（5）

【ASP.NET MVC】数据库访问（5）

一、ORM简介 对象关系映射（Object Relational Mapping，简称ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。 以上是官话，个人理解： 1、解决问题：数据库的访问 2、如何解决&a…
阅读更多...
Vue路由：Vue Router

Vue路由：Vue Router

Vue Router 介绍 Vue Router 是 Vue.js (opens new window) 官方的路由管理器。 核心深度集成，包含的功能有： 嵌套的路由/视图表 模块化的、基于组件的路由配置 路由参数、查询、通配符基于 Vue.js 过渡系统的视图过渡效果 细粒度的导航控制 Vue Rou…
阅读更多...
学习系统编程No.33【生产消费模型】

学习系统编程No.33【生产消费模型】

引言： 北京时间：2023/7/22/14:27，现实和预期往往相差是巨大的，哈哈哈！白天睡不醒，晚上睡不着，就像一个夜猫子一样。熬夜耍手机，我真的是专业的，已经连续好久没有正常睡过…
阅读更多...
【C++】类和对象 - 中

【C++】类和对象 - 中

目录 1. 类的6个默认成员函数2. 构造函数2.1 概念2.2 特性3.3 默认构造函数 3. 析构函数3.1 概念3.2 特性 4. 拷贝构造函数4.2 概念4.3 特性4.3 传参或作返回值 5. 赋值运算符重载5.1 运算符重载5.2 赋值运算符重载5.3 前后置 --重载5.4 自定义类型的输出输出 6. const成员函数…
阅读更多...
SAP MM学习笔记15-物料调达中的Master数据（1）-仕入先Master

SAP MM学习笔记15-物料调达中的Master数据（1）-仕入先Master

SAP中做一个购买发注的时候，涉及到以下Master数据： 1，仕入先Master（供应商）：跟谁买 2，品目Master（物料）：买什么 3，购买情报：什么价…
阅读更多...
电脑误删除环境变量Path

电脑误删除环境变量Path

今天在搞环境变量 一不注意手一滑把Path删除了，当时惊了一身冷汗，幸好看见有别人讲的补救措施，赶紧记录一下： 首先进入注册表winR，输入regedit： 在注册表编辑器中进入到【HKEY_LOCAL_MACHINE\SYSTEM\Contr…
阅读更多...
基于 STM32自研多任务+SpringBoot+Vue 农业大棚智能调光系统

基于 STM32自研多任务+SpringBoot+Vue 农业大棚智能调光系统

工作以后常常容易感到疲于奔命，即使在周末也没有得到高质量的休息。打工人/学生党如何过周末？你有哪些延长周末和下班时间的好方法吗？- 方法就是多积累，多发博客，将感悟全写出来！！，接…
阅读更多...
Python——调用webdriver.Chrome() 报错

Python——调用webdriver.Chrome() 报错

今天运行脚本&#xff0c;报错内容如下&#xff1a; collecting ... login_case.py:None (login_case.py) login_case.py:11: in <module> dr webdriver.Chrome() D:\Program Files (x86)\Python\Python39\Lib\site-packages\selenium\webdriver\chrome\webdriver.p…
阅读更多...
改造 dify 项目适配自建的 OpenAI API 服务

改造 dify 项目适配自建的 OpenAI API 服务

改造 dify 项目适配自建的 OpenAI API 服务 0. 背景1. 修改默认的 api_base 地址2. 修改 openai_provider.py3. 重新构建 docker 镜像4. 修改 docker-compose.yaml5. 启动项目 0. 背景 项目 https://github.com/langgenius/dify.git 的 OpenAI 配置项目里&#xff0c;现在(202…
阅读更多...
01-1 搭建 pytorch 虚拟环境

01-1 搭建 pytorch 虚拟环境

pytorch 管网&#xff1a;PyTorch 一 进入 Anaconda 二 创建虚拟环境 conda create -n pytorch python3.9注意要注意断 VPN切换镜像&#xff1a; 移除原来的镜像 # 查看当前配置 conda config --show channels conda config --show-sources# 移除之前的镜像 conda config --…
阅读更多...
力扣初级算法（二分查找）

力扣初级算法（二分查找）

力扣初级算法(二分法)&#xff1a; 每日一算法&#xff1a;二分法查找 学习内容&#xff1a; 给定一个排序数组和一个目标值&#xff0c;在数组中找到目标值&#xff0c;并返回其索引。如果目标值不存在于数组中&#xff0c;返回它将会被按顺序插入的位置。 2.二分查找流程&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023