今天我们想要进行的一项尝试就是——
如何从一个不知道内容的数据文件中,一键生成一篇像模像样的经济学"论文”。
在开始之前,我们要准备好必要的AI利器:
GPT3.5镜像站(简单问题极快回答):
https://hujiaoai.cn
GPT4镜像站(适合复杂、专业问题):
https://higpt4.cn
支持Claude-3/GPT-4混合对话和图片输入的镜像站(复杂、专业、依赖图片或文件输入的问题):
https://hiclaude3.cn
这个工作需要以下几个步骤:
1,直接读取数据,将其前几行发送给claude 3 opus的api,让claude3进行初步分析,给出每个字段的描述(是否是哑变量、是否是字符串)、含义(字段名称常常使用英文缩写,根据缩写推测其完整中英文单词)。在此基础上,给出研究建议,比如应该如何跑回归,谁是因变量y,谁是自变量x。将返回结果存入"分析建议.txt"
2,将"分析建议.txt"作为user prompt再次结合我的两条system prompt发送给api,
第一条是这样的(不完全如此,大家可以根据自己的研究需求改动):
请根据以下字段描述和研究建议,返回一段代码,
这段代码的任务是读入文件夹中的csv文件后,画出合适的图。
并且将所有画出的柱状图纵向合并后存为“回归图片.png”。
请直接返回可以运行的代码,除了代码以外不要有其他任何其他文字。
第二条是这样的(不完全如此,大家可以根据自己的研究需求改动):
请根据以下字段描述和研究建议,返回一段代码,
这段代码的任务是读入文件后,根据研究建议和数据字段说明,合理处理数据,删除异常值
随后,根据研究建议的模型形式,对数据进行一次统计分析。
将所有分析结果,包括每个变量的名称、系数、统计显著程度以及t值等内容存入“分析结果.txt”。
请直接返回可以运行的代码,除了代码以外不要有其他任何其他文字。
3,刚才这两步,是所有分析的关键,根据我对各项大模型的测试,只有claude 3 opus是能够保证每次都精确地返回可执行的代码的,这点连gpt-4-turbo也做不到。
接下来在运行api返回的代码,得到了“回归图片.png”和“分析结果.txt”。
4,将“分析建议.txt”和“分析结果.txt”作为user_prompt,结合我的第三条system_prompt,发送给api,这次我要求它返回这些内容:
请根据以下字段描述、研究建议以及分析结果,完成包括以下几点:
1,返回不同的因变量对于自变量的影响系数大小,简述每个自变量的回归系数大小的经济学含义。
2,简单总结这个研究的研究结论和含义。
这部分内容存为存为"结果描述.txt"。
5,将“分析建议.txt”和“分析结果.txt”和“结果描述.txt”一起发送给api,这次我用第四条system_prompt要求它返回这些内容:
请根据以下研究方案、研究结果和分析结果的描述,写一份研究开头,
要求说明这一项研究工作的意义和我们使用的方法,不超过200字。
这部分内容存为“意义与摘要.txt”
6,最后,将“意义与摘要.txt”、“回归图片.png”、“分析结果.txt”、"结果描述.txt"全部合并在一个word文档中,我们就有了一篇最简单的论文了。
然后我做了两次实验,使用CFPS(2020)的数据,生成了两个文件。
第一个文件包括了幸福感,收入、通勤时间、工作时间四个变量。
claude给出了这样的数据描述和研究建议:
第二个文件包括了收入,性别、年龄、教育程度这四个变量。
claude给出了这样的研究建议:
可以看到,无论是对数据的描述,研究建议,画出的图表、回归结果,以及对结果的分析,都还是挺像样的,至少比我当老师时至少30%的学生的课程论文要像样一点了。
最后,分享个支持Claude-3/GPT-4混合对话和图片输入的镜像站:
https://hiclaude3.cn
所以,如果你只是需要一篇“论文”,那么你只需要做两件事:
1,找到合适的数据,点击运行程序
2,喝杯咖啡,上个厕所
在你喝杯咖啡上个厕所的时间,
claude自己分析数据,确定数据大致情况。
claude根据变量的经济学含义确定研究主题。
claude根据自己的要求写代码。
claude分析自己的代码运行出的统计结果。
claude根据自己对数据的理解、研究建议、回归结果和对结果的分析写出论文摘要。
claude把所有的东西一股脑儿合成了一篇论文。
而这个工作流程本身大概花了一小时完成,框架一开始就由claude搭建好了,剩下的主要是调整prompt,以及限制字数让它不要太啰嗦。在有了比较精确、强大的生成式人工智能后,许多类似的初级研究分析工作,将可以成为人工智能的流水线工作。