用ChatGPT写一个数据采集程序

news2024/11/26 6:20:15

入门教程、案例源码、学习资料、读者群

请访问:python666.cn

大家好,欢迎来到 Crossin的编程教室 !

上次我们讨论了ChatGPT在辅助编程学习上的一些用法:

如何用ChatGPT学Python

既然ChatGPT可以理解并生成代码,那么自然而然,它的作用不仅仅是帮助学习代码,同样也可以直接用在实际的软件开发当中。

对于网页上的数据采集及处理是Python的常见应用场景之一。我们来看下ChatGPT是不是也能完成这样的任务。

假设我们现在需要抓取并整理某个网页上的表格数据:

https://python666.cn/static/score.html

01fee21ed6b573a925a82ed4249df1a2.png

我们直接来问问ChatGPT,能不能给个抓取的代码:

6dece90e354411507287cf294478f882.png

ChatGPT给了我们一份代码,但很遗憾,把这个代码复制到编辑器中运行后,生成的Excel是空的。

简单调试后发现,原来是因为页面上的表头元素用的是<th>标签

862b78199b1d438610518e236d45e924.png

而ChatGPT因为没有获知具体的页面代码信息,直接当做<td>标签来处理,所以没采集到表头信息。

48048d48965e06456f13f97a09726e6b.png

这种情况下,我们可以手动对代码做一些修改。

或者,我们点击回答下方的“Regenerate response”,让它重新回答一次试试:

b4f52af85ff34190cda6e8c69993c004.png

这次ChatGPT给出的代码比之前简洁:

import pandas as pd


# 读取网页上的表格
url = 'https://python666.cn/static/score.html'
tables = pd.read_html(url)


# 假设目标表格是第一个表格
table = tables[0]


# 将表格保存为Excel文件
output_file = 'table.xlsx'
table.to_excel(output_file, index=False)


print(f"表格已保存为 {output_file}")

运行后,成功得到了我们要的结果:

1b72dfc55e86b022e61035d61b11355c.png

顺利拿到数据后,我们再进一步,让ChatGPT来对数据进行排序。当然,在排序前,我们需要告诉它关于表格内容的必要信息:

4c49c0785b5b23a7220a7669f71e1623.png

代码:

import pandas as pd


# 读取网页上的表格
url = 'https://python666.cn/static/score.html'
tables = pd.read_html(url)


# 假设目标表格是第一个表格
table = tables[0]


# 将缺失值替换为0
table.fillna(0, inplace=True)


# 计算每个学生的均分
table['均分'] = table.mean(axis=1)


# 按均分降序排序
table.sort_values(by='均分', ascending=False, inplace=True)


# 将表格保存为Excel文件
output_file = 'sorted_table.xlsx'
table.to_excel(output_file, index=False)


print(f"按均分排序后的表格已保存为 {output_file}")

这次,ChatGPT完美实现了我们提出的需求:

ce2a0c5e21ad1ecf2b063548fc5a6e20.png

可以看出,虽然ChatGPT很强大,但并不能保证每次生成的代码都是完美,仍然可能需要引导它修正或人工干预。

但即便如此,它也已经算得上一个十分得力的编程助手,可以大大提高开发效率。尤其像数据处理这种场景,以往开发时常常需要查找各种函数及其参数的使用方法。现在有了ChatGPT,只要准确描述数据格式及需求,就可以立刻得到相应的处理代码,非常的方便。

我现在做数据分析已经快离不开它了。


在Crossin的新书《码上行动:零基础学会PYTHON编程(CHATGPT版)》中也讲解了类似利用ChatGPT进行辅助开发的案例。

本书力求做到浅显易懂,让完全没有编程经验的零基础“小白”也能学会Python。内容从环境搭建这种最基础的步骤开始讲起,逐渐深入到常见的实际应用当中。在讲解知识点的同时配有相应的代码示例,让读者可以边学边练加深理解。

全书涵盖Python环境搭建、基础语法、常见数据类型、实用模块、正则表达式、面向对象编程、多任务编程等知识点。另外还提供了爬虫、GUI、游戏三个实战项目。

书中还创新地使用 ChatGPT 作为编程学习的辅助,带领读者探索AI时代下学习编程的新模式。

ae943ea43956659b04611ea63dee174c.jpeg

感谢转发点赞的各位~


_往期文章推荐_

动画图解程序?这个可视化运行环境太方便了


如需了解付费精品课程教学答疑服务

请在Crossin的编程教室内回复: 666

456edef464939f7e0f3a8748b620b44f.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/596011.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

多线程 —— 线程控制

目录 线程控制1 线程创建2 线程等待3 线程终止4 线程分离 pthread_t id && LWP 线程控制 1 线程创建 功能&#xff1a;创建一个新的线程 原型 int pthread_create(pthread_t *thread, const pthread_attr_t *attr, void *(*start_routine) (void*), void *arg); 参数…

chatgpt赋能python:Python中任取一个数

Python中任取一个数 如果你是一名Python编程爱好者或者是从事相关行业的工程师&#xff0c;你可能会知道Python强大的数学计算能力。Python中自带了诸多数学函数和库&#xff0c;例如NumPy、SciPy、pandas等等&#xff0c;可以帮助我们轻松地完成各种计算任务&#xff0c;包括…

MySQL—存储引擎(上)

♥️作者&#xff1a;小刘在C站 ♥️个人主页&#xff1a;小刘主页 ♥️每天分享云计算网络运维课堂笔记&#xff0c;努力不一定有回报&#xff0c;但一定会有收获加油&#xff01;一起努力&#xff0c;共赴美好人生&#xff01; ♥️树高千尺&#xff0c;落叶归根人生不易&…

Ae 脚本:Face Tools 4 脸部工具

Motion Bro 的 AE Face Tools 扩展脚本工具&#xff0c;包含几百种预设&#xff0c;如换脸、换妆、美颜、液化、失真扭曲、面部修饰、蒙板工具、文字跟踪、添加元素、人脸锁定防抖稳定以及遮挡等预设效果&#xff0c;大大扩展了 After Effects 中的人脸跟踪功能。 AE Face Tool…

基于激光雷达和单目视觉融合的SLAM和三维语义重建

文章&#xff1a;SLAM and 3D Semantic Reconstruction Based on the Fusion of Lidar and Monocular Vision 作者&#xff1a;Lu Lou, Yitian Li, Qi Zhang and Hanbing Wei 编辑&#xff1a;点云PCL 欢迎各位加入知识星球&#xff0c;获取PDF论文&#xff0c;欢迎转发朋友圈。…

领导说培养我,怎么看出来他是真培养,还是PUA我?

当你的领导说要培养你的时候&#xff0c;如何分辨他的真实意图&#xff1f; 一位网友问&#xff1a; 领导说培养我&#xff0c;怎么看出来他是真培养&#xff0c;还是PUA&#xff1f; 来看看这位网友的支招&#xff1a; 如果领导做到以下几点&#xff0c;那就是真的培养你。 1.…

实战记录01(QT连接MySQL显示未加载问题解决)

进入实战 学了这么几天就要开发新项目了&#xff0c;所以可能不会每日记录吧&#xff0c;遇到问题可能就发一下&#xff0c; 昨天是又重新写了一个登录和管理界面&#xff0c;写完之后就可以开始链接数据库了。 QT连接MYSQL报错 我一开始是在.pro文件中加上了 QTsql QTmysq…

【计算机视觉 | 目标检测】arxiv 计算机视觉关于目标检测的学术速递(5月31日论文合集)

文章目录 一、检测相关(10篇)1.1 Table Detection for Visually Rich Document Images1.2 DENTEX: An Abnormal Tooth Detection with Dental Enumeration and Diagnosis Benchmark for Panoramic X-rays1.3 TrueDeep: A systematic approach of crack detection with less dat…

C++ STL源码下载及目录结构

掌握一定的c基础&#xff0c;想更深入的了解STL源码实现的读者&#xff0c;可以参照本文下载源码阅读 1、源码下载 ​ SGI STL版本&#xff08;侯捷老师推荐&#xff09;&#xff1a;https://github.com/dongyusheng/csdn-code/tree/master/STLgcc STL&#xff1a;GitHub - gc…

使用 Docker 部署 Jenkins 代理(主从)控制服务器

自动化是 DevOps 的核心。各种自动化工具和技术真正实现了持续集成和持续交付的概念。这些工具多年来发展迅速&#xff0c;但似乎永远存在的一个名字是Jenkins。 我们不会在这篇文章中讨论 CI-CD 的介绍性概念&#xff0c;也不会浪费时间展示 Jenkins 安装步骤。如果您是 Jenk…

Go1.21 速览:骚操作 panic(nil) 将成为历史!以后别这么干了。。。

大家好&#xff0c;我是煎鱼。 在 Go 语言中&#xff0c;返回错误、抛出异常一直是大家比较关注的话题。在抛出异常上&#xff0c;我们一般都是这么用的&#xff1a; func mayPanic() {panic("脑子进煎鱼了") }func main() {defer func() {if r : recover(); r ! nil…

Vagrant编排虚拟机安装与配置

1.安装VirtualBox与Vagrant VirtualBox与Vagrant是支持不通过操作系统的&#xff1b;根据具体操作系统下载对应版本即可。(这里使用windows操作系统搭建) VirtualBox https://www.virtualbox.org/wiki/Downloads Vagrant https://developer.hashicorp.com/vagrant/downloads Va…

设计模式之~状态模式

状态模式&#xff08;State&#xff09;&#xff0c;当一个对象的内部状态改变时允许改变其行为&#xff0c;这个对象看起来像是改变了其类。 能够让程序根据不同的外部情况来做出不同的响应&#xff0c;最直接的方法就是在程序中将这些 可能发生的外部情况全部考虑到&#xff…

基于html+css的图展示102

准备项目 项目开发工具 Visual Studio Code 1.44.2 版本: 1.44.2 提交: ff915844119ce9485abfe8aa9076ec76b5300ddd 日期: 2020-04-16T16:36:23.138Z Electron: 7.1.11 Chrome: 78.0.3904.130 Node.js: 12.8.1 V8: 7.8.279.23-electron.0 OS: Windows_NT x64 10.0.19044 项目…

应用运维的三个项目

应用运维 目录概述需求&#xff1a; 设计思路实现思路分析1.开发和运维2.比重3.历史项目4.工作内容5.历程 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busy&#xff0c;skip hardness,make a better result,…

程序员的新出路:维护老项目?

1 张大胖刚进入公司&#xff0c;遇到了一个神奇的同事&#xff1a;何小痩。 别人工作都很忙&#xff0c; 何小痩工作似乎特别轻松&#xff0c;从来不加班&#xff0c;到点儿就回家。 张大胖向别人一打听&#xff0c;原来何小痩一直在维护一个老项目&#xff0c;维护了5年了。 …

「小产品独立变现实战训练营1期」门票限时优惠

大家好&#xff0c;我是凯凯刘&#xff0c;一名程序员&#xff0c;一直在做小产品的开发变现&#xff0c;目标就是让小产品的变现更简单。【小产品独立变现实战训练营1期】这个课程主要是围绕着如何开发出一个赚钱小产品这个主题。来跟大家一起从0开始实战&#xff0c;一步步跟…

为什么对象存储深度归档价格低?

AWS&#xff08;亚马逊云服务&#xff09;对象存储S3&#xff08;Simple Storage Service&#xff09;有以下四种不同的存储类型&#xff1a; S3 标准存储&#xff1a; 这是最常用的S3存储类型之一&#xff0c;它保证了高持久性&#xff0c;并提供 99.999999999% 的数据耐久性…

chatgpt赋能python:Python人脸识别:从入门到工程实践

Python人脸识别:从入门到工程实践 介绍 近年来&#xff0c;人脸识别技术越来越成熟&#xff0c;广泛应用于各行各业&#xff0c;如社交媒体、安防、金融等领域。Python人脸识别作为一种基于机器学习的技术&#xff0c;可以通过训练模型从图像中自动识别出人脸&#xff0c;并进…

致敬六一,用外观模式实现一个儿童乐园畅玩平台

一、概述 外观模式&#xff08;Facade Pattern&#xff09;是一种结构型设计模式&#xff0c;它为多个子系统中的操作提供一个统一的高层接口&#xff0c;用于访问复杂子系统的功能。其核心思想是通过一个外观类将子系统的复杂操作进行封装&#xff0c;客户端只需与外观类进行…