【腾讯云Cloud Studio实战训练营】如何成为一名合格的Python爬虫“念咒师”(基于ChatGpt)

news2024/11/13 16:16:50
【前言】

不管是新手程序猿,还是秃头程序猿,在工作学习中,都无法避免一项看似简单却又异常重要的环节——搭建开发环境,这常常让我们程序猿们头痛不已!毫不夸张的说,它可能是整个开发过程中最具挑战性和耗时的一环。

  • 首先,选择合适的硬件设备是搭建开发环境的第一步。需要考虑的因素有很多很多,比如处理器速度、内存容量、存储空间等。

  • 其次,选择合适的开发软件和工具也是非常重要的。不同的项目需要不同的编程语言和集成开发环境(IDE)。而且还需要安装和配置版本控制系统、数据库管理工具等。

  • 此外,搭建开发环境的挑战并不仅限于上述硬件和软件的选择。在实际操作过程中,常常会遇到各种问题和BUG。比如:软件的版本兼容性;网络连接的稳定性;安全设置和权限限制等。

看到这的小伙伴们,是不是已经深有同感开始头疼了😂

尽管搭建开发环境是一项困难且耗时的任务,但它对我们的工作效率和开发质量有着重要的影响。一个良好的开发环境可以提供高效的编码和调试工具,减少不必要的错误和调试时间,从而加快开发进度并提高程序的稳定性。

这就不得不提到——Cloud Studio产品了!!!使用它,我们可以一键构成所需的开发环境,哪怕你是零基础的小白,相信经过本文的学习,也会使用Cloud Studio构建自己所需的开发环境!

很喜欢大佬的一句话,这里也贴给大家看看:
在这里插入图片描述

目录:

  • 一、Cloud Studio
    • 第一部分:介绍
    • 第二部分:使用
      • (1)注册:
      • (2)启动对应的Python开发环境:
  • 二、实操—念咒编程
    • 第一部分:何为念咒编程?
    • 第二部分:无门槛念咒编程做Python爬虫——抓取豆瓣TOP250电影信息
      • (1)需求分析:
      • (2)念咒编程——对GPT念出咒语:
  • 三、总结
    • 使用腾讯云Cloud Studio后的一些个人感受与总结:

一、Cloud Studio

第一部分:介绍

随着云计算技术的不断发展,云端工作站越来越受大家的欢迎。而Cloud Studio就是其中的一个佼佼者。**Cloud Studio 是基于浏览器的在线集成式开发环境(IDE),为开发者提供了一个永不间断的云端工作站。用户在使用 Cloud Studio 时无需安装,随时随地打开浏览器就能在线编程。**得益于以下优点,它成为了大部分程序猿们的首选开发环境。

  • 首先,Cloud Studio可以实现跨平台和设备的无缝协作。因为它是基于云计算的,所以我们可以在任何时间、任何地点(PS:超级侦探,认真办案)访问自己的开发环境。这对于需要频繁出差或远程合作的团队来说尤其有用。

  • 其次,Cloud Studio提供了强大的计算和存储能力。我们可以直接利用它的云计算资源来加速编译、运行和调试代码,而且也可以存储和管理大量的项目文件和数据。这样不仅可以提高工作效率,而且可以节省资源消耗。

  • 另外,Cloud Studio提供了灵活的扩展和定制选项。配备了丰富的开发工具和软件,比如集成开发环境(IDE)、版本控制系统、数据库管理工具等。而且,我们可以根据自己的需求自定义环境设置,安装所需的软件和插件。这使得我们可以快速搭建适合自己的开发环境。

  • 最后,Cloud Studio还提供了高级别的安全性和数据保护措施。云服务提供商通常会采用多层次的安全措施来保护用户的数据和隐私,包括加密传输、身份验证、防火墙等。同时,他们也会定期备份和存储数据,以防止数据丢失或损坏。这样的数据安全性和可靠性难道还不足以让你心动吗!

在这里插入图片描述

大家通过上图可以很清楚地看到,Cloud Studio为我们提供了很多语言的开发环境和框架模板。

Cloud Studio 作为在线 IDE,几乎拥有我们本地IDE的所有功能,比如:代码高亮、自动补全、Git 集成、终端等,同时支持实时调试、插件扩展等,可以帮助开发者快速完成各种应用的开发、编译与部署工作。
在这里插入图片描述
同时 Cloud Studio 也对所有新老用户每月赠送 3000 分钟的工作空间免费时长。白嫖就完事了~

这里上手非常简单操作界面跟我们使用的 VS Code 操作界面类似。

第二部分:使用

(1)注册:

注册 Cloud Studio 非常方便,有三种注册方式

  • 使用CODING账号注册
  • 使用微信授权注册
  • 使用GitHub授权注册
    由于 CODING 和 Cloud Studio 实现了账号互通,我们可以用 CODING 账号登录,完成账号授权。
    在这里插入图片描述

(2)启动对应的Python开发环境:

进入Cloud Studio控制台,选择‘常用模板’里名为‘Python’的模板点击即可:
在这里插入图片描述
点击完毕后,环境会自动开始配置,正常情况下大概1-2分钟左右,Python开发环境就配好了,是不是一键构成开发环境!

在这里插入图片描述
启动成功后,我们进入了一个欢迎界面:

在这里插入图片描述
通过对代码和README的简单解读我们发现,这是一个默认的Flask项目搭建起来的临时页面(巧了不是,我的Flask专栏最近正在持续更新中~学习过我Flask专栏的小伙伴,看这个类似于hello world的Flask项目是不是感觉so easy!)

是不是会有小伙伴疑惑:为何一进来这个Flask项目就自动启起来,而且自动访问了Flask的设置的路由并弹出了这个响应界面呢?
这就需要看到.vscode文件夹里的preview.yml配置文件了,如下所示。注释非常的详细,大家一目了然了~
同时这也给了我们启发,在用Cloud Studio开发的时候通过这个yml文件实现一些骚操作哦~

# .vscode/preview.yml
autoOpen: true # 打开工作空间时是否自动开启所有应用的预览
apps:
  - port: 5000 # 应用的端口
    run: pip install -i https://mirrors.tencent.com/pypi/simple/ -r ./requirements.txt && bash /usr/bin/start-vnc-session.sh && python ./app.py # 应用启动命令
    root: ./web # 应用的启动目录
    name: Python Cloud Studio Demo # 应用名称
    description: Python Cloud Studio Demo Project # 应用描述
    autoOpen: true # 打开工作空间时是否自动运行命令(优先级高于根级 autoOpen)
    autoPreview: true # 是否自动打开预览, 若无则默认为true

我们可以在终端处查看Python版本。
在这里插入图片描述

可以看到version 3.11.1还是比较新的一个版本。
这个页面我们先放着,本次的念咒编程也用不上Flask,我们后续直接在这个环境的根目录里创建新文件进行操作即可~

二、实操—念咒编程

第一部分:何为念咒编程?

2022年12月 OpenAI 推出 ChatGPT 以来,国内外掀起了大型语言模型(LLM)AI的热潮,随着 GPT 的技术的不断发展以及应用的不断普及,一个全新的职业逐渐被推出————“念咒师”!由念咒师给出的高效提示/输入(Promt)对于ChatGpt输出的质量高与低至关重要。
在这里插入图片描述
在我的几个“咒语”下 GPT 帮我完成了一个应用、在我的几个“咒语”下 GPT 帮我设计了一个广告海报、在我的几句“咒语”下 GPT 帮我做好了一个汇报 PPT…

如何有效通过语言艺术使GPT高效完成我们想让他做的事情,即如何成为一名合格的念咒师,正是本文的一大重点所在!

下面就请跟随我的脚步,通过念咒编程做一个Python爬虫——【爬取豆瓣TOP250所有电影信息】

第二部分:无门槛念咒编程做Python爬虫——抓取豆瓣TOP250电影信息

(1)需求分析:

  • 目标网站——https://movie.douban.com/top250
  • 爬取如下图所示豆瓣电影TOP250所有的电影信息,如:电影名,导演,主演等;
  • 需要注意的是:这个网站的电影数据是分页展示的;
  • 同时,我们最终希望的效果不仅仅是控制台打印结果,而且要同时保存到json文件里。
    在这里插入图片描述
    在这里插入图片描述

该准备的工具(Cloud Studio)都准备好了,爬取目标也十分明确(这个目标也是好多大学生大学生涯的某一次课外作业),如何正确对 GPT 发问,或者提需求其实是非常讲究的,并且作为一个拿到答案的人,你也一定要有辨别是非的能力;例如 GPT 告诉了你一串Python代码,尽管你一句都看不懂,但你还兴高采烈的CV代码中去运行导致和各种BUG对抗,但是对有辨别能力的人来说,一看 GPT 的回复代码立马能够找到问题,并且通过下一句话把这个“补丁”打好。
Chatgpt是一个可以连续提问,能够结合上下文内容进行反馈的AI,所以在提问时我们不要一口气把整个问题都抛给它,我们要一点点的提问,一点点的增加需求,让它最终实现我们要的东西。

(2)念咒编程——对GPT念出咒语:

  1. 在Cloud Studio中创建要编写代码的文件。例如我的叫main.py
    在这里插入图片描述
  2. 第一问——使用Python,帮我爬取https://movie.douban.com/top250这个网站的电影相关信息。
    可以看到,Chatgpt甚至很贴心地告诉我们需要安装程序运行所需的库,并给了可以直接用的代码,所以使用Cloud Studio终端下载一下,如下第二个图。
    在这里插入图片描述
    在这里插入图片描述
    将代码CV过来,终端运行:
    在这里插入图片描述
    但是运行之后,终端并无任何打印,这是为何呢?
    这就说明,Chatgpt固然强大,但是仍会有错误哦~所以我们直接来问问ChatGpt,看看它能否帮我们解决:
    在这里插入图片描述
    非常棒,在我们的帮助下,它认识到了自己的错误并改正了!其实就是加了个请求头🤣
    直接CV过来继续运行:
    在这里插入图片描述
    成功啦!!!
    经过我们观察目标网站,发现一页就是25个电影信息,这里刚刚好,而且电影相关信息都获取到了!!!
    是不是很有趣?
    是不是很简单?
    有兴趣的同学可以赶紧入坑一波Python爬虫哦~

上面已经完成第一页电影信息的抓取,下面就通过念咒,控制ChatGpt来抓取多页,共计250个电影的信息。

  1. 第三问——这个网站分页了,上面只能获取到第一页的电影数据,我想要获取所有250个电影信息。
    在这里插入图片描述
    继续直接CV,运行:
    在这里插入图片描述
    效果杠杠的!
    到目前为止,所有电影信息都已经获取成功,下面通过念咒让ChatGpt完成最后一个功能:另存为json文件。
  2. 第四问——将结果另存为json文件。
    在这里插入图片描述
    继续直接CV,运行:
    在这里插入图片描述
    运行成功,我们本次的念咒编程之旅完美结束!
    在这里插入图片描述

三、总结

使用腾讯云Cloud Studio后的一些个人感受与总结:

关于腾讯云Cloud Studio的优点在上面的内容中已经阐述的非常全面细致。比如:可以实现跨平台和设备的无缝协作、提供了强大的计算和存储能力、提供了高级别的安全性和数据保护措施等。
但是,我想强调的关于云IDE的一个优势点是:
(同时也是开头中我引用的大佬的一个观点,结合一些个人拙见)

编程界无时无刻都有无数新人小白的加入,但是他们中有很大一部分都在配置开发环境这一环饱受折磨甚至被劝退转行。而现在,有了各种云IDE产品,尤其是腾讯云Cloud Studio,使用它的话,我们可以非常简单快捷的走过一环,比如你要学习什么语言学习什么框架的话,不用在本地搭建各种开发环境,而是直接一键启动对应的开发环境即可!!!

真是相遇恨晚,如果早几年让我在大学里遇到Cloud Studio,那我现在的编程功力肯定能提高好几个等级(PS:开个玩笑话)

建议方向的话:

  • 目前腾讯云Cloud Studio只提供了部分基础的IDE功能,期待更多IDE功能的更新;
  • 任何一款产品的性能都是需要长期更新迭代的,俗话说的好,没有最好,只有更好;
  • 一个月3000分钟免费额度有点短,对于习惯内卷且习惯白嫖的我们来说,我们希望是一万年~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/835078.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Xcode protobuf2.5添加arm64编译器补丁生成静态库

项目需求,protobuf源码编成静态库使用 但是,github上的protobuf源码没有对应arm64的编译器定义,编译出来的静态库使用时报错。 下面的连接是arm64编译器代码补丁包,把编译器代码放到src/google/protobuf/stubs/atomicops_intern…

【安装】阿里云轻量服务器安装Ubuntu图形化界面(端口号/灰屏问题)

阿里云官网链接 https://help.aliyun.com/zh/simple-application-server/use-cases/use-vnc-to-build-guis-on-ubuntu-18-04-and-20-04 网上搜了很多教程,但是我没在界面看到有vnc连接,后面才发现官网有教程。 其实官网很详细了,不过这里还是…

Golang空结构体struct{}的作用是什么?

文章目录 占位符:通道标识:键集合:内存占用优化:总结: 在Go语言中,空结构体 struct{}是一种特殊的数据类型,它不占用任何内存空间。空结构体没有任何字段,也没有任何方法。尽管它看起…

Android Studio 的Gradle版本修改

使用Android Studio构建项目时,需要配置Gradle,与Gradle插件。 Gradle是一个构建工具,用于管理和自动化Android项目的构建过程。它使用Groovy或Kotlin作为脚本语言,并提供了强大的配置能力来定义项目的依赖关系、编译选项、打包方…

gradio创建机器学习的好工具 基本使用和示例

1.gradio介绍 Gradio: 用Python构建机器学习网页APP Gradio是一个开源的Python库,用于构建演示机器学习或数据科学,以及web应用程序。 使用Gradio,您可以基于您的机器学习模型或数据科学工作流快速创建一个漂亮的用户界面,让用户可以”尝试“拖放他们自己的图像、粘贴文本…

飞凌嵌入式「国产」平台大盘点(二)全志系列

在上篇文章中,小编带大家一起盘点了飞凌嵌入式国产平台中的瑞芯微系列核心板。本篇文章,将继续为大家介绍的是全志系列核心板,话不多说,上干货! 全志科技 飞凌嵌入式 飞凌嵌入式与全志科技的合作始于2019年&#xff…

MobPush iOS SDK iOS实时活动

开发工具:Xcode 功能需要: SwiftUI实现UI页面,iOS16.1以上系统使用 功能使用: 需应用为启动状态 功能说明 iOS16.1 系统支持实时活动功能,可以在锁定屏幕上实时获知各种事情的进展,MobPushSDK iOS 4.0.3版本已完成适配&#xf…

Webpack5新手入门简单配置

1.初始化项目 yarn init -y 2.安装依赖 yarn add -D webpack5.75.0 webpack-cli5.0.0 3.新建index.js 说明:写入下面的一句话 console.log("hello webpack"); 4.执行命令 说明:如果没有安装webpack脚手架就不能执行yarn webpack&#xff08…

光电新风向——氮化镓

根据维基百科词条,氮化镓(GaN、Gallium nitride)是氮和镓的化合物,是一种 III 族和 V 族的直接能隙(direct bandgap)的半导体。自1990年起常用在发光二极管中。此化合物结构类似纤锌矿,硬度很高…

无人驾驶实战-第五课(动态环境感知与3D检测算法)

激光雷达的分类: 机械式Lidar:TOF、N个独立激光单元、旋转产生360度视场 MEMS式Lidar:不旋转 激光雷达的输出是点云,点云数据特点: 简单:x y z i (i为信号强度) 稀疏:7%&…

[比赛简介]OTTO – Multi-Objective Recommender System

比赛链接 比赛简介 本次竞赛的目标是预测电子商务点击、购物车添加和订单。您将根据用户会话中的先前事件构建多目标推荐系统。 您的工作将有助于改善所有相关人员的购物体验。客户将收到更多量身定制的建议,而在线零售商可能会增加销售额。 在线购物者可以从大…

服务提供者能实现失效踢出是什么原理?

在Dubbo中,服务提供者可以实现失效踢出(Failover Cluster 配置中的 Failback 特性)。这个特性的原理主要涉及到Dubbo的集群容错和故障转移机制。 Dubbo中的集群容错机制主要用于处理服务提供者的故障,确保在出现服务提供者宕机或不可用的情况下&#xff…

Spring Cloud实战案例 │ Apollo和Zuul的整合开发

Apollo是携程研发的开源配置管理中心,能够集中管理应用于不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性。 本案例结合一个案例介绍Apollo和Zuul的整合开发。整个应用分为4个微服务项目&…

Grafana集成prometheus(3.Grafana添加promethus数据)

添加数据库 选择Connections -> Datasources,点击Add New data source,填写Promitheus Server Url,点击 save & test完成配置 添加DashBorad 选择prometheus数据库选择code填入对应的查询公式(监控公式参考Prometheus监控公式)修改面板名称Ti…

父类B为抽象类,继承接口A,子类C必须实现B和A中的抽象方法

1. 子类C必须实现A中的抽象方法。 2. 子类C必须实现B中的抽象方法 3 在1中,我们知道,C不显示实现A,依旧要实现A的所有方法。 然而代码设计中,C可能会依旧显示实现A,然后实现A的所有方法。(这样做的好处还…

电磁干扰影响天线接收灵敏度案例分析

名词定义( TRP : 发射功率,TIS : 接收灵敏度) 在无线网络中,射频模块有传导TRP和传导TIS两项重要指标,而模块装上天线后,整机在OTA暗室中需测试TRP与TIS,在此我们将其定义为辐射TRP和辐射TIS。…

02.Redis实现添加缓存功能

学习目标&#xff1a; 提示&#xff1a;学习如何利用Redis实现添加缓存功能 学习产出&#xff1a; 流程图 1. 准备pom环境 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId&g…

Vue2 第十九节 Vuex (一)

1.理解Vuex 2.Vuex工作原理 3.求和案例 4.Vuex的开发者工具 一.理解Vuex ① 概念&#xff1a;专门在Vue中实现集中式状态&#xff08;数据&#xff09;管理的一个Vue插件&#xff0c;对vue应用中多个组件的共享状态进行集中式的管理&#xff08;读/写&#xff09;&#xf…

Linux常用命令——dpkg命令

在线Linux命令查询工具 dpkg Debian Linux系统上安装、创建和管理软件包 补充说明 dpkg命令是Debian Linux系统用来安装、创建和管理软件包的实用工具。 语法 dpkg(选项)(参数)选项 -i&#xff1a;安装软件包&#xff1b; -r&#xff1a;删除软件包&#xff1b; -P&…

10倍提升效率,号称取代Elasticsearch?

[Manticore Search](https://github.com/manticoresoftware/manticoresearch/) 是一个使用 C 开发的高性能搜索引擎&#xff0c;创建于 2017 年&#xff0c;其前身是 Sphinx Search 。Manticore Search 充分利用了 Sphinx&#xff0c;显着改进了它的功能&#xff0c;修复了数百…