将json数据转换为Python字典

news2024/12/23 11:26:27
import requests
from bs4 import BeautifulSoup
import json

# 定义代理信息
proxy_host = 'www.duoip.cn'
proxy_port = 8000

# 定义要爬取的url
url = 'http://localhost:9200/_search'

# 创建一个requests.Session对象,并设置代理
session = requests.Session()
session.proxies = {'http': f'http://jshk.com.cn}:{proxy_port}'}

# 发送GET请求,获取网页内容
response = session.get(url)

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到所有的elasticsearch返回结果的json数据
json_data = soup.find_all('script', type_='application/json')

# 将json数据转换为Python字典
data = [json.loads(json_data[i].string) for i in range(len(json_data))]

# 打印数据
for item in data:
    print(item)

步骤:

  1. 导入需要的库:requests,BeautifulSoup,json。
  2. 定义代理信息,这里使用的是一个免费的代理服务网站。
  3. 定义要爬取的url,这里爬取的是Elasticsearch的搜索结果。
  4. 创建一个requests.Session对象,并设置代理。
  5. 使用requests的get方法发送GET请求,获取网页内容。
  6. 使用BeautifulSoup解析网页内容,找到所有的json数据。
  7. 使用json.loads将json数据转换为Python字典。
  8. 打印数据。在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1180319.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python3,3行代码,给照片填充背景色,从此跟照相馆说拜拜。

3行代码照片上背景色 1、引言2、代码实战2.1 思路2.2 安装2.3 实例 3、总结 1、引言 小屌丝: 鱼哥,帮个忙。 小鱼: 在开车。 小屌丝:… 那你先忙,不打扰你了。 小鱼:…我可以说话的,没事。 小屌…

3.4、Linux小程序:进度条

个人主页:Lei宝啊 愿所有美好如期而遇 目录 回车与换行的概念和区别 行缓冲区概念 进度条代码 version1 version2 version3 回车与换行的概念和区别 换行\n,回车\r 似乎无需多言 行缓冲区概念 这里我们通过例子来简单理解即可,深入…

Wait-Notify机制

文章目录 1. 简介2. 相关API3. wait notify的正确姿势4. 总结 1. 简介 回顾Minitor锁的结构: Owner线程发现条件不满足,调用wait方法,即可进入WaitSet变为WAITING状态BLOCKED和WAITING的线程都处于阻塞状态,不占用CPU时间BLOCK…

新浪微博一键删除所有内容

亲自测试用 具体操作如下: 对应的 1 2 如下,进入这个界面是按F12 就可以看到 最后画横线的位置 替换自己的id 对应的就是 3 具体代码如下 //向删除接口发起请求,删除对应节点 function del_weibo(id) {var myHeaders new Headers();myHea…

小白学爬虫:通过商品ID获取1688跨境属性数据接口|1688商品属性接口|1688一件代发数据接口|1688商品详情接口

通过商品ID获取1688跨境属性数据接口可以使用1688开放平台提供的API接口实现。以下是获取跨境属性数据的基本步骤: 点击获取测试key和secret构造请求参数,包括商品ID和其他必要参数,如接口权限、请求类型等。通过API接口链接,将请…

App启动——Application的创建

Application的创建 一个 app 启动时候创建一个 Application 对象。这个对象的创建时间在 frameworks 中调用创建的,创建流程可见下图,涉及的几个主要的类调用。 一、主线程运行入口 ​ APP进程起来后,主线程运行入库 ActivityThread.main()…

Docker DeskTop的安装(Windows版本)

目录 一、官网下载Docker安装包 二、安装Docker DeskTop 2.1 双击 Docker Installer.exe 以运行安装程序 2.2 安装操作 2.3 关于更改Docker安装位置 2.3.1 自定义安装路径(不推荐) 2.3.2 移动 Docker 镜像存储位置 三、启动Docker DeskTop 一、官…

GaussDB SQL基础语法-变量常量

目录 一、前言 二、GaussDB数据库中的常量和变量的基本概述及语法定义 1、变量定义 2、常量定义 3、其他(%TYPE、%ROWTYPE属性) 三、在GaussDB数据库中如何使用变量&常量(示例) 示例一,定义常量&变量&a…

有什么软件可以管控员工的电脑桌面

信息化的快速发展,员工在工作中使用电脑的情况越来越普遍。然而,员工在使用电脑时可能会出现工作效率低下、滥用公司资源等问题,因此对员工电脑进行监测和管理显得尤为重要。 1、域之盾软件 它是一款功能强大的电脑监控软件,可以…

(二)Spring源码解析:默认标签解析

一、概述 还记得我们在上一讲末尾提到的关于默认标签解析和自定义标签解析吧。本讲就来针对默认标签解析进行讲解。为了便于衔接上一讲的内容,我们将源码部分粘贴出来: 从上图中的源码中,我们可以看出默认标签的解析是在parseDefaultElement…

Unit2_1:动态规划DP

文章目录 一、介绍二、0-1背包问题问题描述分析伪代码时间复杂度 三、钢条切割问题问题描述分析伪代码过程 四、矩阵链乘法背景性质分析案例伪代码 一、介绍 动态规划类似于分治法,它们都将一个问题划分为更小的子问题 最优子结构:问题的最优解包含子问题的最优解。DP适用的原…

一种单总线串口通信的调试方法

单总线的优点: 节省IO口,发送时可以将单片机的RXD设置为普通IO进行软件模拟发送,发送完设置为串口接收。避免通信干扰,由于是通过IO口对三极管/MOS管进行拉高拉低,外部信号不易对IO口进行干扰,EMI&#xf…

代码随想录算法训练营第四十六天 | LeetCode 139. 单词拆分、多重背包、背包总结

代码随想录算法训练营第四十六天 | LeetCode 139. 单词拆分、多重背包、背包总结 文章链接:单词拆分 多重背包 背包总结 视频链接:单词拆分 1. LeetCode 139. 单词拆分 1.1 思路 本题的那些单词就是物品,字符串就是背包,问用这些…

大数据学习之一文学会Spark【Spark知识点总结】

文章目录 什么是SparkSpark的特点Spark vs HadoopSparkHadoopSpark集群安装部署Spark集群安装部署StandaloneON YARN Spark的工作原理什么是RDDRDD的特点Spark架构相关进程Spark架构原理 Spark实战:单词统计Scala代码开发java代码开发任务提交 Transformation与Acti…

echarts 类目轴设置xAxis.interval不起效果

情景:在xAxis.typecategory;设置xAxis.interval不起效果; 解决方案:通过设置xAxis.axisLabel.interval属性

【H616_语言小美_控制安卓刷抖音项目 orangePi zero2 (已开源) 】.md uptada:23/11/07

文章目录 H616_语言小美_控制安卓刷抖音项目小美效果展示H616 ubuntu系统 安装adb智能公元 SU-03T 离线语音模组 固件制作配合串口实现 小美_控制安卓刷抖音 H616_语言小美_控制安卓刷抖音项目 注意:orangePi zero2 H616 安装系统为ubuntu 小美效果展示 语言小美 …

企业级私有化部署数字办公工具集合,解决企业全方位需求,快收藏

随着信息技术的日新月异,企业对IT建设的依赖程度越来越高。为了满足这一需求,软开企服凭借积累了多年的项目经验,推出了一款名为JVS的私有化部署企业信息化底座。JVS涵盖了多个产品领域,如协同办公、低代码开发、数据分析、风控决…

KaiOS APN配置文件apn.json调试验证方法(无需项目全编)

1、KaiOS 的应用就类似web应用,结合文件夹路径webapp字面意思理解。 2、KaiOS APN配置文件源代码在apn.json, (1)apn.json可以自定义路径,通过配置脚本实现拷贝APN在编译时动态选择路径在机器中生效。 (…

linux复习笔记03(小滴课堂)

find命令: d查找目录: 按照文件权限查找: 600全部权限: -user根据所属主: 上面的例子是找出文件并打印有多少行。 我们也可以把我们查询到的结果复制到其它文件位置中去: 复制成功。 -mtime根据修改时间…

DOCTYPE是什么,有何作用、 使用方式、渲染模式、严格模式和怪异模式的区别?

前言 持续学习总结输出中,今天分享的是DOCTYPE是什么,有何作用、 使用方式、渲染模式、严格模式和怪异模式的区别。 DOCTYPE是什么,有何作用? DOCTYPE是HTML5的文档声明,通过它可以告诉浏览器,使用那个H…