携程网站_广州动物园景点评论采集和处理

news2025/1/23 3:57:55

一、爬取携程网站_广州动物园景点评论数据100条

数据包括:用户名、评论文本内容、发布时间</n> 结果分别保存在userNames,commentDetails commentTimes列表中。

import requests 
import json
import time 

userNames = []
commentDetails = []
commentTimes = []

for pagen in range(0,10):
    
    # 第 1 部分:获取网页内容 
    payload = {
      "arg": {
        "channelType": 2,
        "collapseType": 0,
        "commentTagId": 0,
        "pageIndex": pagen,
        "pageSize": 10,
        "poiId": 76885,
        "sourceType": 1,
        "sortType": 3,
        "starType": 0
      },
      "head": {
        "cid": "09031145214876926565",
        "ctok": "",
        "cver": "1.0",
        "lang": "01",
        "sid": "8888",
        "syscode": "09",
        "auth": "",
        "xsid": "",
        "extension": []
      }
    }
    postUrl = "https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031145214876926565&x-traceID=09031145214876926565-1696822046998-4690723"
    html = requests.post(postUrl, data=json.dumps(payload)).text
   
    # 第2部分——解析网页内容
    html_1 = json.loads(html)
    commentItems = html_1["result"]["items"]
  
    
    # 第2部分——提取用户名、景点评论和时间
    for i in range(0,len(commentItems)) :
        userName = commentItems[i]['userInfo']['userNick']
        commentDetail = commentItems[i]['content']
        commentTime = commentItems[i]['publishTypeTag']

        userNames.append(userName)
        commentDetails.append(commentDetail)
        commentTimes.append(commentTime)

print("用户名:\n",userNames)
print("用户评论内容:",commentDetails)
print("用户评论时间:",commentTimes)

二、数据保存为CSV格式 

Pandas的数据结构主要是:Series(一维数组),DataFrame(二维数组)。DataFrame 是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型值)。DataFrame是由索引和内容组成,既有行索引也有列索引,它可以被看作由Series组成的字典(共同用一个索引)。 pd.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False):创建 DataFrame数据结构。

# 创建 DataFrame
import pandas as pd
import numpy as np 

# 创建空的DataFrame
df = pd.DataFrame()
df['用户名'] = userNames
df['发布时间'] = commentTime
df['景点评价'] = commentDetails

# 显示数据
display(df)

df.to_csv('携程网站广州动物园景点评价.csv',index=False)

三、读取 携程网站广州动物园景点评价.csv文件 

读取 携程网站广州动物园景点评价.csv文件 并 显示前5条数据

# 创建 DataFrame
import pandas as pd
import numpy as np 

df = pd.read_csv('携程网站广州动物园景点评价.csv')
df.head(5) 

四、只查看景点评价数据 

df['景点评价']

五、只查看景点评价数据  

for i in range(0,len(df['景点评价'])):
    comment = df['景点评价'][i].replace("\n", "")
    df.loc[i, ['景点评价']] = [comment]

df.head(10)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1673556.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据结构-题目

1.已知一颗完全二叉树的第6曾&#xff08;设根为第1层&#xff09;&#xff0c;有8个结点&#xff0c;则完全二叉树的结点个数&#xff0c;最少和最多分别是多少&#xff1f; 因此最少为39&#xff0c;最多为111 2.假设一棵三叉树的结点数为50&#xff0c;则它的最小高度为&…

PE文件(五)代码节空白区添加代码

学习目的 本节的目的就是教会我们在一个可执行文件的代码节的空白区添加一段代码。 大致思路&#xff1a;正常的文件中OEP记录着程序入口的地址&#xff0c;现在我们将此可执行文件的程序入口OEP地址指向call0 x123456指令的地址&#xff0c;使其先执行我们添加的代码&#x…

中通云仓科技又开了十家冻品体验店,持续在新零售领域加码

5月12日&#xff0c;中通甄选十家冻品体验店联合开业仪式在山东青岛隆重举行&#xff0c;仪式现场金鼓喧闹、雄狮起舞。随着地爆球爆破&#xff0c;礼炮齐响&#xff0c;掌声四起&#xff0c;与会领导拿起金剪共同为此次开业剪彩。 在中通甄选冻品体验店内&#xff0c;人头攒动…

【机器学习】AI在空战决策中的崛起:从理论到实践的跨越

AI在空战决策中的崛起&#xff1a;从理论到实践的跨越 一、引言二、AI技术的崛起与空军决策技术层面作战结构 三、AI在空战决策中的前景展望四、结语 一、引言 随着科技的不断进步&#xff0c;现代战争已经步入了一个全新的时代。其中&#xff0c;空战作为战争的重要组成部分&a…

使用VSCode撰写Latex文档

参考资料&#xff1a; 如何使用VSCode编写Latex&#xff1f; 概要 先安装texlive,然后安装VSCode. 我这里步骤是全的&#xff0c;但说的不那么细。 只介绍VSCode中的配置方法。 VSCode配置步骤 1. 安装LaTex Workshop插件 2. 配置Latex编译环境 将下列配置粘入settings.j…

搜索整个文件夹的所有日志

grep request * 这里的*就是全部文件 grep -e A -e b" * grep -rine "关键字"

小米/红米手机刷机错误:Missmatching image and device

报错&#xff1a; Missmatching image and device。 场景&#xff1a; 该解决方法只适用于手机是通过EMT解锁的。 解决方法&#xff1a; 打开刷机脚本&#xff0c;并注释检测脚本&#xff1a; 刷机脚本根据不同的刷机方式&#xff0c;选择编辑不同的脚本&#xff0c;例如&am…

tomcat--java的安装

组成 语言、语法规范。关键字,如: if、for、class等源代码 source code依赖库&#xff0c;标准库(基础)、第三方库(针对某些应用)。由于底层代码太难使用且开发效率低&#xff0c;封装成现成的库JVM虚拟机。将源代码编译为中间码即字节码后,再运行在JVM之上 jdk和jre 概念 j…

React脚手架,配置环境变量(生产模式,开发模式)

项目搭建方式&#xff1a;react脚手架(create-react-app) 1. 下载依赖&#xff1a; npm install dotenv npm install dotenv-expandnpm install dotenv-cli -S 2.配置环境变量&#xff1a; 项目根部录下创建文件.env .env.pro .env.dev 配置package.json - scripts…

[Java EE] 多线程(九):JUC剩余部分与线程安全的集合类(多线程完结)

&#x1f338;个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 &#x1f3f5;️热门专栏:&#x1f355; Collection与数据结构 (91平均质量分)https://blog.csdn.net/2301_80050796/category_12621348.html?spm1001.2014.3001.5482 &#x1f9c0;Java …

视频短信时代来临!发送前必知的四大关键要素

随着移动通信技术的迅猛发展&#xff0c;视频短信作为全新的沟通方式&#xff0c;正逐渐融入我们的日常生活。作为行业的先行者&#xff0c;邦之信已率先推出视频短信业务&#xff0c;并获得了市场的广泛认可。 那么&#xff0c;在发送视频短信时&#xff0c;我们需要注意哪些关…

【循环程序设计-谭浩强适配】(适合专升本、考研)

无偿分享学习资料&#xff0c;需要的小伙伴评论区或私信dd。。。 无偿分享学习资料&#xff0c;需要的小伙伴评论区或私信dd。。。 无偿分享学习资料&#xff0c;需要的小伙伴评论区或私信dd。。。 完整资料如下&#xff1a;纯干货、纯干货、纯干货&#xff01;&#xff01;…

启动项目时出现SELinux is preventing

问题描述 启动项目时出现SELinux is preventing**** SELinux正在阻止systemd对文件AB.sevice进行读取访问。 我的是启zabbix是报该错&#xff1a; 最终解决方案 方法一&#xff1a;暂时禁用SELinux setenforce 0 方法二&#xff1a;禁用SELinux 在配置文件/etc/sysconfig/…

【LeetCode】每日一题 2024_5_14 完成所有任务需要的最少轮数(哈希)

文章目录 LeetCode&#xff1f;启动&#xff01;&#xff01;&#xff01;题目&#xff1a;完成所有任务需要的最少轮数题目描述代码与解题思路 每天进步一点点 LeetCode&#xff1f;启动&#xff01;&#xff01;&#xff01; 题目&#xff1a;完成所有任务需要的最少轮数 题…

酒店前台装智能酒精壁炉前和装后对比

在酒店前台装智能酒精壁炉之前和之后&#xff0c;前台区域的氛围和效果会有显著的对比&#xff1a; 装智能酒精壁炉之前 传统或简约风格&#xff1a; 在壁炉安装之前&#xff0c;前台可能具有传统或简约的设计风格&#xff0c;可能缺乏独特的装饰元素或焦点。前台区域可能显…

OrangePi Zero2 全志H616开发学习文档、基础IO蜂鸣器、超声波测距、舵机PWM基础开发

一.平台介绍 OrangePi开发板不仅仅是一款消费品&#xff0c;同时也是给任何想用技术来进行创作创新的人设计的。它是一款简单、有趣、实用的工具&#xff0c;你可以用它去打造你身边的世界。 特性 CPU 全志H616四核64位1.5GHz高性能Cortex-A53处理器GPU MaliG31MP2 Supports…

LeetCode—用栈实现队列

1.题目 2.思路—双栈 思路与双队列实现栈类似&#xff1a; 将一个栈当作输入栈&#xff0c;用于压入push传入的数据&#xff1b;另一个栈当作输出栈&#xff0c;用于pop和peek操作。 每次 pop或 peek时&#xff0c;若输出栈outStack为空则将输入栈inStack的全部数据依次出栈并…

前端笔记-day06

文章目录 01-浮动-基本使用02-浮动-产品布局03-浮动-清除浮动带来的影响04-清除浮动-额外标签法05-清除浮动-单伪元素法06-清除浮动-双伪元素法单伪元素和双伪元素CSS 07-清除浮动-overflow08-flex布局-体验09-flex布局-组成10-flex布局-主轴对齐方式11-flex布局-侧轴对齐方式1…

如何用Rust获取CPU、内存、硬盘的信息?

目录 一、用Rust获取CPU、内存、硬盘的信息 二、知识点 systemstat 一、用Rust获取CPU、内存、硬盘的信息 首先&#xff0c;需要添加systemstat库到Cargo.toml文件&#xff1a; [dependencies] systemstat "0.2.3" 在Rust代码中使用它&#xff1a; extern crat…

400元已到账,成交从认真开始

昨天发了一个值班的需求&#xff0c;收到了很多好友的响应&#xff0c;这里非常感谢关注创业程序员卡酷的老朋友、新朋友。今天分享一下&#xff1a;拓展、合作、成交 现在不管是IT行业还是其他行业&#xff0c;大环境可谓一片惨淡&#xff0c;35乃至30找不到工作的失业人员一抓…