批量爬取招聘网站【Boss直聘】上工作岗位的招聘信息

news2024/11/27 19:46:17

不管是学生还是工作的小伙伴，估计都对不同岗位工作几年的薪酬水平比较感兴趣。本文提供爬取招聘网站，获取某类工作招聘信息的实现逻辑和代码。具体的实施步骤是：明确爬取的招聘网站—确定爬取的工作城市—确定爬取的岗位—获取岗位的招聘子链接—获取岗位招聘信息。
  
本文以爬取Boss直聘在广州的风控建模岗为例，进行代码说明。如果需要爬别的城市其他工作岗位，直接把名称改一下即可。如有不熟悉爬虫的朋友，想了解某个工作岗位，可以在文后留言或私信我，在空余时间我可以帮忙实现一下。

文章目录

    • 一、爬虫效果
    • 二、导入库
    • 三、登录Boss直聘网
    • 四、完成工作城市切换
    • 五、确定爬取的岗位
    • 六、获取岗位的招聘子链接
    • 七、获取不同子链接的岗位信息
    • 八、封装成函数的全量代码

  

一、爬虫效果

  
先来看下本文代码实现效果，具体如下：

****************************************
招聘中
风控算法工程师（大模型，内容安全方向） 30-55K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金补充医疗保险定期体检全勤奖年终奖股票期权带薪年假员工旅游免费班车通讯补贴交通补助包吃节日福利住房补贴零食下午茶
====================
职位描述
微信扫码分享
举报
风控/安全策略经验
大模型
内容安全
岗位职责：
1、负责公司大模型内容安全、隐私安全等业务风险领域的治理方案和相关风控模型开发
2、针对不同的业务场景，选择合适的算法，进行训练和优化，推动算法落地并持续迭代
岗位要求：
1、本科以上学历，至少3年业务安全、内容安全等策略经验
2、有过隐私数据识别项目经验优先
3、对数据敏感，具有较强的逻辑思维和数据分析能力，掌握数据分析工具sql和excel等
4、熟悉数据科学、机器学习、社群挖掘的相关知识，有成功实践的算法项目
覃女士
3日内活跃
唯品会
·
招聘主管
****************************************
招聘中
风控算法工程师 25-50K·14薪
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
团建聚餐零食下午茶员工旅游带薪年假股票期权绩效奖金年终奖五险一金
====================
职位描述
微信扫码分享
举报
Python
岗位职责：
1、独立完成建模方案设计、模型开发及部署，运用各类算法开发包括营销响应、流失预警等营销模型及反欺诈规则、申请评分、额度模型、行为评分、催收评分等风险模型，并对现有模型进行优化完善；
2、配合商务进行客户需求沟通、方案讲解及咨询支持，对客户提出的业务痛点提供有效的解决方案及量化的决策建议；
3、充分了解客户业务端审批流程及风险表现，结合用户特征，制定或优化贷前、贷中及贷后风控策略；为客户提供用户分层筛选、差异化营销手段等策略建议；
4、根据客户需求，独立带领项目成员进行咨询项目的实施，包括方案设计、项目计划安排、实施过程管理、项目质量把控、报告撰写及交付汇报；
5、其他创新探索工作：深入挖掘用户行为序列数据，设计特征维度框架及指标体系结构，进行特征开发；探索如图算法等创新算法实践及应用，并进行充分工程验证后推广应用在已有业务中。
岗位要求：
1、本科及以上学历，数学、统计学、计算机等相关专业优先；6年以上银行、持牌消金、头部互金、金融科技公司模型及策略相关工作经验；
2、至少能熟练使用Python/Spark/R其中一种分析及建模工具，数据挖掘及建模经验丰富，能够有效利用LR、XGBoost、LightGBM等机器学习算法以及神经网络等深度学习算法构建特征与模型；
3、对零售信贷市场、信贷产品形态有一定的认知度，对全生命周期风控管理流程有深刻的理解，并掌握各环节的风控要点及风控策略制定逻辑；
4、具备独立思考的能力，逻辑严谨，对数据敏感，善于发现. 探索并解决问题，自我驱动力强；
5、具备较强的抗压能力，踏实、勤奋、细心，愿意并乐于接受新尝试、新挑战，探索创新主动性强。
郭先生
3日内活跃
至久科技
·
运营总监
****************************************
招聘中
风控算法工程师 23-35K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
节日福利带薪年假股票期权年终奖定期体检五险一金
====================
职位描述
微信扫码分享
举报
Python
SQL
风控/安全策略经验
计算机相关专业
金融机构策略开发/建模经验
1、本科以上学历，计算机、统计学、人工智能等相关专业优先。
2、熟悉数据科学相关方法，可以将具体业务目标转化成技术目标、可以完成对实现项目增益目标所需要的数据分析挖掘、建模、A/B实验设置的整体方案设计，并可以为最终业务成效负责。
3、然悉多种主流算法：GBDT/ESMM/XGBO0T等，熟悉分布式计算框架，如Hadoop、Spark，至少掌握一种深度学习框架：TensorFlow。
4、有一定自动化建模、自学习等方面的相关经验，可以设计实现通过特征衍生自动挖掘关联表的有效特征信息，获取全面特征，有一定能力解决实际建模时：数据缺失、数据不平衡、小样本数据、特征抽取等相关瓶颈问题。
5、有财富领域/营销领域相关数据分析、建模领域实践项目经验优先
张女士
3日内活跃
同盾科技
·
HR
****************************************
招聘中
高级风控建模师 20-30K
广州 3-5年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金加班补助年终奖员工旅游通讯补贴交通补助节日福利零食下午茶团建聚餐带薪年假
====================
职位描述
微信扫码分享
举报
SQL
SAS
Java
消费金融行业
风控建模
风控模型
岗位职责
1、负责数据分析工作，挖掘数据价值，拟定各种业务主题的数据分析方案和流程；
2、根据业务目标，负责开发应用于贷前审批、贷中监控、贷后催收、反欺诈等业务的数学模型；
3、负责数据质量和模型性能监控体系搭建的相关工作；
深度挖掘用户数据，建立用户画像，设计风险评估模型，控制信贷风险。
任职要求:
1、本科及以上学历，3年以上相关行业工作经验，对风控有实际操作经验，理解风控策略和模型，熟悉策略分析的相关方法;
2、具有数据处理、分析或建模经验，具备消费金融行业从业经验者优先；
3、熟悉掌握SQL/SAS/R/Python/Java等至少一种数据分析工具或语言工具；
4、熟悉基础数据挖掘模型，如回归、决策树、SVM、神经网络等算法
5、文字能力及表达能力强，具备跨部门沟通能力，具备较强分析解决问题能力。
宾女士
刚刚活跃
智租
·
HR
****************************************
招聘中
3D原型建模 15-30K
广州 经验不限 学历不限
感兴趣 立即沟通
完善在线简历
新增附件简历
====================
职位描述
微信扫码分享
举报
动漫
游戏
3ds MAX
MAYA
不接受居家办公
机甲建模
优先条件：
1.美术绘画及设计专业优先、有本岗位3年以上工作经验优先。
2. 热爱机甲模玩，具备良好的团队精神和自我驱动力，高效的执行力；
3. 熟练使用Blender/ZBrush/3DsMax/等3D设计软件， 具备基础的3D全流程工作能力；
4. 具备良好的概念原画理解能力、造型能力以及高质量的机甲审美能力，能制作出符合项目要求的3D原型；
5. 会使用C4D卡通渲染的优先，擅长二次元动漫人型建模者优先 。
6. 面试简历中请附带几张作品。
加分项
有以下行业经验：游戏·玩具/礼品
任绿柳
刚刚活跃
东秀
·
人力资源部

为了篇幅不太长，影响阅读，以上只展示爬取的部分信息。其中和之间框起来的部分是同一个岗位的招聘信息。后续文章会用正则化处理，把以上内容处理成变量的形式，做一些统计分析展示，再分享给大家。
  
  

二、导入库

  
首先导入需要用到的库，具体如下：

import time
import random
from captcha import * 
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import wait
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from webdriver_manager.chrome import ChromeDriverManager
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC

如有未安装库的小伙伴，自行百度安装一下。
  
  

三、登录Boss直聘网

  
接着登录boss直聘网，代码如下：

browser = webdriver.Chrome(ChromeDriverManager().install())
#安装chrom
browser.maximize_window()
#最大化窗口
login_url = 'https://www.zhipin.com/chengshi/c101281000/?sid=sem_pz_bdpc_dasou_title'
#网址
browser.get(login_url)
#登录网址

登录后可看到如下页面：

在这里插入图片描述

如在爬虫过程中弹出来登录信息，可手动输入手机号获取验证码登录，不影响后续爬虫。

  
  

四、完成工作城市切换

  
接着通过xpath路径的方法完成城市切换，具体代码如下：

input_city_name =  '广州'
#输入查询城市
browser.find_element_by_xpath('//*[@id="header"]/div[1]/div[2]/p/span[2]').click()
time.sleep(5)
input_city_type = browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/input')
input_city_type.send_keys(Keys.CONTROL, 'a')
input_city_type.send_keys(input_city_name, Keys.ENTER)
browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/ul').click()
#完成城市切换

  
  

五、确定爬取的岗位

  
接着输入待爬取的岗位名称，具体代码如下：

input_job_name = '风控建模'
#输入查询岗位
input_job_type = browser.find_element_by_xpath('//*[@id="wrap"]/div[3]/div/div[1]/div[1]/form/div[2]/p/input')
input_job_type.send_keys(Keys.CONTROL, 'a')
input_job_type.send_keys(input_job_name, Keys.ENTER)
#time.sleep(5)

  
  

六、获取岗位的招聘子链接

  
接着写循环批量获取岗位的招聘子链接，具体代码如下：

all_herf = []
#获取对应图片下载地址
for i in range(1, 30+1):  
    try:  
        url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/ul/li[' +  str(i) + ']/div[1]/a'
        new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')
        all_herf.append(new_herf)  
    except:
        pass
print(len(all_herf))
browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/div/div/div/a[3]').click()
#点击第二页
time.sleep(5)
for j in range(2, 10+1):
    print('='*20)
    print(j)
    for i in range(1, 30+1): 
        try:  
            url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/ul/li[' +  str(i) + ']/div[1]/a'
            new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')
            browser.implicitly_wait(10)
            print(new_herf)
            all_herf.append(new_herf)  
        except:
            print('error')
            pass
    try:
        browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/div/div/div/a[' + str(j+2) + ']').click()
        browser.implicitly_wait(10)
        #点击第i+2页
        time.sleep(5)
    except:
        pass

得到结果：

====================
2
https://www.zhipin.com/job_detail/862b2684454c16f31HB43d60GVVV.html?lid=2P6z2tRrD3q.search.31&securityId=sb823IMfa2aP6-N166iLkCZO9iDvJGeceV9E_VDzHqm1frLe5C0NABYiRghLnIisHw0XdWEC14Z5aUrr2UzBf8KGhRi0E2xwNIgyvoHmOS35CeoB5paLHn07nC6ou6Ki--n_30A34g~~&sessionId=
https://www.zhipin.com/job_detail/55529a9c8e3795df1Hd-3t65EltU.html?lid=2P6z2tRrD3q.search.32&securityId=eLJZLhIi0r4l0-Z1R95EnPCPd01nKr3xokUDpfX-bGPrF80Of-Ka9fvhIwGmLrSv65whzLSlsZl8Lo-RzV7swvugHkJXapUpkWUgElwqIVU9ghZlnF2g6UYZekQ62uuw9adRi-3S5u8~&sessionId=
https://www.zhipin.com/job_detail/d0777d8e2e566ac71HB_3tu6FFNW.html?lid=2P6z2tRrD3q.search.33&securityId=XPgyt1EsJAsHy-J1wN_m-RxCcvcFfVuRUKkOQF8n8H4RkxoJ8aloCKa38AqQaIlCM5QQkrtahVExlqgZy2mpO67FXaxpuqwRNv6gzk8eojQo4qR8VL_LHaWiua2bpbTQHkkK15d2jir_&sessionId=
https://www.zhipin.com/job_detail/b538f8e1fbfbff523ndz2tm_EFU~.html?lid=2P6z2tRrD3q.search.34&securityId=PBDTgHeQXUcnv-T1LHcMjpnB0NSZKcvqPCvU1msTHykXEeCEzuuUuoFNsxZrg_Jq-l2ldp5FsxlKDNzZUJYv7MeRZwRvUQ11xXWevUWBhnkuzPZx7X_Ex54Hi_Ofyo1h9yIw1XF4XSU~&sessionId=
https://www.zhipin.com/job_detail/f4736b6dc47274f61HB53N61GFBZ.html?lid=2P6z2tRrD3q.search.35&securityId=XCxrnpE8bB4t_-O1mj171JzRerXXF6m_xsIFhfWMl8ut1Q9j-igKVSJa55xtTrTFM8T0tBM7Ge7hFgMtWFFawAPqQ41dmbT5ctX9JCl0sgxWChlhA-2YRBh47KaQCZfvURsS2CBm&sessionId=
https://www.zhipin.com/job_detail/bbde140267b9f79b1Hd80t-8E1NV.html?lid=2P6z2tRrD3q.search.36&securityId=eEoAVYq6MKYOD-G1xdQoLoK9gTzOX6Wv0x1FDnTrWNGT-UuGG5WwZlxymqlTIOtbFgMJzjNhbN1trYHxohJ-f3JulYDyuj-awPC6WiPQzzq_Q3zfVwgmEFL5u3Dsu_s_mjaPLKTtUQ~~&sessionId=
https://www.zhipin.com/job_detail/4b159fb07dec04ee1HVy3NW_F1tT.html?lid=2P6z2tRrD3q.search.37&securityId=crIJTF-HIV8Ad-J1UEA5zlDlxT3roDtam0I7uYTcUuvos6LovkmUznD-C3_faugsjoLsN_w6bH3ldQ68S-OikF_3Yn4lFBwjfGPovpvaeWk2sl-VDTDp_JpfoW0q1Zzu3YxoslZCAWZT&sessionId=
https://www.zhipin.com/job_detail/72f421986f2ec9691Hd809i9EFRU.html?lid=2P6z2tRrD3q.search.38&securityId=QRpPvFJyLZ71O-D1f4FgN6-I4dJtZWS60fSP-MfbnibtsBQXOVec61RXK3RQYVHhygO-tFYcQMsiU4y83IvRL2KnVf6dsutqV8ionhDKMPozusxOohVL6aD5QybVPolD8BFcA-X4OA~~&sessionId=
https://www.zhipin.com/job_detail/e266a2f9ab5f09021HB53Nm9ElRU.html?lid=2P6z2tRrD3q.search.39&securityId=5WwM4koOyd6qm-Q1vre5lPqQ5IZNI6adPY_By2aIUwusOo1907GTzDnez9qEGaVKElK8P22Kdm2QD49b-lm46mxhyejB4QHnRliCwtZqkWJjXzIWVq3llS8H9H2jrc-NY7mMfc_LLN1Z&sessionId=
https://www.zhipin.com/job_detail/c80c68e7d3fd92191Hd-39--EFpQ.html?lid=2P6z2tRrD3q.search.40&securityId=5UNHkj67sNVcX-E1ocD2bsvUQg8qeerVjX0zSD5w8yq5ARAF1dpnxQV_6pEMASn1FrX4nNFeNmWYQeKI3mQE6_jV9o_T9ow0yS7odeknOzHunuwBTtDAWLv8ikAB47h_ftnOCU4MVfM~&sessionId=

由于篇幅有限，只截取了部分链接进行展示。

  
  

七、获取不同子链接的岗位信息

  
接着写循环批量获取不同子链接的岗位信息，具体代码如下：

for herf in all_herf[0:40]:
    print('*'*40)
    browser.get(herf)
    time.sleep(random.randint(2, 5))
    browser.implicitly_wait(10)
    job_yq = browser.find_element_by_xpath('//*[@id="main"]/div[1]/div/div').text
    print(job_yq)
    print('='*20)
    zw_desc = browser.find_element_by_xpath('//*[@id="main"]/div[3]/div/div[2]/div[1]').text
    print(zw_desc)

得到结果：

****************************************
招聘中
风控算法工程师（大模型，内容安全方向） 30-55K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金补充医疗保险定期体检全勤奖年终奖股票期权带薪年假员工旅游免费班车通讯补贴交通补助包吃节日福利住房补贴零食下午茶
====================
职位描述
微信扫码分享
举报
风控/安全策略经验
大模型
内容安全
岗位职责：
1、负责公司大模型内容安全、隐私安全等业务风险领域的治理方案和相关风控模型开发
2、针对不同的业务场景，选择合适的算法，进行训练和优化，推动算法落地并持续迭代
岗位要求：
1、本科以上学历，至少3年业务安全、内容安全等策略经验
2、有过隐私数据识别项目经验优先
3、对数据敏感，具有较强的逻辑思维和数据分析能力，掌握数据分析工具sql和excel等
4、熟悉数据科学、机器学习、社群挖掘的相关知识，有成功实践的算法项目
覃女士
3日内活跃
唯品会
·
招聘主管
****************************************
招聘中
风控算法工程师 25-50K·14薪
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
团建聚餐零食下午茶员工旅游带薪年假股票期权绩效奖金年终奖五险一金
====================
职位描述
微信扫码分享
举报
Python
岗位职责：
1、独立完成建模方案设计、模型开发及部署，运用各类算法开发包括营销响应、流失预警等营销模型及反欺诈规则、申请评分、额度模型、行为评分、催收评分等风险模型，并对现有模型进行优化完善；
2、配合商务进行客户需求沟通、方案讲解及咨询支持，对客户提出的业务痛点提供有效的解决方案及量化的决策建议；
3、充分了解客户业务端审批流程及风险表现，结合用户特征，制定或优化贷前、贷中及贷后风控策略；为客户提供用户分层筛选、差异化营销手段等策略建议；
4、根据客户需求，独立带领项目成员进行咨询项目的实施，包括方案设计、项目计划安排、实施过程管理、项目质量把控、报告撰写及交付汇报；
5、其他创新探索工作：深入挖掘用户行为序列数据，设计特征维度框架及指标体系结构，进行特征开发；探索如图算法等创新算法实践及应用，并进行充分工程验证后推广应用在已有业务中。
岗位要求：
1、本科及以上学历，数学、统计学、计算机等相关专业优先；6年以上银行、持牌消金、头部互金、金融科技公司模型及策略相关工作经验；
2、至少能熟练使用Python/Spark/R其中一种分析及建模工具，数据挖掘及建模经验丰富，能够有效利用LR、XGBoost、LightGBM等机器学习算法以及神经网络等深度学习算法构建特征与模型；
3、对零售信贷市场、信贷产品形态有一定的认知度，对全生命周期风控管理流程有深刻的理解，并掌握各环节的风控要点及风控策略制定逻辑；
4、具备独立思考的能力，逻辑严谨，对数据敏感，善于发现. 探索并解决问题，自我驱动力强；
5、具备较强的抗压能力，踏实、勤奋、细心，愿意并乐于接受新尝试、新挑战，探索创新主动性强。
郭先生
3日内活跃
至久科技
·
运营总监
****************************************
招聘中
风控算法工程师 23-35K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
节日福利带薪年假股票期权年终奖定期体检五险一金
====================
职位描述
微信扫码分享
举报
Python
SQL
风控/安全策略经验
计算机相关专业
金融机构策略开发/建模经验
1、本科以上学历，计算机、统计学、人工智能等相关专业优先。
2、熟悉数据科学相关方法，可以将具体业务目标转化成技术目标、可以完成对实现项目增益目标所需要的数据分析挖掘、建模、A/B实验设置的整体方案设计，并可以为最终业务成效负责。
3、然悉多种主流算法：GBDT/ESMM/XGBO0T等，熟悉分布式计算框架，如Hadoop、Spark，至少掌握一种深度学习框架：TensorFlow。
4、有一定自动化建模、自学习等方面的相关经验，可以设计实现通过特征衍生自动挖掘关联表的有效特征信息，获取全面特征，有一定能力解决实际建模时：数据缺失、数据不平衡、小样本数据、特征抽取等相关瓶颈问题。
5、有财富领域/营销领域相关数据分析、建模领域实践项目经验优先
张女士
3日内活跃
同盾科技
·
HR
****************************************
招聘中
高级风控建模师 20-30K
广州 3-5年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金加班补助年终奖员工旅游通讯补贴交通补助节日福利零食下午茶团建聚餐带薪年假
====================
职位描述
微信扫码分享
举报
SQL
SAS
Java
消费金融行业
风控建模
风控模型
岗位职责
1、负责数据分析工作，挖掘数据价值，拟定各种业务主题的数据分析方案和流程；
2、根据业务目标，负责开发应用于贷前审批、贷中监控、贷后催收、反欺诈等业务的数学模型；
3、负责数据质量和模型性能监控体系搭建的相关工作；
深度挖掘用户数据，建立用户画像，设计风险评估模型，控制信贷风险。
任职要求:
1、本科及以上学历，3年以上相关行业工作经验，对风控有实际操作经验，理解风控策略和模型，熟悉策略分析的相关方法;
2、具有数据处理、分析或建模经验，具备消费金融行业从业经验者优先；
3、熟悉掌握SQL/SAS/R/Python/Java等至少一种数据分析工具或语言工具；
4、熟悉基础数据挖掘模型，如回归、决策树、SVM、神经网络等算法
5、文字能力及表达能力强，具备跨部门沟通能力，具备较强分析解决问题能力。
宾女士
刚刚活跃
智租
·
HR

  
  

八、封装成函数的全量代码

  
最后，把全量代码封装到函数中，如需调用，更改城市和岗位名称即可，具体代码如下：

def grb_job(input_city_name, input_job_name):
    input_city_name =  input_city_name
    #输入查询城市
    input_job_name = input_job_name 
    #输入查询岗位
    browser = webdriver.Chrome(ChromeDriverManager().install())
    #安装chrom
    browser.maximize_window()
    #最大化窗口
    login_url = 'https://www.zhipin.com/chengshi/c101281000/?sid=sem_pz_bdpc_dasou_title'
    #网址
    browser.get(login_url)
    #登录网址
    browser.find_element_by_xpath('//*[@id="header"]/div[1]/div[2]/p/span[2]').click()
    time.sleep(5)
    input_city_type = browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/input')
    input_city_type.send_keys(Keys.CONTROL, 'a')
    input_city_type.send_keys(input_city_name, Keys.ENTER)
    browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/ul').click()
    #完成城市切换
    input_job_type = browser.find_element_by_xpath('//*[@id="wrap"]/div[3]/div/div[1]/div[1]/form/div[2]/p/input')
    input_job_type.send_keys(Keys.CONTROL, 'a')
    input_job_type.send_keys(input_job_name, Keys.ENTER)
    #time.sleep(5)
    all_herf = []
    #获取对应图片下载地址
    for i in range(1, 30+1):  
        try:  
            url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/ul/li[' +  str(i) + ']/div[1]/a'
            new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')
            all_herf.append(new_herf)  
        except:
            pass
    try:
        browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/div/div/div/a[3]').click()
        browser.implicitly_wait(10)
    except:
        pass
    #点击第二页
    time.sleep(5)
    for j in range(2, 10+1):
        print('='*20)
        print(j)
        for i in range(1, 30+1): 
            #print(i)
            #获取对应图片下载地址
            try:  
                url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/ul/li[' +  str(i) + ']/div[1]/a'
                new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')
                browser.implicitly_wait(10)
                print(new_herf)
                all_herf.append(new_herf)  
            except:
                print('error')
                pass
        try:
            browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/div/div/div/a[' + str(j+2) + ']').click()
            browser.implicitly_wait(10)
            #点击第i+2页
            time.sleep(5)
        except:
            pass
    for herf in all_herf[0:40]:
        try:
            print('*'*40)
            browser.get(herf)
            time.sleep(random.randint(2, 5))
            browser.implicitly_wait(10)
            job_yq = browser.find_element_by_xpath('//*[@id="main"]/div[1]/div/div').text
            print(job_yq)
            print('='*20)
            zw_desc = browser.find_element_by_xpath('//*[@id="main"]/div[3]/div/div[2]/div[1]').text
            print(zw_desc)
        except:
            pass
    return all_herf
input_city_name = '深圳'
input_job_name = '风控建模'
all_herf = grb_job(input_city_name, input_job_name)
#调用语句
在上述代码中，工作城市为深圳，岗位为风控建模的招聘信息爬虫结果如下：

https://www.zhipin.com/job_detail/1e846c40cc0ba4ed1nZ-3Nu0FFRZ.html?lid=2Ukx1ZhMcuq.search.237&securityId=KgeS5g7NN6Pe7-H1MKe4pg4DSlN-0ZwVzD9BmuOWh7cp53syjvSK7lbm_EDyXPR9RxBusjYZq5GdhsWdVPGFhaMs4wiUKJstJmG1UwWbqbzNbSkQ9E5i&sessionId=
https://www.zhipin.com/job_detail/cff0fd0f440096001XF63dy8FVZY.html?lid=2Ukx1ZhMcuq.search.238&securityId=4RIxII2Q829GU-u1FsNbq9lHNhyEOkwQEdx64PNE7lKiibb3eUEnvNiYi-Qdijh4iCm4wbFpJL3pd-PiILek09BnirEEMvJE6hUe2_NedykwPeipg_w~&sessionId=
https://www.zhipin.com/job_detail/d2acc94d6ae4cbdd1X180tu8FFFT.html?lid=2Ukx1ZhMcuq.search.239&securityId=JnZzKtn4YLy0N-G1noAdHTiJq-HEYzDcuVOFx4oows8V3zhp7eutknl35R_tOCWSrmk56kHAY6EKSJHfqietIiwidsUYWlAuaynvUeU3v25Fo9NY3ys~&sessionId=
https://www.zhipin.com/job_detail/550a2f188379fc101HV80tW7F1NS.html?lid=2Ukx1ZhMcuq.search.240&securityId=C9-zC3OUFF28--718ebaILvwKUDehFeO9FLCvN7lQYAHkOFiVjGbsqh-ejkVFv1MWRUjhAREVGec8eAywuIPDK1jD1j9a2k1sDXhKS5T1mziajPNmg~~&sessionId=
****************************************
招聘中
技术经理（风控） 40-60K·15薪
深圳 5-10年 本科
感兴趣 立即沟通
填写在线简历
上传附件简历
...
五险一金补充医疗保险定期体检年终奖带薪年假员工旅游节日福利零食下午茶
====================
职位描述
微信扫码分享
举报
Golang
Python
C++
1、负责对接业务需求，为业务提供风控策略并且落地，支撑公司业务健康发展；
2、深入理解业务场景，协助风控业务负责人，建立风险评估、监控、预警和防范机制；
3、负责制定针对性的风险管理策略，灵活运用大数据建模等方法，发现业务的趋势和特征，调整风险策略或模型；
4、负责建立风险监测指标体系，并进行关键指标日常监测，适时进行重大风险预警，提出防范和化解措施；
任职资格：
1、6年以上服务器开发经验，2年以上团队管理经验，本科或以上学历；
2、2年以上数据分析处理相关经验；
3、具备优秀的系统解构、抽象能力，熟练搭建大型复杂系统。
4、诚信、正直，具备优秀的分析与解决问题能力，较强的沟通与协调能力；强烈的责任心和团队合作意识。
林先生
刚刚活跃
迅雷网络
·
招聘负责人
****************************************
招聘中
高级风控算法工程师 25-40K·15薪
深圳 3-5年 本科
感兴趣 立即沟通
填写在线简历
上传附件简历
...
五险一金补充医疗保险意外险定期体检年终奖加班补助夜班补助节假日加班费法定节假日三薪带薪年假员工旅游餐补团建聚餐通讯补贴节日福利生日福利交通补助
====================
职位描述
微信扫码分享
举报
Python
深度学习算法
DNN
GBDT
数据挖掘
数据分析
岗位职责：
1.负责对接大数据工程师团队，特征开发，数据清洗；
2.负责保险风控模型的开发，测试，迭代；
3. 负责算法测的技术探索和实施
任职要求：
1.3年以上数据挖掘，机器学习建模实际项目经验。
2.有扎实的编程能力，大数据处理能力，精通sql, java, python等语言。
3.熟悉常见的数据挖掘方法，机器学习算法（DNN/GBDT/XGB/RF),能熟练进行算法的推导，实现和实际应用。
4.有较强的逻辑思维能力，具备很强的数据分析和解决问题能力，有较好的工程能力。
5.有较强的学习能力和好的工作态度，有良好的沟通能力，团队协作能力：
6. 加分项：有金融保险风控经验
杨女士
半年前活跃
丰图科技
·
HR

至此，应用Python批量爬取招聘网站中的岗位信息已讲解完毕，如想了解更多Python爬虫，可以翻看公众号中“学习Python”模块相关文章。

【部分群限时免费进】分群讨论学习Python、玩转Python、风控建模【29.9元进】、人工智能、数据分析相关问题，还提供练习数据资料、招聘内推信息、优秀文章、学习视频、公众号文章答疑，也可交流工作中遇到的难题。如需添加微信号19967879837，加时备注想进的群，比如学习python。

  
你可能感兴趣:
用Python绘制皮卡丘
批量获取绿色债券招募说明书
Python人脸识别—我的眼里只有你
Python画好看的星空图（唯美的背景）
【python爬虫】批量识别pdf中的英文，自动翻译成中文上
Python浪漫表白源码合集（爱心、玫瑰花、照片墙、星空下的告白）
一文囊括风控模型搭建(原理+Python实现)，持续更新。。。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1558347.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

前端学习＜二＞CSS基础——13-CSS3属性：Flex布局图文详解

前端学习＜二＞CSS基础——13-CSS3属性：Flex布局图文详解

前言 CSS3中的 flex 属性，在布局方面做了非常大的改进，使得我们对多个元素之间的布局排列变得十分灵活，适应性非常强。其强大的伸缩性和自适应性，在网页开中可以发挥极大的作用。 flex 初体验 我们先来看看下面这个最简单的布局…
阅读更多...
【蓝桥杯嵌入式】六、真题演练（一）-1演练篇：第 届真题

【蓝桥杯嵌入式】六、真题演练（一）-1演练篇：第 届真题

温馨提示： 真题演练分为模拟篇和研究篇。本专栏的主要作用是记录我的备赛过程，我打算先自己做一遍，把遇到的问题和不同之处记录到演练篇，然后再返回来仔细研究一下，找到最佳的解题方法记录到研究篇。 解题记录&#x…
阅读更多...
了解 LoadRunner 性能测试软件及其基础使用

了解 LoadRunner 性能测试软件及其基础使用

目录 一、了解LoadRunner 1、什么是Loadrunner？ 2、Loadrunner包括什么组件？ （1）前台组件 （2）后台组件 二、LoadRunner三大组件 1、VuGen（虚拟用户脚本生成器） （…
阅读更多...
2024全开源小狐狸ai付费创作系统V2.8.0

2024全开源小狐狸ai付费创作系统V2.8.0

源码介绍 小狐狸GPT付费体验系统的开发基于国外很火的ChatGPT，这是一种基于人工智能技术的问答系统，可以实现智能回答用户提出的问题。相比传统的问答系统，ChatGPT可以更加准确地理解用户的意图，提供更加精准的答案。同时&#x…
阅读更多...
算法---动态规划练习-10（删除并获得点数）

算法---动态规划练习-10（删除并获得点数）

题目 1. 题目解析2. 讲解算法原理3. 编写代码 1. 题目解析 题目地址：点这里 2. 讲解算法原理 rob_s函数：这个函数实现了经典的"打家劫舍"问题的算法。使用动态规划的思想，通过填表的方式计算在给定范围内能够获取的最大点数。 f和…
阅读更多...
Windows入侵排查

Windows入侵排查

目录 0x00 前言 0x01 入侵排查思路 1.1 检查系统账号安全 1.2 检查异常端口、进程 1.3 检查启动项、计划任务、服务 0x00 前言 当企业发生黑客入侵、系统崩溃或其它影响业务正常运行的安全事件时，急需第一时间进行处理，使企业的网络信息系统在最短时…
阅读更多...
PAT（多路复用）配置

PAT（多路复用）配置

PAT（多路复用） 核心：多个内网IP对应一个公共IP 如下图： 配置命令： 第一步（定义访问控制列表） access-list 编号 permit 网络地址 反掩码 第二步（定义合法的外部IP） ip …
阅读更多...
杰发科技——Jlink插件使用

杰发科技——Jlink插件使用

0. 简介 杰发自带的烧录工具是ATCLink，基于DapLink适配。个人不太喜欢ATCLink，推荐使用Jlink，毕竟自己买，不用问原厂要，而且带Jlink，至少5Mhz以上。 V9烧录器使用7.50以下版本驱动。 V11烧录器可以使用7…
阅读更多...
JavaSE：继承和多态（下篇）

JavaSE：继承和多态（下篇）

目录 一、前言 二、多态 （一）多态的概念 （二）多态实现条件 （三）多态的优缺点 三、重写 （一）重写的概念 （二）重写的规则 （三）重…
阅读更多...
AtCoder+ABC129_Typical Stairs

AtCoder+ABC129_Typical Stairs

题目描述 有一个有 N 级台阶的楼梯。高桥现在站在楼梯的脚下，也就是第0个台阶上。他可以一次爬上一个或两个台阶。 但是，编号为a[1] ~ a[m]台阶的踏板都坏了，所以踏上这些台阶很危险。 在不踏上坏掉的台阶的情况下，有多少中方案…
阅读更多...
《书生·浦语大模型全链路开源开放体系》学习笔记

《书生·浦语大模型全链路开源开放体系》学习笔记

书生浦语大模型全链路开源开放体系-学习笔记 大模型成为发展通用人工智能的重要途径专用模型通用大模型 书生大模型开源历程InternLM2回归语言建模的本质主要亮点性能全方位提升强大的内生计算能力 从模型到应用典型流程全链条开源开放体系数据数据集获取预训练微调XTuner 评测…
阅读更多...
unipush 2.0流程及踩坑记录（后端调用接口，前端推送）

unipush 2.0流程及踩坑记录（后端调用接口，前端推送）

unipush 在线离线示例 在DCLOUD开发者中心里面创建unipush的应用 如果遇到选择Android 包名后没有自动生成Android 应用签名的话，就是下图这样的。 这个情况多半就是通过直接创建云端证书造成的，没有编辑应用信息 没有云端证书的看这里 在我的应用&…
阅读更多...
62岁「御用变态佬」近况曝光。

62岁「御用变态佬」近况曝光。

现年62岁的吴毅将于90年代活跃于香港影坛，因经常扮演黑社会大佬、变态色魔等角色，而被封为影坛御用恶人，其反派形象亦深入民心。北上发展多年的吴毅将，近年不时在内地登台，不过日前却有一段他在台上发恶闹观众的片段被…
阅读更多...
作业 二维数组-定位问题

作业 二维数组-定位问题

图形相似度 描述 给出两幅相同大小的黑白图像（用0-1矩阵）表示，求它们的相似度。 说明：若两幅图像在相同位置上的像素点颜色相同，则称它们在该位置具有相同的像素点。 两幅图像的相似度定义为相同像素点数占总像素点数…
阅读更多...
Linux下开发调试C++代码的三种方法

Linux下开发调试C++代码的三种方法

目录 准备程序配置vscode的json文件调试使用GDB命令行调试使用core文件调试 一般来说，Linux下做C开发都是用vscode远程连接的方式，这时候调试有三种方式：配置vscode的json文件调试、GDB命令行调试、通过core文件调试。 关于这三种调试方法的…
阅读更多...
ssm停车场管理系统

ssm停车场管理系统

点赞收藏关注 → 私信领取本源代码、数据库 摘 要 随着科学技术的飞速发展，各行各业都在努力与现代先进技术接轨，通过科技手段提高自身的优势；对于停车场管理系统当然也不能排除在外，随着网络技术的不断成熟，带动了停…
阅读更多...
【PHP编程使用UI框架】——GET和POST的请求方法

【PHP编程使用UI框架】——GET和POST的请求方法

👨‍💻个人主页：开发者-曼亿点 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 曼亿点 原创 👨‍💻 收录于专栏&#xff1a…
阅读更多...
VIVADO IBERT学习

VIVADO IBERT学习

V7的IBERT可以用来测试误码，但是使用中有诸多限制，例化工程测试下效果。 1.IP中例化一个IBERT 2.QUAD代表包含几个4lane的PLL，因为QPLL下面挂4个lane，一个bank包含4条，所以就是bank数量。如果协议层例化为2个&#x…
阅读更多...
SQLite版本3中的文件锁定和并发(七）

SQLite版本3中的文件锁定和并发(七）

返回：SQLite—系列文章目录 上一篇：自己编译SQLite或将SQLite移植到新的操作系统（六） 下一篇：SQLite—系列文章目录 正文： 1.0 SQLite 版本 3 中的文件锁定和并发 SQLite 版本 3.0.0 引入了新的锁…
阅读更多...
MySQL（常用函数、多表查询）

MySQL（常用函数、多表查询）

文章目录 1.数据库函数1.count函数案例答案count（*）与count（列）的区别 2.sum函数案例答案 3.avg函数案例答案 4.max/min函数案例答案 5.group by 分组统计案例答案 6.字符串相关函数演示练习 7.数学相关函数演示 8.日期相关函数演…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023