AI编程系列一1小时完成链家房价爬虫程序

news2024/11/14 4:12:09

背景 AI编程实在太火，写了很多年的Java，现在Python 和Go 简单好用，今天结合智谱清言快速完成一个程序爬虫程序，没有任何Python 编程经验，只需要会提问，熟悉简单HTML结构即可。未来一定是有业务能力者的福音。

步骤一：首先展示效果：

使用“”CodeGeeX编程助手

提问一：初始化代码

提问内容“使用Python 生成抓取链家杭州余杭的最新房价”

此时拷贝出来就可以运行的：

import requests
from bs4 import BeautifulSoup

def get_house_price():
    url = 'https://hz.lianjia.com/ershoufang/yuhang/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    house_list = soup.find_all('div', class_='info clear')
    for house in house_list:
        title = house.find('div', class_='title').a.text.strip()
        price = house.find('div', class_='priceInfo').span.text.strip()
        print('标题：', title)
        print('价格：', price)
        print('---')

if __name__ == '__main__':
    get_house_price()

运行结果：

提问二：HTML内容解析

提问内容：使用python解析获取里面的文本内容”<div class="positionInfo"><span class="positionIcon"></span><a href="https://hz.lianjia.com/xiaoqu/1811100699594/" target="_blank" data-log_index="10" data-el="region">新湖果岭 </a> "

提问三： URL规律解析

提问内容：使用python 找出URL的规律并输出从第1页到100页的相关代码” https://hz.lianjia.com/ershoufang/yuhang/ https://hz.lianjia.com/ershoufang/yuhang/pg2/ https://hz.lianjia.com/ershoufang/yuhang/pg3/ https://hz.lianjia.com/ershoufang/yuhang/pg4/"

最终代码

import requests
import time
from bs4 import BeautifulSoup

def get_house_prices(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    house_list = soup.find_all('div', class_='info clear')
    house_data = []
    for house in house_list:
        price = house.find('div', class_='priceInfo').find('div', class_='totalPrice').text.strip()
        # 清理价格数据，去除非数字字符
        price = int(''.join(filter(str.isdigit, price)))
        house_name = house.find('div', class_='title').find('a', href=True).text.strip()
        estate_name = house.find('div', class_='positionInfo').find('a', href=True).text.strip()
        house_data.append((house_name,estate_name, price))
    # 按价格排序
    house_data.sort(key=lambda x: x[1])
    return house_data

if __name__ == '__main__':
    for i in range(2, 101):
        url = "https://hz.lianjia.com/ershoufang/yuhang/pg{}/".format(i)
        house_data = get_house_prices(url)
        for house_name,estate_name,price in house_data:
            print("【标题】" + house_name,"【小区】"+ str(estate_name),"【价格】"+ str(price))
    time.sleep(5)

总之，AI在编程领域的应用具有深远意义，作为技术总监，我们要充分利用这一技术，推动企业乃至整个行业的发展。同时，关注人才培养、安全保障、伦理道德等方面，确保技术应用的可持续发展。

快速转变思维，从业务着手完成自己技能的升级。
技术普惠：AI技术的进步使得编程不再只是专业程序员的专属技能。即使是编程基础薄弱的人，也能通过自然语言与AI助手互动，快速完成代码编写。这极大地降低了技术门槛，促进了技术的普及和普惠。
效率提升：AI辅助编程可以让开发者将更多精力投入到业务逻辑和产品设计上，而不用担心代码实现的细节。这种效率的提升有助于加快项目进度，缩短产品上市时间。
人才培养：借助AI编程助手，企业可以快速培养具备基本编程能力的人才，弥补人才缺口。这对于我国软件产业的发展具有重要意义。
代码质量：AI通过对大量代码的学习，能够为开发者提供更加规范、高效的代码优化建议。这将有助于提高代码质量，降低系统维护成本。
技术融合：在AI编程助手的基础上，我们可以进一步探索与其他技术的融合，如云计算、大数据、物联网等，为企业提供更加全面的技术支持。
安全保障：随着AI编程的普及，代码安全愈发重要。技术总监需关注AI编程过程中的安全问题，确保生成的代码符合安全规范。
持续学习：AI技术不断更新迭代，作为技术总监，我们要鼓励团队成员持续学习，紧跟技术发展趋势，提升自身竞争力。
伦理道德：在利用AI技术优化代码的过程中，我们要关注伦理道德问题，确保AI编程助手遵循我国法律法规，尊重用户隐私。
产业升级：借助AI编程助手，企业可以加快技术创新，推动产业升级，为我国经济发展贡献力量。