很多机器学习数据集是从网页上抓取过来的。
网页数据抓取与网页爬虫的区别：数据抓取：特定的数据， 网页爬虫：将整个网页获取
数据科学家主要进行网页数据抓取，对网页上的特定数据感兴趣。

网页数据获取工具

• curl 通常不起作用
• 通常使用headless 浏览器，没有头，没有界面的浏览器。
  
  如果要大量爬取，需要使用IP代理池。

案例-房价预测

换成不同的page, 或者不同的城市，将这些要获取的对象放入代码中。

原始网页

BeautifulSoup: 主要用于解析HTML

将需要的信息抽取返回保存

爬虫关键是内存，可能会同时爬多个网页，内存消耗大。
如果ip被禁，重启会重新分配ip

爬取图片

图片抓取后，将图片存在云端比较耗钱。

法律性

爬虫本身是不违法的，最好不要去爬一些需要登陆login 的信息，这些一般是隐私数据。
不要去爬一些有版权的信息，比如有版权的视频、文档等。 爬本身没有问题，但是保存下来有问题。
爬虫结果不要用于盈利。

总结

来源

https://www.bilibili.com/video/BV1JM4y137kK/?spm_id_from=333.999.0.0&vd_source=3fd64243313f29b58861eb492f248b34添加链接描述