用Rust和cURL库做一个有趣的爬虫

news2024/11/24 11:44:08

以下是一个使用 Rust 和 cURL 库的下载器程序，用于从wechat下载音频。此程序使用了 [/get_proxy] 提供的代码。

在这里插入图片描述

extern crate curl;

use std::io::{self, Read};
use std::process::exit;
use curl::easy::Easy;

fn main() {
    let url = "https://www.wechat.com/audio/"; // 目标 URL
    let proxy_url = "https://www.duoip.cn/get_proxy"; // 爬虫IP服务器 URL

    // 创建一个 cURL 实例
    let mut easy = Easy::new();

    // 设置爬虫IP服务器
    easy.set_proxy(proxy_url).unwrap();

    // 设置目标 URL
    easy.set_url(url).unwrap();

    // 设置头部信息
    easy.set_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36").unwrap();

    // 设置保存到文件的路径
    let out_path = "./wechat_audio.mp3";
    let mut out_file = io::Cursor::new(Vec::new());

    // 设置写入文件的回调函数
    easy.set_write_function(|data| {
        out_file.write(data).unwrap();
        Ok(data.len())
    }).unwrap();

    // 执行下载
    let res = easy.perform();

    // 检查下载结果
    if res.is_err() {
        println!("下载失败: {}", res.unwrap_err());
        exit(1);
    }

    // 将下载的数据保存到文件中
    let mut file = io::File::create(out_path).unwrap();
    file.write_all(&out_file.into_inner()).unwrap();

    println!("下载完成: {}", out_path);
}