如何在C程序中使用libcurl库下载网页内容

news2025/3/14 3:21:53

亿牛云.png

概述

爬虫是一种自动获取网页内容的程序，它可以用于数据采集、信息分析、网站监测等多种场景。在C语言中，有一个非常强大和灵活的库可以用于实现爬虫功能，那就是libcurl。libcurl是一个支持多种协议和平台的网络传输库，它提供了一系列的API函数，可以让开发者方便地发送和接收HTTP请求。

本文将介绍如何在C程序中使用libcurl库下载网页内容，并保存到本地文件中。同时，为了避免被目标网站封禁IP，我们还将使用代理IP技术，通过不同的IP地址访问网站。我们将参考爬虫代理的域名、端口、用户名、密码，来获取可用的代理IP。最后，我们将使用自定义写入回调函数，来处理网页内容的写入操作。

正文

1. 安装和配置libcurl库

要使用libcurl库，首先需要下载并安装它。我们可以从官网下载最新版本的源码包，也可以使用包管理器来安装预编译的二进制包。以Windows平台为例，我们可以使用Visual Studio命令行工具来编译libcurl库。具体步骤如下：

  • 下载并解压libcurl源码包
  • 打开Visual Studio命令行工具，并切换到源码包的winbuild目录下
  • 执行编译命令，例如：nmake /f Makefile.vc mode=dll VC=15 MACHINE=x64 DEBUG=no⁵
  • 编译成功后，在builds目录下会生成相应的头文件、库文件和可执行文件

接下来，我们需要配置libcurl库的路径和链接选项。以Visual Studio为例，我们可以在项目属性中设置以下内容：

  • 在C/C++ -> 常规 -> 附加包含目录中添加libcurl头文件所在的路径
  • 在链接器 -> 常规 -> 附加库目录中添加libcurl库文件所在的路径
  • 在链接器 -> 输入 -> 附加依赖项中添加libcurl.lib

2. 初始化和设置libcurl句柄

要使用libcurl库发送HTTP请求，我们需要创建一个libcurl句柄，并对其进行一些必要的设置。具体步骤如下：

  • 调用curl_global_init函数初始化libcurl环境
  • 调用curl_easy_init函数创建一个libcurl句柄
  • 调用curl_easy_setopt函数设置一些选项，例如：
    • CURLOPT_URL：设置要访问的网址
    • CURLOPT_PROXY：设置代理服务器的地址和端口
    • CURLOPT_PROXYTYPE：设置代理服务器的类型，例如HTTP或SOCKS
    • CURLOPT_PROXYUSERPWD：设置代理服务器的用户名和密码
    • CURLOPT_WRITEFUNCTION：设置写入回调函数的指针
    • CURLOPT_WRITEDATA：设置写入回调函数的参数

3. 发送HTTP请求并处理响应

设置好libcurl句柄后，我们就可以发送HTTP请求了。具体步骤如下：

  • 调用curl_easy_perform函数执行HTTP请求
  • 调用curl_easy_getinfo函数获取一些有用的信息，例如：
    • CURLINFO_RESPONSE_CODE：获取HTTP响应的状态码
    • CURLINFO_PRIMARY_IP：获取目标网站的IP地址
    • CURLINFO_CONTENT_TYPE：获取响应的内容类型
  • 调用写入回调函数处理响应的内容，例如：
    • 打开一个本地文件
    • 将响应的内容写入文件
    • 关闭文件

4. 释放资源和清理环境

完成HTTP请求后，我们需要释放一些资源，并清理libcurl环境。具体步骤如下：

  • 调用curl_easy_cleanup函数释放libcurl句柄
  • 调用curl_global_cleanup函数清理libcurl环境

5.C代码示例

首先是回调函数的实现如下：

// 定义写入回调函数的实现
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {
  // 计算接收到的数据的字节数
  size_t bytes = size * nmemb;

  // 将数据写入文件中
  fwrite(ptr, size, nmemb, (FILE *)stream);

  // 返回写入的字节数
  return bytes;
}

这个函数的参数和返回值都是由libcurl库定义的，我们只需要按照规范来实现即可。函数的作用是将接收到的数据（ptr）写入到指定的文件流（stream）中，并返回写入的字节数（bytes）。这样，libcurl库就可以知道是否有数据丢失或错误发生。
下面是完整的C代码，你可以编译运行，看看效果如何。

#include <stdio.h>
#include "curl/curl.h"

size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream);

// 亿牛云 爬虫代理 设置代理服务器域名、端口、用户名、密码
#define PROXY_HOST "http://www.16yun.cn"
#define PROXY_PORT "8080"
#define PROXY_USER "16YUN"
#define PROXY_PASS "16IP"
#define URL "http://www.example.com"
#define FILENAME "example.html"

int main(void) {
  // 初始化 curl 库
  CURLcode code = curl_global_init(CURL_GLOBAL_ALL);
  if (code != CURLE_OK) {
    fprintf(stderr, "初始化失败: %s\n", curl_easy_strerror(code));
    return 1;
  }

  // 获取 curl 库的版本信息
  curl_version_info_data *data = curl_version_info(CURLVERSION_NOW);
  printf("curl 库的版本: %s\n", data->version);

  // 创建一个 easy 句柄
  CURL *curl = curl_easy_init();
  if (curl == NULL) {
    fprintf(stderr, "创建句柄失败\n");
    curl_global_cleanup();
    return 2;
  }

  // 设置 URL
  code = curl_easy_setopt(curl, CURLOPT_URL, URL);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置 URL 失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 3;
  }

  // 设置代理服务器
  code = curl_easy_setopt(curl, CURLOPT_PROXY, PROXY_HOST ":" PROXY_PORT);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理服务器失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 4;
  }

  // 设置代理类型
  code = curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理类型失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 5;
  }

  // 设置代理认证
  code = curl_easy_setopt(curl, CURLOPT_PROXYUSERPWD, PROXY_USER ":" PROXY_PASS);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理认证失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 6;
  }

  // 设置用户代理
  char *user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36";
  code = curl_easy_setopt(curl, CURLOPT_USERAGENT, user_agent);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置用户代理失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 7;
  }

  // 设置 Cookie
  char *cookies = "your_cookie_data_here";
  code = curl_easy_setopt(curl, CURLOPT_COOKIE, cookies);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置 Cookie 失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 8;
  }

  // 设置写入数据的回调函数
  code = curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置回调函数失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 9;
  }

  // 打开本地文件
  FILE *file = fopen(FILENAME, "wb");
  if (file == NULL) {
    fprintf(stderr, "打开文件失败: %s\n", FILENAME);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 10;
  }

  // 设置写入数据的文件指针
  code = curl_easy_setopt(curl, CURLOPT_WRITEDATA, file);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置文件指针失败: %s\n", curl_easy_strerror(code));
    fclose(file);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 11;
  }

  // 执行传输
  code = curl_easy_perform(curl);
  if (code != CURLE_OK) {
    fprintf(stderr, "执行传输失败: %s\n", curl_easy_strerror(code));
    fclose(file);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 12;
  }

  // 获取响应状态码
  long status;
  code = curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &status);
  if (code == CURLE_OK) {
    printf("响应状态码: %ld\n", status);
  } else {
    fprintf(stderr, "获取状态码失败: %s\n", curl_easy_strerror(code));
  }

  // 获取目标 IP 地址
  char *ip;
  code = curl_easy_getinfo(curl, CURLINFO_PRIMARY_IP, &ip);
  if (code == CURLE_OK) {
    printf("目标 IP 地址: %s\n", ip);
    free(ip); // 需要释放字符串指针
  } else {
    fprintf(stderr, "获取 IP 地址失败: %s\n", curl_easy_strerror(code));
  }

  // 获取内容类型
  char *type;
  code = curl_easy_getinfo(curl, CURLINFO_CONTENT_TYPE, &type);
  if (code == CURLE_OK) {
    printf("内容类型: %s\n", type);
    free(type); // 需要释放字符串指针
  } else {
    fprintf(stderr, "获取内容类型失败: %s\n", curl_easy_strerror(code));
  }

  // 关闭文件
  fclose(file);

  // 清理 easy 句柄
  curl_easy_cleanup(curl);

  // 清理全局资源
  curl_global_cleanup();

  return 0;
}

// 写入数据的回调函数
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {
  
   size_t written = fwrite(ptr, size, nmemb, (FILE *)stream);

   if (written != size * nmemb) {
     fprintf(stderr, "写入文件出错\n");
     return -1; // 返回一个负值，停止传输
   }

   return written;
}

结语

本文介绍了如何在C程序中使用libcurl库下载网页内容，并保存到本地文件中。我们还使用了代理IP技术，来绕过目标网站的反爬措施。我们使用了自定义写入回调函数，来处理网页内容的写入操作。通过这个示例，我们可以学习到libcurl库的基本用法和一些高级特性，以及如何在C语言中实现爬虫功能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1103893.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

在.Net 5或更高版本的.Net中使用appsettings.json配置文件

在.Net 5或更高版本的.Net中使用appsettings.json配置文件

在.Net 5或更高版本的.Net中使用appsettings.json配置文件 对于 .NET Framework 应用程序&#xff0c;我们始终使用app.config来存储应用程序的配置值。 在.NET Core或者.Net 5包括其他更高版本的.Net框架中&#xff0c;我们需要使用appsettings.json文件&#xff0c;而不是A…
阅读更多...
餐饮业的现状能拉动消费市场吗？

餐饮业的现状能拉动消费市场吗？

有关“餐饮店倒闭成趋势”话题的讨论在互联网上愈加热烈起来&#xff0c;足以说明“全民消费&#xff0c;拉动经济”的希望尚未变成现实。从笔者寄居养老的风水宝地——国家AAAA级旅游景区崇州市街子古镇的餐饮店&#xff0c;在今年中秋、国庆双节假日期间火了几天后生意又复归…
阅读更多...
计算机毕业设计 基于Spring Boot智能停车计费系统的设计与实现 Javaweb项目 Java实战项目 前后端分离 文档报告 代码讲解 安装调试

计算机毕业设计 基于Spring Boot智能停车计费系统的设计与实现 Javaweb项目 Java实战项目 前后端分离 文档报告 代码讲解 安装调试

&#x1f34a;作者&#xff1a;计算机编程-吉哥 &#x1f34a;简介&#xff1a;专业从事JavaWeb程序开发&#xff0c;微信小程序开发&#xff0c;定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事&#xff0c;生活就是快乐的。 &#x1f34a;心愿&#xff1a;点…
阅读更多...
C++之基于Winsock2封装UDPServer与UDPClient

C++之基于Winsock2封装UDPServer与UDPClient

文章目录 Socket过程UDPServer.hUDPServer.cppUDPClient.hUDPClient.cppmain.cppCMakeLists.txt测试截图 Socket过程 UDPServer UDPClient UDPServer.h #ifndef UDPSERVER_H_INCLUDED #define UDPSERVER_H_INCLUDED#include <iostream> #include <string> #inclu…
阅读更多...
漫谈下一代防火墙与Web应用防火墙的区别

漫谈下一代防火墙与Web应用防火墙的区别

如今&#xff0c;Web应用程序变得越来越复杂&#xff0c;更是黑客非常感兴趣的目标。在谈到网络安全的话题时&#xff0c;我们总会讨论下一代防火墙与Web应用防火墙的区别。当已经拥有下一代防火墙&#xff08;NGFW&#xff09;时&#xff0c;为什么需要Web应用程序防火墙&…
阅读更多...
靶机 Raven2 / UDF 提权

靶机 Raven2 / UDF 提权

Raven2 信息搜集 存活检测 详细扫描 后台扫描 dirsearch -u http://10.4.7.135 -x 403 # 过滤状态码为 403 的后台页面Webshell 漏洞发现 访问扫描出的后台页面 /vendor 页面 发现网站使用了 PHPMailer PHPMailer是一个用于发送电子邮件的PHP库。它提供了一个简单而灵活的…
阅读更多...
PFL-MoE：基于混合专家的个性联邦学习

PFL-MoE：基于混合专家的个性联邦学习

文章链接&#xff1a;PFL-MoE: Personalized Federated Learning Based on Mixture of Experts 发表会议&#xff1a;APWeb-WAIM 2021&#xff08;CCF-C&#xff09; 目录 1.背景介绍联邦学习non-IIDPFL 2.内容摘要关键技术A.PFL-MoEB.PFL-MFC.PFL-MFE 实验结果 3.文章总结 1.…
阅读更多...
QT 绘制文字轮廓

QT 绘制文字轮廓

最近在做文字绘制&#xff0c;需要用到绘制文字轮廓&#xff0c;发现QT里面有自己的解决方案&#xff0c;分享出来&#xff1b; 具体贴代码 #include "mainwindow.h" #include "ui_mainwindow.h" #include <QPainter>MainWindow::MainWindow(QWidg…
阅读更多...
Qt （QInputDialog 、QMessageBox、QMessageBox）对话框实战

Qt （QInputDialog 、QMessageBox、QMessageBox）对话框实战

目录 一、QInputDialog 类(输入对话框) 二、QMessageBox 类(消息框) 三、QMessageBox 类(自定义消息框) 一、QInputDialog 类(输入对话框) QInputDialog 是一个提供输入对话框的 Qt 类。它允许用户输入文本&#xff0c;并提供给用户选择可用选项的选项列表。QInputDialog 可…
阅读更多...
Elasticsearch使用——结合MybatisPlus使用ES es和MySQL数据一致性 结合RabbitMQ实现解耦

Elasticsearch使用——结合MybatisPlus使用ES es和MySQL数据一致性 结合RabbitMQ实现解耦

前言 本篇博客是一篇elasticsearch的使用案例&#xff0c;包括结合MybatisPlus使用ES&#xff0c;如何保证MySQL和es的数据一致性&#xff0c;另外使用了RabbitMQ进行解耦&#xff0c;自定义了发消息的方法。 其他相关的Elasticsearch的文章列表如下&#xff1a; Elasticsear…
阅读更多...
ES6 Symbol 数据结构

ES6 Symbol 数据结构

1. Symbol概念以及引入原因 ES6 引入了的一种新的原始数据类型Symbol&#xff0c;表示独一无二的值。它是 JavaScript 语言的第七种数据类型&#xff0c;前六种是&#xff1a;undefined、null、布尔值&#xff08;Boolean&#xff09;、字符串&#xff08;String&#xff09;、…
阅读更多...
政务OA协同办公系统：数字化工具助力政府服务升级

政务OA协同办公系统：数字化工具助力政府服务升级

在当今数字化时代&#xff0c;政务OA协同办公系统已经成为政府服务升级的重要工具。通过引入数字化技术&#xff0c;政务OA协同办公系统可以实现高效的信息传递、流程优化以及资源整合&#xff0c;进一步提升政府服务的质量和效率。本文将探讨政务OA协同办公系统的优势及其在数…
阅读更多...
【UE5 Cesium】19-Cesium for Unreal 建立飞行跟踪器（4）

【UE5 Cesium】19-Cesium for Unreal 建立飞行跟踪器（4）

遗留问题 在上一篇博客中&#xff08;【UE5 Cesium】18-Cesium for Unreal 建立飞行跟踪器&#xff08;3&#xff09;&#xff09;&#xff0c;我们实现了飞机变速飞行的功能&#xff0c;但是还存在两个问题&#xff0c;分别是&#xff1a; &#xff08;1&#xff09;由于UE的…
阅读更多...
三维地图开发三维地图服务器

三维地图开发三维地图服务器

三维地图开发三维地图服务器 发布时间&#xff1a;2020-03-03 版权&#xff1a; 搭建离线地图服务主要是两个步骤&#xff1a;一是&#xff1a;下载离线地图服务需要的地图数据&#xff1b;二是&#xff1a;将下载的离线地图数据发布成地图服务&#xff1b;只有做好这两步&…
阅读更多...
【java零基础入门到就业】第二天：jdk的下载安装和第一个HelloWorld程序

【java零基础入门到就业】第二天：jdk的下载安装和第一个HelloWorld程序

1、java内容概述 java前半部分学习内容主要如下&#xff1a; 1、Java基础语法2、面向对象3、API4、字符串5、集合6、拼图游戏 1.1、 java基础语法 java基础语法主要包括以下内容&#xff1a; Java入门小概念Idea和运算符判断和循环方法数组课后练习题 Java是什么&#xf…
阅读更多...
Qt基础 QPieSeries饼状图

Qt基础 QPieSeries饼状图

目录 1.简单例子 2. 稍微复杂点 QPieSeries Class&#xff1a;饼状图数据 QChart 管理图表系列、图例和轴的图形表示 QChartView 可以显示图表的独立小部件 QPieSeries 在饼图中显示数据 QPieSlice 表示饼图系列中的单个切片&#xff08;其实就是标签&#xff09; 1…
阅读更多...
鸿蒙应用开发之HTTP数据请求

鸿蒙应用开发之HTTP数据请求

一、概述 日常生活中我们使用应用程序看新闻、发送消息等&#xff0c;都需要连接到互联网&#xff0c;从服务端获取数据。例如&#xff0c;新闻应用可以从新闻服务器中获取最新的热点新闻&#xff0c;从而给用户打造更加丰富、更加实用的体验。 那么要实现这样一种能实时从服务…
阅读更多...
Python突破浏览器TLS/JA3 指纹

Python突破浏览器TLS/JA3 指纹

JA3 是一种创建 SSL/TLS 客户端指纹的方法&#xff0c;一般一个网站的证书是不变的&#xff0c;所以浏览器指纹也是稳定的&#xff0c;能区分不同的客户端。 requests库 Python requests库请求一个带JA3指纹网站的结果&#xff1a; import requestsheaders {authority: tls…
阅读更多...
P2251 质量检测

P2251 质量检测

题目&#xff1a; P2251 质量检测 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 代码&#xff1a; #include<iostream> #include<cstdio> #include<deque> #include<vector> typedef long long ll; const ll N 1e7; using namespace std;int main…
阅读更多...
nocos配置中心使用教程(NACOS 1.X版本)

nocos配置中心使用教程(NACOS 1.X版本)

1.下载和安装 进入到官网下载就好了 解压 启动 2.新建cloudalibaba-config-nacos-client3377 2.1 pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://w…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023