用Ruby的Faraday库来进行网络请求抓取数据

news2025/3/13 13:01:33

在 Ruby 中，Faraday 是一个非常强大的 HTTP 客户端库，它可以用于发送 HTTP 请求并处理响应。你可以使用 Faraday 来抓取网页数据，处理 API 请求等任务。下面我将向你展示如何使用 Faraday 库进行网络请求，抓取数据并处理响应。

在这里插入图片描述

1. 安装 `Faraday`

如果你还没有安装 Faraday，可以通过 gem 来安装：

gem install faraday

或者如果你使用 Bundler，你可以将其添加到你的 Gemfile 中：

gem 'faraday'

然后运行：

bundle install

2. 使用 `Faraday` 发送 HTTP 请求

以下是使用 Faraday 库的基本示例：

(1) 导入 `Faraday`

首先，你需要导入 Faraday 库：

require 'faraday'

(2) 发送 GET 请求

如果你想发送一个 GET 请求来抓取数据（例如从某个 API 或网站获取内容），可以使用以下代码：

# 创建一个 Faraday 客户端
conn = Faraday.new(url: 'https://jsonplaceholder.typicode.com')

# 发送 GET 请求，获取一个假数据 API
response = conn.get('/posts/1')

# 打印响应状态码
puts "Status: #{response.status}"

# 打印响应体内容
puts "Body: #{response.body}"

在这个例子中，我们使用 Faraday.new 创建了一个 conn 对象，设置了请求的基础 URL。然后，使用 get 方法发送一个 GET 请求，获取 JSON 数据。

response.status：打印 HTTP 响应状态码（例如 200 表示成功）。
response.body：打印响应体内容，这是返回的实际数据。

(3) 处理 JSON 数据

如果响应体是 JSON 格式的数据，你可以使用 JSON 库解析它：

require 'faraday'
require 'json'

conn = Faraday.new(url: 'https://jsonplaceholder.typicode.com')
response = conn.get('/posts/1')

# 将响应体转换为 Ruby 哈希
data = JSON.parse(response.body)

# 打印返回的数据
puts data

JSON.parse 方法将 JSON 字符串解析为 Ruby 哈希，方便你进一步操作数据。

(4) 发送 POST 请求

如果你需要发送 POST 请求，可以这样做：

# 创建一个 Faraday 客户端
conn = Faraday.new(url: 'https://jsonplaceholder.typicode.com')

# 发送 POST 请求，模拟创建一个新的帖子
response = conn.post('/posts') do |req|
  req.headers['Content-Type'] = 'application/json'
  req.body = { title: 'foo', body: 'bar', userId: 1 }.to_json
end

# 打印响应状态码和返回数据
puts "Status: #{response.status}"
puts "Response Body: #{response.body}"

这里我们使用 conn.post 来发送 POST 请求，并设置请求头和请求体。请求体通过 to_json 方法转化为 JSON 格式。

(5) 设置请求头

你可以在请求中设置各种 HTTP 请求头，例如 User-Agent 或 Authorization 头。比如：

# 创建 Faraday 客户端
conn = Faraday.new(url: 'https://jsonplaceholder.typicode.com') do |faraday|
  faraday.adapter Faraday.default_adapter
end

# 发送带有请求头的 GET 请求
response = conn.get('/posts/1') do |req|
  req.headers['User-Agent'] = 'MyRubyClient/1.0'
end

# 打印响应内容
puts response.body

(6) 处理错误

你可以通过 rescue 来捕获错误，确保程序不会因为请求失败而崩溃。例如，捕获 Faraday::ConnectionFailed 错误：

begin
  response = conn.get('/nonexistent_path')
  puts response.body
rescue Faraday::ConnectionFailed => e
  puts "Connection failed: #{e.message}"
end

3. 完整示例：抓取并解析网页内容

假设你想抓取一个网页的 HTML 内容并解析其中的一部分。下面是一个完整的示例，使用 Faraday 获取网页内容并使用 Nokogiri 解析它。

首先，安装 nokogiri（如果还没有安装）：

gem install nokogiri

然后，你可以编写如下代码：

require 'faraday'
require 'nokogiri'

# 创建 Faraday 客户端
conn = Faraday.new(url: 'https://www.example.com')

# 获取网页 HTML 内容
response = conn.get

# 解析 HTML 内容
doc = Nokogiri::HTML(response.body)

# 查找网页中的所有 <h1> 元素
doc.css('h1').each do |h1|
  puts h1.text
end