首先,我们需要导入所需的库。在这个例子中,我们将使用 request 和 cheerio 库来发送 HTTP 请求和解析 HTML。
import request from 'request';
import cheerio from 'cheerio';
然后,我们需要定义一个函数来发送请求并解析响应。
function getHtml(url: string, proxyHost: string, proxyPort: number)
{
request({url: url, proxy: {host: proxyHost, port: proxyPort}}, (error, response, body) => {
if (error) {
console.error('Error:', error);
return;
}
const $ = cheerio.load(body);
// 这里将解析后的 HTML 保存在变量中,我们可以在下面的代码中使用它
});
}
在这个函数中,我们使用 request 库发送一个 HTTP GET 请求到指定的 URL,并使用指定的代理信息。如果请求成功,我们使用 cheerio 库解析响应的 HTML。如果请求失败或解析失败,我们将打印错误信息。
这就是使用 TypeScript 编写一个爬虫程序的基本步骤。请注意,这只是一个非常基础的示例,实际的爬虫程序可能需要处理更复杂的情况,如处理反爬虫策略、处理 cookies 和 session、保存和处理数据等。