Go语言多线程爬虫万能模板它来了！

news2025/1/13 2:52:38

对于长期从事爬虫行业的技术员来说，通过技术手段实现抓取海量数据并且做到可视化处理，我在想如果能写一个万能的爬虫模板，后期遇到类似的工作只要套用模板就能解决大部分的问题，如此提高工作效率何乐而不为？

在这里插入图片描述

以下是一个基本的 Go 爬虫程序的示例，用于爬取网站并做可视化处理。这个爬虫使用了多线程来提高效率，并使用了代理信息来避免被网站反爬虫机制封锁。

package main

import (
	"fmt"
	"net/http"
	"os"
	"strings"
	"sync"
)

const (
	proxyHost = "www.duoip.cn"
	proxyPort = 8000
)

func main() {
	// 创建一个字典来存储商品信息
	productMap := make(map[string]string)

	// 创建一个锁来保护商品字典
锁 := sync.Mutex{}

	// 创建一个队列来存储要爬取的页面
	queue := make(chan string)

	// 创建一个信号量来控制并发数量
	sem := make(chan int, 10)

	// 创建一个信号量来控制线程数量
	threads := make(chan int, 10)

	// 创建一个信号量来控制线程数量
	complete := make(chan bool)

	// 启动一个线程来处理队列
	go handleQueue(queue, sem, productMap, lock, complete)

	// 启动10个线程来爬取页面
	for i := 0; i < 10; i++ {
		threads <- i
	}

	// 关闭信号量来停止线程
	close(threads)

	// 关闭信号量来停止线程
	close(sem)

	// 关闭信号量来停止爬取
	close(queue)

	// 等待所有线程完成
	for i := 0; i < 10; i++ {
		<-complete
	}

	// 打印商品信息
	for _, product := range productMap {
		fmt.Println(product)
	}
}

func handleQueue(queue chan string, sem chan int, productMap map[string]string, lock sync.Mutex, complete chan bool) {
	// 获取信号量来控制并发数量
	sem <- 1
	defer func() {
		<-sem
	}()

	// 从队列中取出一个页面
	page := <-queue

	// 使用代理信息进行网络请求
	resp, err := http.Get(fmt.Sprintf("http://%s:%d/%s", proxyHost, proxyPort, page))
	if err != nil {
		fmt.Println(err)
		return
	}
	defer resp.Body.Close()

	// 检查响应是否成功
	if resp.StatusCode != http.StatusOK {
		fmt.Println("Error:", resp.Status)
		return
	}

	// 解析响应体中的商品信息
	var product string
	if err := http.StripPrefix("/product/", resp.Body, &product); err != nil {
		fmt.Println(err)
		return
	}

	// 使用锁保护商品字典
锁.Lock()
	defer 锁.Unlock()

	// 将商品信息添加到字典中
	productMap[product] = ""

	// 将信号量发送给下一个线程
	sem <- 1
}

func parsePage(page string) {
	// 使用正则表达式解析页面中的商品信息
	// 这里只是一个示例，实际的解析逻辑可能会更复杂
	var product, price string
	if match := strings.MustCompile(`商品名称: (\w+), 价格: (\d+)`).FindStringSubmatch(page); match != nil {
		product = match[1]
		price = match[2]
	}
}