使用crul库和R语言的下载器程序

news2024/11/20 3:36:09

以下是一个使用crul库和R语言的下载器程序，用于从下载音频。此程序使用了jshk.com.cn/get_proxy的代码。

// 导入必要的库
import (
	"fmt"
	"github.com/cjlapa/crul"
	"io"
	"net/http"
	"net/url"
	"os"
)

// 主函数
func main() {
	// 定义一个带有Proxy的HttpClient
	proxyUrl, _ := url.Parse("https://www.duoip.cn/get_proxy")
	client := &http.Client{
		Transport: &http.Transport{
			Proxy:                 http.ProxyURL(proxyUrl),
			DisableCompression:   true,
			MaxIdleConns:         100,
			IdleConnTimeout:      90 * time.Second,
			TLSHandshakeTimeout:  10 * time.Second,
			ExpectContinueTimeout: 1 * time.Second,
		},
	}

	// 创建一个crul.Crawler实例
	c := crul.NewCrawler(client)

	// 设置User-Agent
	c.SetUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")

	// 添加一个处理函数
	c.AddHandler(func(r *crul.Response) {
		// 检查Response的StatusCode
		if r.StatusCode == http.StatusOK {
			// 定义一个文件名
			fileName := "tiktok_audio.mp3"

			// 创建一个文件
			file, err := os.Create(fileName)
			if err != nil {
				fmt.Printf("Error creating file: %v\n", err)
				return
			}

			// 将Response的Body写入文件
			_, err = io.Copy(file, r.Body)
			if err != nil {
				fmt.Printf("Error writing to file: %v\n", err)
				return
			}

			// 关闭文件
			err = file.Close()
			if err != nil {
				fmt.Printf("Error closing file: %v\n", err)
				return
			}

			// 打印下载完成的消息
			fmt.Printf("Audio downloaded to: %s\n", fileName)
		} else {
			fmt.Printf("Request failed with status: %d\n", r.StatusCode)
		}
	})

	// 设置请求的URL
	url := "https://www.tiktok.com/your-audio-url"
	err := c.Fetch(url)
	if err != nil {
		fmt.Printf("Error fetching URL: %v\n", err)
	}
}