【100天精通python】Day42：python网络爬虫开发_HTTP请求库requests 常用语法与实战

news2024/11/13 10:55:59

目录

1 HTTP协议

2  HTTP与HTTPS

3 HTTP请求过程

 3.1 HTTP请求过程

3.2 GET请求与POST请求

3.3 常用请求报头

3.4 HTTP响应

4 HTTP请求库requests 常用语法

4.1 发送GET请求

 4.2 发送POST请求

4.3 请求参数和头部

4.4 编码格式

4.5 requests高级操作-文件上传

4.6 requests高级操作-获取cookie

4.7 request高级操作-证书验证

5 实战

利用requests 库抓取2023年高考新闻的标题和链接

1 HTTP协议

        HTTP协议（Hypertext Transfer Protocol）： HTTP是一种用于在客户端和服务器之间传输数据的协议。它基于请求-响应模型，客户端发送HTTP请求，服务器返回HTTP响应。HTTP协议主要用于Web浏览器和服务器之间的通信，用于获取、传输和展示Web页面和资源。

        在网络爬虫中，HTTP（Hypertext Transfer Protocol）协议起着至关重要的作用，它是用于在客户端和服务器之间传输数据的协议。下面是HTTP协议在爬虫中的一些关键作用：

  1. 获取网页内容： 爬虫使用HTTP协议来向服务器发送请求，以获取网页的内容。通过发送GET请求，爬虫能够请求服务器返回网页的HTML代码。

  2. 发送请求： 爬虫可以使用不同的HTTP请求方法，如GET、POST、PUT等，来向服务器发送不同类型的请求。GET请求用于获取资源，而POST请求用于提交数据，PUT请求用于更新资源，等等。

  3. 传递参数： 爬虫可以通过HTTP请求的URL参数或请求体参数来传递各种数据，如查询参数、表单数据等。这在爬取特定数据或进行搜索时非常有用。

  4. 设置请求头： 爬虫可以在HTTP请求中设置请求头，包括User-Agent、Referer、Cookie等，以模拟不同类型的浏览器行为，或者绕过网站的反爬措施。

  5. 处理响应： 服务器返回HTTP响应，其中包含状态码、响应头和响应体。爬虫可以根据状态码来判断请求是否成功，从响应头中获取信息，以及从响应体中提取网页内容。

  6. 解析HTML内容： 爬虫通过解析HTML内容，从中提取所需的信息。这通常涉及使用库（如Beautiful Soup）来解析网页的DOM结构。

  7. 模拟登录： 对于需要登录才能访问的网站，爬虫可以通过模拟POST请求提交登录表单，以获取登录后的数据。

  8. 反爬处理： 爬虫可能会遇到网站的反爬机制，如限制访问频率、验证码等。在这种情况下，爬虫需要适当调整请求头、使用代理IP等来绕过这些限制。

        总之，HTTP协议是爬虫工作的基础，通过向服务器发送请求和解析服务器的响应，爬虫可以从网页中获取所需的数据，然后进行处理、分析和存储。同时，了解HTTP协议的各种特性和机制，能够帮助爬虫更有效地操作和与服务器交互。

1.1 HTTP请求结构

         一个HTTP请求由以下几部分组成：

  1. 请求行（Request Line）： 包含请求方法、目标URL和协议版本。
  2. 请求头（Request Headers）： 包含关于请求的元信息，如User-Agent、Accept、Cookie等。
  3. 空行： 用于分隔请求头和请求体。
  4. 请求体（Request Body）： 仅在使用POST等方法时出现，包含请求的实际数据。

1.2 HTTP响应结构

         一个HTTP响应由以下几部分组成：

  1. 状态行（Status Line）： 包含协议版本、状态码和状态信息。
  2. 响应头（Response Headers）： 包含关于响应的元信息，如Content-Type、Content-Length等。
  3. 空行： 用于分隔响应头和响应体。
  4. 响应体（Response Body）： 包含响应的实际数据，如HTML内容、JSON数据等。

1.3 常见的HTTP方法

  1. GET： 用于从服务器获取数据，将数据附加在URL中。
  2. POST： 用于向服务器提交数据，将数据包含在请求体中。
  3. PUT： 用于更新服务器上的资源，将数据包含在请求体中。
  4. DELETE： 用于从服务器删除资源，将数据附加在URL中。
  5. HEAD： 类似于GET，但只返回响应头，用于获取资源的元信息。
  6. OPTIONS： 用于查询服务器支持的HTTP方法。

1.4 常见的HTTP状态码：

  1. 200 OK： 请求成功。
  2. 201 Created： 资源已成功创建。
  3. 400 Bad Request： 请求有误。
  4. 401 Unauthorized： 请求未经授权。
  5. 403 Forbidden： 服务器拒绝请求。
  6. 404 Not Found： 请求的资源不存在。
  7. 500 Internal Server Error： 服务器内部错误。

示例： 以下是一个简单的示例，演示如何使用Python的http.server模块创建一个简单的HTTP服务器，并发送GET和POST请求。您可以在终端中运行此示例，然后在浏览器中访问相应的URL。

# 创建一个简单的HTTP服务器
# 在终端运行：python http_server_example.py
import http.server
import socketserver

class MyHandler(http.server.SimpleHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200)
        self.send_header('Content-type', 'text/html')
        self.end_headers()
        self.wfile.write(b'Hello, GET request!')

    def do_POST(self):
        content_length = int(self.headers['Content-Length'])
        post_data = self.rfile.read(content_length)
        self.send_response(200)
        self.send_header('Content-type', 'text/html')
        self.end_headers()
        response = f'Hello, POST request! Data: {post_data.decode()}'
        self.wfile.write(response.encode())

if __name__ == "__main__":
    PORT = 8000
    with socketserver.TCPServer(("", PORT), MyHandler) as httpd:
        print(f"Serving at port {PORT}")
        httpd.serve_forever()

        在浏览器中访问http://localhost:8000可以看到服务器响应。可以使用工具如curl或者requests库发送HTTP请求并接收响应。

2  HTTP与HTTPS

        HTTP（Hypertext Transfer Protocol）和HTTPS（Hypertext Transfer Protocol Secure）都是用于在客户端和服务器之间传输数据的协议，但它们之间存在着重要的安全和加密差异。

HTTP（Hypertext Transfer Protocol）： HTTP是一种用于传输超文本数据的协议，它在Web浏览器和Web服务器之间进行通信。HTTP协议是明文传输的，这意味着传输的数据不加密，可能容易被窃听和篡改。它通常使用80端口进行通信。

HTTPS（Hypertext Transfer Protocol Secure）： HTTPS是HTTP的安全版本，它通过使用加密和认证机制来保护传输的数据。在HTTPS中，数据被加密后传输，从而更难以被窃听和篡改。为了实现加密，HTTPS使用了SSL（Secure Sockets Layer）或TLS（Transport Layer Security）协议。HTTPS通常使用443端口进行通信。

主要区别：

  1. 安全性： 最显著的区别是安全性。HTTP不加密数据，而HTTPS通过加密保护数据传输，确保数据的机密性和完整性。

  2. 加密： HTTPS使用SSL或TLS协议对数据进行加密，使得数据在传输过程中无法被轻易窃听或篡改。HTTP不提供加密，数据可能被第三方监视和修改。

  3. 认证： HTTPS在加密过程中还可以对服务器进行身份认证，确保您与正确的服务器进行通信。HTTP不提供此功能，可能容易受到中间人攻击。

  4. URL前缀： HTTP的URL以 "http://" 开头，而HTTPS的URL以 "https://" 开头。

        虽然HTTPS在安全性方面优于HTTP，但由于加密和解密过程会带来一些计算开销，所以HTTPS稍微比HTTP慢一些。然而，随着计算能力的提升，HTTPS的性能差距逐渐减小。

        在现代网络中，保护用户隐私和数据的安全性非常重要，因此，许多网站都在切换到使用HTTPS来确保用户数据的保护。

3 HTTP请求过程

 3.1 HTTP请求过程

         HTTP请求过程涉及客户端向服务器发送请求，服务器处理请求并返回响应。以下是HTTP请求的基本过程：

  1. 客户端发起HTTP请求，包括请求方法（GET、POST等）、目标URL、请求头、请求体等。
  2. 服务器接收并处理请求，根据请求方法和URL找到对应的资源。
  3. 服务器生成HTTP响应，包括状态码、响应头、响应体等。
  4. 服务器将响应发送回客户端。
  5. 客户端接收响应并处理响应内容。

3.2 GET请求与POST请求

         GET和POST是HTTP请求方法，用于向服务器发送请求。

  • GET请求： 用于从服务器获取数据，通过URL传递参数，请求参数在URL中可见，适用于获取数据。
  • POST请求： 用于向服务器提交数据，请求参数在请求体中传递，对数据进行添加、修改等操作。

3.3 常用请求报头

         HTTP请求中的请求报头（Request Headers）包含关于请求的额外信息，如用户代理、内容类型等。以下是一些常见的请求报头：

  • User-Agent： 标识客户端（通常是浏览器）的类型和版本。
  • Content-Type： 指定请求体的媒体类型（如application/json、application/x-www-form-urlencoded等）。
  • Authorization： 包含认证凭据，用于进行身份验证。
  • Referer： 指示请求的来源URL，用于防止CSRF攻击。
  • Cookie： 包含客户端的Cookie信息，用于保持会话状态。

3.4 HTTP响应

         HTTP响应包含服务器对请求的处理结果，包括状态码、响应头、响应体等。

  • 状态码（Status Code）： 表示服务器对请求的处理状态，如200 OK表示成功，404 Not Found表示未找到资源。
  • 响应头（Response Headers）： 包含关于响应的元信息，如Content-Type、Server等。
  • 响应体（Response Body）： 包含实际的响应内容，如网页的HTML内容、JSON数据等。

以下是一个示例，演示使用Python的requests库发送GET请求，然后解析并打印响应内容：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print("Status Code:", response.status_code)
print("Headers:", response.headers)
print("Content:", response.text)

4 HTTP请求库requests 常用语法

  requests是一个常用的Python库，用于发送HTTP请求和处理HTTP响应。以下是requests库的基本用法示例：

首先，确保您已经安装了requests库。如果没有安装，您可以使用以下命令进行安装：

pip install requests

然后，您可以在Python代码中导入requests库并使用它发送HTTP请求和处理响应。

4.1 发送GET请求

        使用requests.get()方法，以下示例演示如何使用requests库发送一个简单的GET请求并处理响应：

import requests

# 发送GET请求获取网页内容
url = 'https://www.baidu.com'  # 替换为您要访问的网页URL
response = requests.get(url)
response.encoding = 'utf-8'  # 指定编码为UTF-8
html_content = response.text

# 输出网页内容
print(html_content)

常用语法：

发起GET请求：

import requests

response = requests.get('https://www.example.com')
print(response.text)  # 输出响应内容

发起带参数的GET请求：

params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://www.example.com', params=params)

 发送请求并设置Headers：

headers = {'User-Agent': 'My User Agent'}
response = requests.get('https://www.example.com', headers=headers)

获取响应状态码：

response = requests.get('https://www.example.com')
status_code = response.status_code

 获取响应头部信息：

response = requests.get('https://www.example.com')
headers = response.headers

获取响应内容（字节）

response = requests.get('https://www.example.com')
content = response.content

 获取响应内容（文本）

response = requests.get('https://www.example.com')
text = response.text

处理响应中的JSON数据：

response = requests.get('https://api.example.com/data.json')
data = response.json()

 处理超时：

try:
    response = requests.get('https://www.example.com', timeout=5)  # 5秒超时
except requests.Timeout:
    print("请求超时")

处理异常：

try:
    response = requests.get('https://www.example.com')
    response.raise_for_status()  # 抛出HTTP错误状态码异常
except requests.HTTPError as http_err:
    print(f"HTTP错误: {http_err}")
except requests.RequestException as req_err:
    print(f"请求异常: {req_err}")

 4.2 发送POST请求

以下示例演示如何使用requests库发送一个POST请求并附带数据：

import requests

# 登录URL和登录所需的数据
login_url = 'https://mail.163.com/'
login_data = {
    'username': 'your_username',  # 替换为您的邮箱用户名
    'password': 'your_password'   # 替换为您的邮箱密码
}

# 创建会话对象
session = requests.Session()

# 发送POST请求模拟登录
response = session.post(login_url, data=login_data)

# 检查登录是否成功
if '退出' in response.text:
    print("Login successful.")
else:
    print("Login failed.")

        在这个示例代码中，我们使用requests.Session()来创建一个会话对象，这样可以在多个请求之间保持会话状态。然后，我们使用session.post()方法发送POST请求来模拟登录。在这个例子中，我们使用了163邮箱的登录页面作为示范，您需要替换login_url和login_data为实际的登录URL和登录所需的数据。

        请注意，这只是一个简单示例，实际的网站可能会有更复杂的登录逻辑，如验证码、动态令牌等。同时，爬虫访问网站时需要遵守网站的使用规则和政策，确保您的行为合法和合规。

常用语法：

发送POST请求 

data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.example.com', data=data)

 发送JSON数据的POST请求：

import json

data = {'key1': 'value1', 'key2': 'value2'}
headers = {'Content-Type': 'application/json'}
response = requests.post('https://www.example.com', data=json.dumps(data), headers=headers)

4.3 请求参数和头部

        在使用requests库发送HTTP请求时，您可以通过请求参数和头部来传递附加的信息。请求参数通常用于GET请求或者带有查询参数的请求，而请求头部用于传递各种信息，如用户代理、Cookie等。以下是关于请求参数和头部的示例代码：

import requests

# 请求参数示例
params = {
    'key1': 'value1',
    'key2': 'value2'
}

# 请求头部示例
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Referer': 'https://www.baiud.com',
    'Cookie': 'your_cookie_data'
}

# 发送GET请求，带参数和头部
url = 'https://www.baidu.com'  # 替换为您要访问的网页URL
response = requests.get(url, params=params, headers=headers)

# 输出响应内容
print(response.text)

4.4 编码格式

        在使用requests库发送HTTP请求时，编码格式（也称为字符集或字符编码）是指用于解码响应内容的规则。requests库会尝试自动识别并设置响应的编码格式，但有时您可能需要手动设置编码以确保正确解析响应内容。

以下是一些关于编码格式的详解和示例：

  1. 自动识别编码： 默认情况下，requests库会根据响应头中的Content-Type字段来尝试自动识别响应的编码格式。例如，如果Content-Type中包含charset=utf-8，requests会使用UTF-8编码来解码响应内容。

  2. 手动设置编码： 如果自动识别的编码不正确，您可以手动设置编码来解决乱码问题。通过将response.encoding设置为适当的编码，可以确保正确解码响应内容。

下面是一个示例，演示了如何手动设置编码格式以正确解析响应内容：

import requests

# 发送GET请求获取网页内容
url = 'https://www.baidu.com'  # 替换为您要访问的网页URL
response = requests.get(url)
response.encoding = 'utf-8'  # 手动设置编码为UTF-8

# 输出响应内容
print(response.text)

4.5 requests高级操作-文件上传

    requests库允许您发送文件上传请求，即将文件作为请求的一部分发送到服务器。这在与包含文件上传功能的API进行交互时非常有用。

        要发送文件上传请求，您可以使用requests.post()方法，并通过files参数传递要上传的文件。files参数应该是一个字典，其中键是字段名称，值是文件对象。文件对象可以通过open()函数来创建。

以下是一个简单的文件上传示例，假设您要将一个本地文件上传到服务器：

import requests

# 目标URL和文件路径
url = 'https://www.example.com/upload'  # 替换为实际的上传URL
file_path = 'path/to/your/file.txt'  # 替换为实际的文件路径

# 创建文件对象
with open(file_path, 'rb') as file:
    files = {'file': file}  # 'file'是字段名称，可以根据实际情况更改

    # 发送文件上传请求
    response = requests.post(url, files=files)

# 输出响应内容
print(response.text)

在这个示例中，我们使用open()函数以二进制模式打开文件，然后将文件对象传递给files参数。在files字典中，键是服务器期望接收的字段名称，值是文件对象。您需要将'file'替换为实际字段名称。

请注意，实际的服务器可能需要其他额外的字段或参数，如身份验证、令牌等。您需要根据实际情况调整代码。

4.6 requests高级操作-获取cookie

        在requests库中，您可以通过response.cookies属性来获取从服务器接收的Cookie信息。Cookies是服务器在HTTP响应头中设置的一些键值对，用于在客户端和服务器之间存储状态信息。以下是获取Cookie的详细说明和示例：

import requests

# 发送GET请求获取网页内容
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url)

# 获取响应中的Cookie信息
cookies = response.cookies

# 打印Cookie信息
for cookie in cookies:
    print("Name:", cookie.name)
    print("Value:", cookie.value)

        在这个示例中，我们使用requests.get()方法发送GET请求，并通过response.cookies属性来获取响应中的Cookie信息。response.cookies返回一个RequestsCookieJar对象，您可以通过遍历它来获取每个Cookie的名称和值。

        请注意，响应中可能会包含多个Cookie，每个Cookie都是一个键值对。您可以根据实际需求进一步处理这些Cookie信息，如存储到会话中、发送到下一个请求中等。

此外，如果您想手动设置Cookie并在后续请求中使用它们，可以通过在请求头部中添加Cookie字段来实现。例如：

import requests

# 设置Cookie
cookies = {'cookie_name': 'cookie_value'}

# 发送GET请求并添加Cookie到请求头部
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url, cookies=cookies)

# 处理响应...

 在这个示例中，我们使用cookies参数将要发送的Cookie信息添加到请求中。这对于需要手动处理Cookie的情况非常有用。

4.7 request高级操作-证书验证

在requests库中，您可以通过verify参数来控制是否对SSL证书进行验证。SSL证书验证是用于确保与服务器建立安全的加密连接的过程。默认情况下，requests库会验证SSL证书，但您可以通过设置verify参数来禁用验证或提供自定义证书。

以下是关于证书验证的详细说明和示例：

  1. 默认验证： 默认情况下，requests库会验证SSL证书。这是安全的做法，确保与服务器之间的通信是加密的。例如：

import requests

# 发送GET请求
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url)

# 处理响应...

禁用验证： 在某些情况下，您可能想要禁用证书验证，例如访问自签名证书的服务器。您可以通过将verify参数设置为False来禁用验证：

import requests

# 发送GET请求并禁用证书验证
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url, verify=False)

# 处理响应...

 请注意，禁用证书验证会降低安全性，仅在了解风险的情况下使用。

自定义证书： 如果需要连接到使用自定义证书的服务器，您可以提供证书文件的路径作为verify参数的值：

import requests

# 发送GET请求并使用自定义证书进行验证
url = 'https://www.example.com'  # 替换为您要访问的网页URL
response = requests.get(url, verify='/path/to/custom/certificate.pem')

# 处理响应...

 在这个示例中，/path/to/custom/certificate.pem是您的自定义证书文件的路径。

 请注意，为了保护您的数据安全，建议在实际应用中保持证书验证的开启状态。如果您需要在特定情况下禁用或自定义证书验证，请确保您理解可能的安全风险并采取适当的措施。

5 实战

利用requests 库抓取2023年高考新闻的标题和链接

import requests
from bs4 import BeautifulSoup
import time

def fetch_news_by_page(page_number):
    keyword = "2023年高考录取"
    results_per_page = 10
    pn = (page_number - 1) * results_per_page

    # 构造搜索的URL，包括搜索关键词和分页参数
    url = f"https://www.baidu.com/s?wd={keyword}&pn={pn}"
    
    # 添加头部信息模拟浏览器请求
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36",
        "Referer": "https://www.baidu.com/"
    }

    # 发送请求
    response = requests.get(url, headers=headers)

    # 如果请求成功
    if response.status_code == 200:
        # 解析网页内容
        soup = BeautifulSoup(response.text, 'html.parser')
        news_list = []

        # 找到所有的新闻标题和链接
        for news in soup.find_all('div', class_='result'):
            title_elem = news.find('h3', class_='t')
            title = title_elem.get_text() if title_elem else None

            link_elem = news.find('a')
            link = link_elem['href'] if link_elem and 'href' in link_elem.attrs else None

            if title and link:
                news_list.append({"title": title, "link": link})

        return news_list
    else:
        print("请求失败，状态码：", response.status_code)
        return None

if __name__ == "__main__":
    for page in range(1, 4):  # 输出前三页
        print(f"第{page}页的搜索结果：")
        news = fetch_news_by_page(page)
        if news:
            for idx, item in enumerate(news, start=1):
                print(f"{idx}. {item['title']}")
                print(f"   Link: {item['link']}")
                print("=" * 50)
        else:
            print("没有搜索结果。")
        time.sleep(2)  # 添加延时，模拟人类浏览行为

输出如下：

         这段代码是一个Python网络爬虫，用于从百度搜索引擎中抓取关于"2023年高考录取"的新闻标题和链接。

  1. 首先，它导入了requests库（用于发送HTTP请求）、BeautifulSoup库（用于解析HTML文档）和time库（用于暂停程序执行）。

  2. 首先，它定义了一个函数fetch_news_by_page()，这个函数接受一个参数page_number，表示要抓取的页数。

  3. 在函数内部，首先定义了搜索关键词"2023年高考录取"和每页显示的结果数量results_per_page。

  4. 然后，构造了百度搜索的URL，包括搜索关键词和分页参数。这里使用了f-string格式化字符串，将page_number和results_per_page插入到URL中。

  5. 接着，定义了一个headers字典，其中包含了User-Agent和Referer两个字段，用于模拟浏览器发送请求。

  6. 使用requests.get()函数发送GET请求，将headers字典作为参数传入。

  7. 如果请求成功（即HTTP状态码为200），则使用BeautifulSoup解析返回的HTML文档。

  8. 在解析后的HTML文档中，找到所有的新闻标题和链接。这里使用了find_all()函数查找所有class为'result'的div元素，然后在每个div元素中查找h3标签（class为't'）和a标签。

  9. 如果找到了标题和链接，就添加到news_list列表中。

  10. 最后，如果请求失败，就打印出失败的状态码，并返回None。

  11. 在主程序中，调用fetch_news_by_page()函数，遍历前三页的搜索结果，并打印出来。为了避免频繁的网络请求，每次打印结果后都暂停了2秒。

上一篇：

【100天精通python】Day41：python网络爬虫开发_爬虫基础入门_LeapMay的博客-CSDN博客网络爬虫（Web Crawler），是一种自动化程序，用于在互联网上浏览和抓取信息。爬虫可以遍历网页，收集数据，提取信息，以便于进一步处理和分析。网络爬虫在搜索引擎、数据采集、信息监测等领域发挥着重要作用。1.1 工作原理初始URL选择： 爬虫从一个或多个初始URL开始，这些URL通常是你希望开始爬取的网站的主页或其他页面。发送HTTP请求： 对于每个初始URL，爬虫会发送HTTP请求以获取网页内容。https://blog.csdn.net/qq_35831906/article/details/132377113?spm=1001.2014.3001.5502

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/902725.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

线性代数的学习和整理4： 求逆矩阵的多种方法汇总

线性代数的学习和整理4： 求逆矩阵的多种方法汇总

目录 原始问题：如何求逆矩阵？ 1 EXCEL里，直接可以用黑盒表内公式 minverse() 数组公式求A- 2 非线性代数方法：解方程组的方法 3 增广矩阵的方法 4 用行列式的方法计算（未验证） 5 A-1/|A|*A* &…
阅读更多...
构建 NodeJS 影院微服务并使用 docker 部署【01/4】

构建 NodeJS 影院微服务并使用 docker 部署【01/4】

图片来自谷歌 — 封面由我制作 一、说明 构建一个微服务的电影网站，需要Docker、NodeJS、MongoDB，这样的案例您见过吗？如果对此有兴趣，您就继续往下看吧。 在本系列中，我们将构建一个 NodeJS 微服务，并使用…
阅读更多...
【排序】插入排序 希尔排序（改进）

【排序】插入排序 希尔排序（改进）

文章目录 插入排序时间复杂度空间复杂度 代码希尔排序时间复杂度空间复杂度 代码 以从小到大排序为例进行说明。 插入排序 插入排序就是从前向后（i1开始）进行选择，如果找到在i之前（分配一个j下标进行寻找）有比array[i…
阅读更多...
第 7 章 排序算法(2)(冒泡排序)

第 7 章 排序算法(2)(冒泡排序)

7.5冒泡排序 7.5.1基本介绍 冒泡排序（Bubble Sorting）的基本思想是：通过对待排序序列从前向后（从下标较小的元素开始）,依次比较相邻元素的值，若发现逆序则交换，使值较大的元素逐渐从前移向后部…
阅读更多...
手写Promise一：结构的设计

手写Promise一：结构的设计

手写Promise 这里写目录标题 手写Promise手写Promise的规范手册promisesaplus官网手写Promise-结构的设计 手写Promise的规范手册promisesaplus官网 链接: 官网链接 手写Promise-结构的设计 // 手写Promsie const PROMISE_STATUS_PENDING pending //等待状态 const PROMIS…
阅读更多...
自动驾驶仿真：基于Carsim开发的加速度请求模型

自动驾驶仿真：基于Carsim开发的加速度请求模型

文章目录 前言一、加速度输出变量问题澄清二、配置Carsim动力学模型三、配置Carsim驾驶员模型四、添加VS Command代码五、Run Control联合仿真六、加速度模型效果验证 前言 1、自动驾驶行业中，算法端对于纵向控制的功能预留接口基本都是加速度，我们需要…
阅读更多...
【LeetCode75】第三十四题 叶子相似的树

【LeetCode75】第三十四题 叶子相似的树

目录 题目： 示例： 分析： 代码： 题目： 示例： 分析： 给我们两棵二叉树，让我们判断这两棵二叉树的从左到右的叶子节点组成的叶子序列是否一致，即从左到右的叶子节点的数…
阅读更多...
python爬虫实战零基础(2)——网页图片

python爬虫实战零基础(2)——网页图片

网页图片的批量爬取保存 分析思路预备知识xpath用法response.text和 response.content两者的区别 代码实战请求网页内容批量图片保存 分析思路 还是基于request和xpath的爬虫代码 定位目标网址（里面图片还是很好看的 https://pic.netbian.com/4kdongman/index.html&…
阅读更多...
漏洞指北-VulFocus靶场专栏-入门

漏洞指北-VulFocus靶场专栏-入门

漏洞指北-VulFocus靶场01-入门 VulFocus靶场前置条件：入门001 命令执行漏洞step1： 输入默认index的提示step2： 入门002 目录浏览漏洞step1：进入默认页面，找到tmp目录step2 进入tmp目录获取flag文件 VulFocus靶场前置条…
阅读更多...
Linux 线程库中的接口介绍

Linux 线程库中的接口介绍

1.pthread_create()创建线程 pthread_create()的语法形式： 参数解释： 第一个参数thread：事先创建好的pthread_t类型的参数。成功时thread指向的内存单元被设置为新创建线程的线程ID。 第二个参数attr：用于定制各种不同的线程属性…
阅读更多...
三角形添加数--夏令营

三角形添加数--夏令营

题目 tips： 1.本题不要求正三角形输出，只要输出左下三角即可 2.这种输入三角形的，都是可以理解为左下三角形的模型，然后去写f[i][j]f[i-1][j]f[i-1][j1]，写行列 3.还有双重for循环输入输出三角形，注意第二…
阅读更多...
数据处理与统计分析——MySQL与SQL

数据处理与统计分析——MySQL与SQL

这里写目录标题 1、初识数据库1.1、什么是数据库1.2、数据库分类1.3、相关概念1.4、MySQL及其安装1.5、基本命令 2、基本命令2.1、操作数据库2.2、数据库的列类型2.3、数据库的字段属性2.4 创建和删除数据库表2.5、数据库存储引擎2.6、修改数据库 3、MySQL数据管理3.1、外键 My…
阅读更多...
YOLOv5+deepsort实现目标追踪。(附有各种错误解决办法）

YOLOv5+deepsort实现目标追踪。(附有各种错误解决办法）

一、YOLOv5算法相关配置 🐸这里如果是自己只想跑一跑YOLOV5的话，可以参考本章节。只想跑通YOLOv5+deepsort的看官移步到下一章节。 1.1 yolov5下载 🐸yolov5源码在github下载地址上或者Gitee上面都有。需要注意的是由于yolov5的代码库作者一直在维护，所以下载的时候需…
阅读更多...
【前端】vscode javascript 代码片段失效问题解决

【前端】vscode javascript 代码片段失效问题解决

1. 文件--首选项--用户代码片段-vue.json : 添加 // { // // Place your global snippets here. Each snippet is defined under a snippet name and has a scope, prefix, body and // // description. Add comma separated ids of the languages where the snippet is app…
阅读更多...
CentOS 7重置root密码

CentOS 7重置root密码

CentOS 7 如何找回被您 遗忘得 root密码呢？ 步骤如下： 步骤一：在开机出现如下界面的时候就按“e”键 步骤二：在步骤一按下”e”键之后，出现如下界面，按 ↓键一直到底部找到“LANG=zh_CN.UTF-8”这句，在这句后面加上“init=/bin/sh”,然后按Ctrl+x进入单用户，此时需要…
阅读更多...
Log4Qt日志框架（1）- 引入到QT中

Log4Qt日志框架（1）- 引入到QT中

Log4Qt日志框架（1）- 引入到QT中 1 下载源码2 简介3 加入到自己的项目中3.1 使用库文件3.2 引入源文件 4 说明 1 下载源码 github：https://github.com/MEONMedical/Log4Qt 官方(版本较老)：https://sourceforge.net/projects/log4q…
阅读更多...
【李群李代数】李群控制器（lie-group-controllers）介绍——控制 SO(3) 空间中的系统的比例控制器Demo...

【李群李代数】李群控制器（lie-group-controllers）介绍——控制 SO(3) 空间中的系统的比例控制器Demo...

李群控制器SO(3)测试 测试代码是一个用于控制 SO(3) 空间中的系统的比例控制器。它通过计算控制策略来使当前状态逼近期望状态。该控制器使用比例增益 kp 进行参数化，然后进行一系列迭代以更新系统状态，最终检查状态误差是否小于给定的阈值。这个控制器用…
阅读更多...
用 Python 算法预测银行客户行为实战案例

用 Python 算法预测银行客户行为实战案例

这是一份kaggle上的银行的数据集，研究该数据集可以预测客户是否认购定期存款y。这里包含20个特征。 1. 分析框架 2. 数据读取，数据清洗 # 导入相关包 import numpy as np import pandas as pd # 读取数据 data pd.read_csv(./1bank-additional-full.…
阅读更多...
谈谈通信工程专业

谈谈通信工程专业

目录 1.什么是通信工程 2.通信工程学什么 3.通信工程就业方向 4.通信工程发展前景 1.什么是通信工程 通信工程是一门工程学科，它涉及到设计、建设和管理通信系统以及相关设备和技术的应用。通信工程主要关注的是信息的传输、交换和处理，旨在实现可靠…
阅读更多...
vue初始化没反应可以换个位置

vue初始化没反应可以换个位置

本来 这个 在最后初始化没反应 ，换到 中间就可以了 created() {this.model Object.assign({}, {});this.loadTreeData();this.initColumnsSetting()},
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023