如何使用 Puppeteer 和 Node.JS 进行 Web 抓取？

news2024/11/14 19:50:03

什么是 Headlesschrome？

Headless？是的，这意味着这个浏览器没有图形用户界面 (GUI)。不用鼠标或触摸设备与视觉元素交互，你需要使用命令行界面 (CLI) 来执行自动化操作。

Headlesschrome 和 Puppeteer

很多网页抓取工具都可适用于 Headlesschrome，并且 Headlesschrome 通常可以消除很多麻烦。

你可能还喜欢：如何检测和反检测 Headlesschrome？

Puppeteer 是什么？它是一个 Node.js 库，提供了一个高级 API 来控制 Headlesschrome 或 Chromium，或与 DevTools 协议进行交互。

今天我们将通过 Puppeteer 深入探索 Headlesschrome。

使用 Puppeteer 进行网页抓取的优势是什么？

正如你所想象的，使用 Puppeteer 进行网页抓取有几个很大的优势：

  • Puppeteer 抓取工具能够提取动态数据，因为 Headlesschrome 可以像普通浏览器一样渲染 JavaScript、图像等。
  • Puppeteer 网页抓取脚本更难检测和阻止。由于连接配置看起来像普通用户的配置，因此难以将其识别为自动化操作。

如何使用 Puppeteer 和 Node.JS 进行网页抓取？

在以下示例中，我们将执行基本的网页抓取，帮助你快速入门 Puppeteer。我们选择抓取的页面是 Amazon 的 Apple AirPods Pro 评论区。

但别担心，在此之前，我们还需要做一些准备工作：

安装和配置 Puppeteer

  • 步骤 1. 请确保你已经安装了 Node.js。

如果没有，请直接安装 Node.js (LST)，然后通过 Node.js 的包管理器 npm 安装 Puppeteer。这个过程可能会有点长，因为 Puppeteer 还需要安装相应的 Chrome。

npm i puppeteer
  • 步骤 2. 安装后，你可以运行以下演示代码，确保你的安装是正确的。

你也可以使用此演示代码对 Puppeteer 有一个大致的了解。不要在这里卡住，因为我们稍后将详细介绍 Puppeteer 的用法和相关场景。

Puppeteer 默认启用了 headless 模式。在这里，通过 puppeteer.launch({ headless: false }) 关闭 headless 模式，以便你看到抓取过程。

import puppeteer from 'puppeteer';
// 启动浏览器并打开一个新标签页
const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();
// 导航到指定的 URL
await page.goto('https://developer.chrome.com/');
// 设置屏幕大小
await page.setViewport({width: 1080, height: 1024});
// 定位搜索框元素并在搜索框中输入内容
await page.locator('.devsite-search-field').fill('automate beyond recorder');
// 等待并点击第一个搜索结果
await page.locator('.devsite-result-item-link').click();
// 使用唯一字符串定位完整标题
const textSelector = await page
  .locator('text/Customize and automate')
  .waitHandle();
const fullTitle = await textSelector?.evaluate(el => el.textContent);
// 打印完整标题
console.log('这篇博客文章的标题是 "%s".', fullTitle);
// 关闭浏览器实例
await browser.close();

Puppeteer 是一个基于 Promise 的异步库，通过 async await 可以非常直观地展示其功能。以上演示和后续示例不需要异步函数。这是因为 package.json 中设置了 "type": "module"，使其运行为 ES 模块。

页面分析

好了，我们开始吧。

请先打开 Apple AirPods Pro 的评论区，然后我们需要识别要抓取内容的元素。你可以通过按 Ctrl + Shift + I (Windows/Linux) 或 Cmd + Option + I (Mac) 打开 Devtools。

  • 步骤 1. 点击控制台左上角的元素选择器
  • 步骤 2. 使用鼠标悬停并选择你想要抓取的元素节点。控制台还会突出显示与此元素对应的 HTML 代码

Puppeteer 支持多种元素选择方法（puppeteer 选择器），但最推荐入门使用简单的 CSS 选择器。上面使用的 .devsite-search-field 也是一个 CSS 选择器。

对于复杂的 CSS 结构，调试控制台可以直接复制 CSS 选择器。右键单击需要抓取的元素 HTML，打开 菜单 > 复制 > 复制选择器。

但不建议你这样做，因为从复杂结构复制的选择器可读性非常差，不利于代码维护。当然，对于一些简单的选择和个人测试学习，完全没问题。

现在，元素选择器已经确定。我们可以使用 Puppeteer 尝试抓取我上面选择的用户名。

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto(
  `https://www.amazon.com/Apple-Generation-Cancelling-Transparency-Personalized/product-reviews/B0CHWRXH8B/ref=cm_cr_dp_d_show_all_btm?ie=UTF8&reviewerType=all_reviews`
);

const username = await page.$eval('div[data-hook="genome-widget"] .a-profile-name', node => node.textContent)

console.log('[username]===>', username);

如你所见，上面的代码使用 page.goto 跳转到指定页面。然后 page.$eval 可以获取第一个匹配的元素节点，并通过回调函数获取元素节点的具体属性。

如果你足够幸运，没有触发亚马逊的验证页面，你可以成功获取到值。然而，一个稳定的脚本不能仅仅依靠运气，所以我们接下来还需要进行一些优化。

等待页面加载

尽管我们已经通过上述方法获取了元素节点的信息，但我们必须考虑其他因素：如网络加载速度，页面是否滚动到目标元素以正确加载元素，是否触发了验证页面并需要手动处理。

因此，在加载完成之前，我们必须耐心等待。当然，Puppeteer 还为我们提供了相应的 API 供我们使用。

常用的 waitForSelector 是一个等待元素出现的 API。我们可以使用它来优化上面的代码，以确保脚本的稳定性。在调用 page.$eval 之前，只需使用 waitForSelector API。

这样，Puppeteer 将在页面加载元素 div[data-hook="genome-widget"] .a-profile-name 后再执行后续代码。

await page.waitForSelector('div[data-hook="genome-widget"] .a-profile-name');
const username = await page.$eval('div[data-hook="genome-widget"] .a-profile-name', node => node.textContent)

还有一些其他的等待 API 适用于不同场景。让我们看看一些常用的：

  • page.waitForFunction(pageFunction, options, ...args)：等待页面上下文中的指定函数返回 true。
import puppeteer from 'puppeteer'

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');

// 等待页面的 `window.title` 改变为 "Example Domain"
await page.waitForFunction('document.title === "Example Domain"');
console.log('标题已更改为 "Example Domain"');

await browser.close();
  • page.waitForNavigation(options)：等待页面导航完成。导航可以是点击链接、提交表单、调用 window.location 等。
import puppeteer from 'puppeteer';

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');

// 点击链接并等待导航完成
await Promise.all([
  page.click('a'),
  page.waitForNavigation()
])

console.log('导航完成');
await browser.close();
  • page.waitForRequest(urlOrPredicate, options)：等待匹配指定 URL 或条件函数的请求。
import puppeteer from "puppeteer";

const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();
await page.goto('https://example.com');

// 该请求需要你监控实际页面的请求 URL。这只是一个示例。
// 你可以手动在浏览器地址栏中输入 https://example.com/resolve 来触发请求并验证此演示
const Request = await page.waitForRequest('https://example.com/resolve');

console.log('request-url:', Request.url());
await browser.close()
  • page.waitForResponse(urlOrPredicate, options)：等待匹配指定 URL 或条件函数的响应。
import puppeteer from "puppeteer";

const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();
await page.goto('https://example.com');

// 该响应需要你监控实际页面的响应 URL。这只是一个示例。
// 你可以手动在浏览器地址栏中输入 https://example.com/resolve 来触发响应并验证此演示
const response = await page.waitForResponse('https://example.com/resolve');

console.log('response-status:', response.status());
await browser.close();
  • page.waitForNetworkIdle(options)：等待页面上的网络活动变为空闲状态。此方法用于确保页面已加载完成。
import puppeteer from "puppeteer";

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');

await page.waitForNetworkIdle({
  timeout: 30000, // 最大等待时间 30 秒
  idleTime: 500   // 即在 500 毫秒的空闲时间内没有网络活动
});

console.log('Network is idle.');

// 保存截图以验证页面是否完全加载
await page.screenshot({ path: 'example.png' });
await browser.close();
  • setTimeout：直接使用 JavaScript API 也是一个不错的选择。经过一些包装后，可以在页面上下文中运行。
// 等待两秒后执行后续脚本
await new Promise(resolve => setTimeout(resolve, 2000))
await page.click('.devsite-result-item-link'); // 点击该元素

你对网络爬虫和无头浏览器有任何精彩的想法或疑问吗？
让我们看看其他开发者在 Discord 和 Telegram 上分享了什么吧！

爬取和存储数据

好的，让我们开始爬取页面评论列表中的完整数据。

  • 第 1 步。 数据爬取

我们可以重写上述代码，不再仅仅爬取单个用户名，而是关注整个评论列表。

以下代码也使用 page.waitForSelector 等待评论元素加载，并使用 page.$$ 获取所有与元素选择器匹配的元素节点：

await page.waitForSelector('div[data-hook="review"]');
const reviewList = await page.$$('div[data-hook="review"]');

接下来，我们需要循环遍历评论元素列表，并从每个评论元素中获取所需的信息。

在以下代码中，我们可以获取标题、评分、用户名和内容的 textContent，并获取头像元素节点中 data-src 的属性值，该属性值为头像的 URL 地址。

for (const review of reviewList) {
  const title = await review.$eval(
    'a[data-hook="review-title"] .cr-original-review-content',
    node => node.textContent,
  );
  const rate = await review.$eval(
    'i[data-hook="review-star-rating"] .a-icon-alt',
    node => node.textContent,
  );
  const username = await review.$eval(
    'div[data-hook="genome-widget"] .a-profile-name',
    node => node.textContent,
  );
  const avatar = await review.$eval(
    'div[data-hook="genome-widget"] .a-profile-avatar img',
    node => node.getAttribute('data-src'),
  );
  const content = await review.$eval(
    'span[data-hook="review-body"] span',
    node => node.textContent,
  );
 console.log('[log]===>', { title, rate, username, avatar, content });
}
  • 第 2 步。 存储数据

运行上述代码后，你应该能够在终端中看到打印的日志信息。

如果你想进一步存储这些数据，可以使用基本的 nodejs 模块 fs 将数据写入 json 进行后续的数据分析。

以下是一个简单的工具函数：

import fs from 'fs';

function saveObjectToJson(obj, filename) {
  const jsonString = JSON.stringify(obj, null, 2)
  fs.writeFile(filename, jsonString, 'utf8', (err) => {
    err ? console.error(err) : console.log(`文件已成功保存: ${filename}`);
  });
}

完整代码如下。运行后，你可以在当前脚本执行路径中找到 amazon_reviews_log.json 文件，该文件记录了所有的爬取结果！

import puppeteer from 'puppeteer';
import fs from 'fs';

const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto(
  `https://www.amazon.com/Apple-Generation-Cancelling-Transparency-Personalized/product-reviews/B0CHWRXH8B/ref=cm_cr_dp_d_show_all_btm?ie=UTF8&reviewerType=all_reviews`
);

await page.waitForSelector('div[data-hook="review"]');
const reviewList = await page.$$('div[data-hook="review"]');

const reviewLog = []

for (const review of reviewList) {
  const title = await review.$eval(
    'a[data-hook="review-title"] .cr-original-review-content',
    node => node.textContent,
  );
  const rate = await review.$eval(
    'i[data-hook="review-star-rating"] .a-icon-alt',
    node => node.textContent,
  );
  const username = await review.$eval(
    'div[data-hook="genome-widget"] .a-profile-name',
    node => node.textContent,
  );
  const avatar = await review.$eval(
    'div[data-hook="genome-widget"] .a-profile-avatar img',
    node => node.getAttribute('data-src'),
  );
  const content = await review.$eval(
    'span[data-hook="review-body"] span',
    node => node.textContent,
  );
  console.log('[log]===>', { title, rate, username, avatar, content });
  reviewLog.push({ title, rate, username, avatar, content })
}

function saveObjectToJson(obj, filename) {
  const jsonString = JSON.stringify(obj, null, 2)
  fs.writeFile(filename, jsonString, 'utf8', (err) => {
    err ? console.error(err) : console.log(`文件已成功保存: ${filename}`);
  });
}

saveObjectToJson(reviewLog, 'amazon_reviews_log.json')
await browser.close()

Puppeteer 的其他功能示例

了解了基本用法之后？现在，我们可以继续了解 Puppeteer 的强大功能。运行以下示例后，我相信你会对这个工具有新的认识。

1. 模拟鼠标移动

使用 page.mouse.move 来操作鼠标移动。

为了让你感受到光标确实在页面上移动，以下演示是一个无限循环，将使鼠标随机移动以触发页面的悬停样式。

需要注意的是，触发悬停的前提是鼠标移动不能太快。move 方法中的 steps: 10 配置了移动速率。这个步骤也可以降低网站被检测到的概率。

Page.evaluate 是一个非常有用的 API，允许你在页面上下文中执行仅在浏览器环境中运行的 JavaScript 代码，例如使用 window API。这里的目的是将页面滚动到底部，以便页面评论会完全加载。

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();
await page.goto('https://www.google.com');

// 获取屏幕的宽度和高度
const { width, height } = await page.evaluate(() => {
  return { width: window.innerWidth, height: window.innerHeight };
});

// 无限循环，模拟随机的鼠标移动
while (true) {
  const x = Math.floor(Math.random() * width);
  const y = Math.floor(Math.random() * height);
  await page.mouse.move(x, y, { steps: 10 });
  console.log(`鼠标位置: (${x}, ${y})`);
  await new Promise(resolve => setTimeout(resolve, 200)); // 每 0.2 秒移动一次
}

2. 点击按钮并填写表单

我们在初始演示中也遇到过这个。如何改变写法并使用其他 API 实现它？

你会看到一些选择器前面带有 >>>，这是 Puppeteer 提供的 Shadow DOM selector。大多数操作都是通过 delay 进行延迟触发，这可以很好地模拟真实用户的行为，使你的脚本更稳定，避免触发某些网站的反爬虫机制。

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({
  headless: false,
  // defaultView 设置宽度和高度为 0，这意味着网页内容填充整个窗口。
  defaultViewport: { width: 0, height: 0 }
});
const page = await browser.newPage();

await page.goto('https://developer.chrome.com/docs/css-ui?hl=de');

await page.click('>>> button[aria-controls="language-menu"]', { delay: 500 });

// 跳转到新页面并等待跳转成功
await Promise.all([
  page.click('>>> li[role="presentation"]', { delay: 500 }),
  page.waitForNavigation(),
])

// 使用 setTimeout 作为延迟器，等待 2 秒加载页面
await new Promise(resolve => setTimeout(resolve, 2000))

// 聚焦输入框
await page.focus('input.devsite-search-query', { delay: 500 });

// 通过键盘输入文本
await page.keyboard.type('puppeteer', { delay: 200 });

// 触发键盘回车键并提交表单
await page.keyboard.press('Enter')

console.log('form submit successfully');
await page.close()

3. 使用 Puppeteer 截取屏幕截图

Puppeteer 提供了方便的截图 API，这是一个非常实用的功能，我们在上面的示例中已经看到过。

截图文件的质量可以通过 quality 进行很好的控制，clip 用于裁剪图片。如果你对截图比例有要求，也可以设置 defaultViewport 来实现。

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({ defaultViewport: { width: 1920, height: 1080 } });
const page = await browser.newPage();

await page.goto('https://www.youtube.com/');

await page.screenshot({ path: 'screenshot1.png' });
await page.screenshot({ path: 'screenshot2.jpeg', quality: 50 });
await page.screenshot({ path: 'screenshot3.jpeg', clip: { x: 0, y: 0, width: 150, height: 150 } });

console.log('screenshot saved');
await browser.close();

4. 在 Puppeteer 中拦截或阻止请求

要拦截请求，首先需要使用 setRequestInterception 激活请求拦截。运行以下示例，你会惊讶地发现页面样式消失了，图片和图标也不见了。

这是因为通过页面监控了请求，并且使用 interceptedRequest 的 resourceType 和 url 来判断是否取消或重写相应的请求。

我们需要注意的是，在处理请求拦截之前，应该调用 isInterceptResolutionHandled 方法，以避免重复处理请求或发生冲突。

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();

// 激活请求拦截
await page.setRequestInterception(true);
page.on('request', interceptedRequest => {
  // 避免请求被重复处理
  if (interceptedRequest.isInterceptResolutionHandled()) return;
  // 拦截请求并重写响应
  if (interceptedRequest.url().includes('https://fonts.gstatic.com/')) {
    interceptedRequest.respond({
      status: 404,
      contentType: 'image/x-icon',
    })
    console.log('icons request blocked');
    // 阻止样式请求
  } else if (interceptedRequest.resourceType() === 'stylesheet') {
    interceptedRequest.abort();
    console.log('Stylesheet request blocked');
    // 阻止图片请求
  } else if (interceptedRequest.resourceType() === 'image') {
    interceptedRequest.abort();
    console.log('Image request blocked');
  } else {
    interceptedRequest.continue();
  }
});

await page.goto('https://www.youtube.com/');

当然，上述功能也可以借助一些工具实现，例如使用 Nstbrowser RPA 来加速你的爬虫！

步骤 1. 进入 Nstbrowser 的首页，点击 RPA/Workflow > 创建工作流。

步骤 2. 进入工作流编辑页面后，你可以直接通过拖拽鼠标复现上述功能。

左侧的 Node 几乎可以满足你所有的爬虫或自动化需求，这些节点与 Puppeteer API 高度一致。

你可以通过连接这些节点来校准执行顺序，就像执行 JavaScript 异步代码一样。如果你了解 Puppeteer，你可以快速上手 Nstbrowser RPA 功能，它就是你所见即所得。

步骤 3. 每个 Node 都可以单独配置，配置的信息几乎与 Puppeteer 的配置相对应。

a. 鼠标移动

b. 点击按钮

c. 输入

d. 键盘按键

e. 等待响应

f. 截图

此外，Nstbrowser RPA 还有更多常见和独特的节点。你可以通过简单的拖拽完成常见的爬虫操作。

设置 HTTP Headers 以避免机器人检测

HTTP headers 是在客户端（浏览器）和服务器之间交换的附加信息。它们包含请求和响应的元数据，例如内容类型、用户代理、语言设置等。

常见的 HTTP headers 包括：

  • User-Agent：标识客户端应用程序类型、操作系统、软件版本及其他信息。
  • Accept-Language：指示客户端可以理解的语言及其优先级。
  • Referer：指示请求的来源页面。

通过修改这些 headers，你可以将自己伪装成不同的浏览器或操作系统，从而降低被检测为机器人的风险。

在使用 Puppeteer 时，你可以使用 page.setExtraHTTPHeaders 方法在跳转到网页之前设置 headers：

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({ headless: false });
const page = await browser.newPage();

// 设置自定义 HTTP headers
await page.setExtraHTTPHeaders({
  'Accept-Language': 'en-US,en;q=0.9',
  'Referer': 'https://www.google.com',
  'MyHeader': 'hello puppeteer'
});

await page.goto('https://www.httpbin.org/headers');

但如果你想修改 User-Agent，则不能使用上述方法。因为浏览器中的 User-Agent 有一个默认值。如果你确实想更改它，可以使用 page.setUserAgent。

import puppeteer from "puppeteer";

const browser = await puppeteer.launch();
const page = await browser.newPage();

await page.setUserAgent('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.5790.98 Safari/537.36');

await page.goto('https://example.com/');
const navigator = await page.evaluate(_ => window.navigator.userAgent)
const platform = await page.evaluate(_ => window.navigator.platform)
console.log('userAgent: ', navigator);
console.log('platform: ', platform);
await browser.close();

但这一步还不够。从上面打印的信息来看，paltform 仍然设置为 win32，并没有被真正修改。

大多数网站通过 window.navigator 进行检测。因此有必要对 navigator 进行深入修改。在使用 page.goto 之前，我们可以在 page.evaluateOnNewDocument 中深入修改 navigator。

下面是 page.evaluateOnNewDocument 和 page.evaluate 之间区别的简要说明：

  • 如果你需要修改浏览器环境或在每个页面加载前执行一些操作，请使用 evaluateOnNewDocument。
  • 如果你只需要与当前加载的页面进行交互或提取数据，请使用 evaluate。
await page.evaluateOnNewDocument(() => {
  Object.defineProperties(navigator, {
    platform: {
      get: () => 'Mac'
    },
  });
});

结论

本文中的每一行都在描述最详细的指南，涵盖了以下内容：

  • 什么是 headlesschrome？
  • 什么是 Puppeteer？
  • 如何使用 headlesschrome 进行网页爬取？

想轻松进行网页爬取和自动化操作吗？Nstbrowser RPA 帮助你简化所有任务。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2034174.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【千帆平台】零代码结合知识库或者插件开发一款AI应用，2024年奥运会运动员获奖信息（人工智能应用）

【千帆平台】零代码结合知识库或者插件开发一款AI应用，2024年奥运会运动员获奖信息（人工智能应用）

欢迎来到《小5讲堂》 这是《千帆》系列文章，每篇文章将以博主理解的角度展开讲解。 温馨提示：博主能力有限，理解水平有限，若有不对之处望指正！ 目录 背景组件方式prompt新参数运动员信息组件奖牌排行榜组件 知识库方式…
阅读更多...
【Python】函数入门（上）

【Python】函数入门（上）

本篇文章将讲解以下知识： （1）初识函数 （2）函数的参数 （3）函数的返回值 1、初识函数 什么是函数？ 函数可以看成是一大堆功能代码的集合。 定义函数格式： def 函…
阅读更多...
【ARM】Cortex-A72技术手册(1)

【ARM】Cortex-A72技术手册(1)

目录 1.介绍 1.1接口 1.2 实现选项 2.功能描述 2.1 processor内部的组件 2.2 接口 2.2.1 Memory接口 2.2.2 可选的Accelerator Coherency Port 2.2.3 可选的GIC CPU接口 2.2.4 Debug 接口 2.2.5 Trace 接口 2.2.6 PMU接口 2.2.7 通用的Timer接口 2.2.8 Cross tri…
阅读更多...
html 关于table合并外边框以及自动滚动问题汇总

html 关于table合并外边框以及自动滚动问题汇总

合并外边框 .tab_main{ width: 100%; height:100%; border: 1px solid #ccc; text-align: center; border-spacing: 0; border-collapse: collapse;//合并外边框 } 固定高度显示上下滑动 <div styleoverflow:scroll;height:100%> <di…
阅读更多...
LeetCode 热题 HOT 100 （035/100）【宇宙最简单版】

LeetCode 热题 HOT 100 （035/100）【宇宙最简单版】

【栈】No. 0394 字符串解码【中等】&#x1f449;力扣对应题目指路 希望对你有帮助呀&#xff01;&#xff01;&#x1f49c;&#x1f49c; 如有更好理解的思路&#xff0c;欢迎大家留言补充 ~ 一起加油叭 &#x1f4a6; 欢迎关注、订阅专栏 【力扣详解】谢谢你的支持&#xff…
阅读更多...
Java面试八股之什么是消息队列

Java面试八股之什么是消息队列

什么是消息队列 消息队列&#xff08;Message Queue&#xff09;是一种应用程序间通信&#xff08;IPC&#xff09;的形式&#xff0c;它允许进程将消息发送到另一个消息队列&#xff0c;接收端则可以在任何时刻从队列中取出这些消息进行处理。消息队列提供了一种异步处理、解…
阅读更多...
R语言 | 发一篇 Science 需要学会多少个R包？

R语言 | 发一篇 Science 需要学会多少个R包？

1. 一个一个举例子 1.1 实例1 该论文提供的代码涵盖的分析方向齐全&#xff0c;且代码风格和R语言编程细节都有值得学习的地方。代码有点多&#xff0c;包括R&#xff0c;rmd&#xff0c; py&#xff0c;jupyter notebook, shell等格式&#xff0c;压缩包见Q群文件: 187923577…
阅读更多...
今年免费AI写作神器推荐，文案创作新宠儿

今年免费AI写作神器推荐，文案创作新宠儿

面对日益增长的创作需求与有限的个人精力&#xff0c;如何高效产出高质量的内容成为了许多创作者面临的共同挑战。幸运的是&#xff0c;现在有不少ai写作免费工具可以帮我们实现。 1.宙语AI写作 链接直达&#xff1a;https://ailjyk.com/pc 这款工具作为一款在线AI应用&#…
阅读更多...
最佳 5 款 SD 卡照片恢复应用程序，用于从 SD 卡恢复已删除的照片

最佳 5 款 SD 卡照片恢复应用程序，用于从 SD 卡恢复已删除的照片

我们都知道照片承载着我们一生中最美好的回忆。但残酷的事实是&#xff0c;尽管你备份了所有的照片&#xff0c;但有些文件总会莫名其妙地丢失。无论是意外删除还是由于某种原因格式化设备&#xff0c;数据丢失都是不可避免的。因此&#xff0c;我们不会创建同一文件的数千份副…
阅读更多...
恶补费马小定理和组合数

恶补费马小定理和组合数

前言&#xff1a;我们平时遇到的组合数如果用杨辉三角型做的话&#xff0c;预处理的复杂度是 n 2 n^2 n2 &#xff0c;遇到大一点的数据就会爆炸 我们怎么去优化呢 C ( n , k ) n ! k ! ⋅ ( n − k ) ! m o d mod C(n, k) \frac{n!}{k! \cdot (n-k)!} \mod \text{mod} C(…
阅读更多...
深入剖析大模型安全问题：Langchain框架的隐藏风险

深入剖析大模型安全问题：Langchain框架的隐藏风险

随着大模型热度持续&#xff0c;基于大模型的各类应用层出不穷。Langchain 作为一个以 LLM 模型为核心的开发框架&#xff0c;可以帮助我们灵活地创建各类应用&#xff0c;同时也为大模型的应用引入新的安全隐患。从今年 4 月 Langchain 被爆出在野 0day 漏洞开始&#xff0c;各…
阅读更多...
PHP项目任务系统小程序源码

PHP项目任务系统小程序源码

&#x1f680;解锁高效新境界&#xff01;我的项目任务系统大揭秘&#x1f50d; &#x1f31f; 段落一&#xff1a;引言 - 为什么需要项目任务系统&#xff1f; Hey小伙伴们&#xff01;你是否曾为了杂乱的待办事项焦头烂额&#xff1f;&#x1f92f; 或是项目截止日逼近&…
阅读更多...
LeetCode刷题笔记第191题：位1的个数

LeetCode刷题笔记第191题：位1的个数

LeetCode刷题笔记第191题&#xff1a;位1的个数 题目&#xff1a; 想法&#xff1a; 通过位运算判断二级制形式中有多少个1&#xff0c;代码及解释如下&#xff1a; class Solution:def hammingWeight(self, n: int) -> int:return sum(1 for i in range(32) if n & …
阅读更多...
十三、list 类

十三、list 类

Ⅰ . list 的介绍和使用 01 初识 list 我们已经学习过 string 和 vector 了&#xff0c;想必大家已经掌握了查文档的能力 现在我们去学习如何使用 list &#xff0c;最好仍然打开文档去学习 list - C Reference ① list 是一个顺序容器 允许在任意位置进行 O(1) 插入和删除…
阅读更多...
Blazor开发框架Known-V2.0.7

Blazor开发框架Known-V2.0.7

V2.0.7 Known是基于Blazor的企业级快速开发框架&#xff0c;低代码&#xff0c;跨平台&#xff0c;开箱即用&#xff0c;一处代码&#xff0c;多处运行。 官网&#xff1a;http://known.pumantech.comGitee&#xff1a; https://gitee.com/known/KnownGithub&#xff1a;http…
阅读更多...
2024.8.7（SQL语句）

2024.8.7（SQL语句）

一、回顾 1、主服务器 [rootslave-mysql ~]# yum -y install rsync [rootmaster-mysql ~]# yum -y install rsync [rootmaster-mysql ~]# tar -xf mysql-8.0.33-linux-glibc2.12-x86_64.tar [rootmaster-mysql ~]# ls [rootmaster-mysql ~]# tar -xf mysql-8.0.33-linux-glib…
阅读更多...
ssd202d-添加4g模块-HM609

ssd202d-添加4g模块-HM609

1.lsusb要看到设备 2.驱动部分要打开usb识别,rndis支持 diff --git a/kernel/arch/arm/configs/infinity2m_spinand_ssc011a_s01a_minigui_defconfig b/kernel/arch/arm/configs/infinity2m_spinand_ssc011a_s01a_minigui_defconfig index e6a2e43b6..b0a60f4ee 100755 --- a/…
阅读更多...
新品上市：ATA-401高压功率放大器技术参数、特点及应用

新品上市：ATA-401高压功率放大器技术参数、特点及应用

随着电子工程师不断增长的测试需求&#xff0c;安泰电子也在不断的拓展和研发新产品&#xff0c;近期安泰ATA-400系列高压功率放大器正式上线&#xff0c;又一单品新品测试仪器加入了Aigtek大家庭——ATA-401高压功率放大器。 关于ATA-401高压功率放大器 参数指标介绍&#xff…
阅读更多...
基于vue框架的CIA报价平台的设计与实现1xv02（程序+源码+数据库+调试部署+开发环境）系统界面在最后面。

基于vue框架的CIA报价平台的设计与实现1xv02（程序+源码+数据库+调试部署+开发环境）系统界面在最后面。

系统程序文件列表 项目功能&#xff1a;用户,供应商,产品分类,产品信息,在线咨询,资质申请 开题报告内容 基于Vue框架的CIA报价平台的设计与实现 开题报告 一、选题背景 随着市场竞争的日益激烈&#xff0c;企业对于成本控制与效率提升的需求愈发迫切。在采购与供应链管理…
阅读更多...
Unity URP 浅析两种模型透明Shader原理

Unity URP 浅析两种模型透明Shader原理

Unity URP 浅析两种模型透明Shader原理 前言实现第一种 单个Pass写入深度的逻辑正确半透明模型第二种 2个Pass分工合作视觉正确的半透明模型 参考 前言 使用Unity做过半透明的朋友们都知道&#xff0c;这里面一堆坑&#xff0c;下面简单说两种透明Shader在ASE中的实现&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023