开源数据库 - mysql - innodb源码阅读 - master线程(一)

news2024/11/8 22:24:43

master struct

/** The master thread controlling the server. */

void srv_master_thread() {

  DBUG_TRACE;

  

  srv_slot_t *slot; // 槽位

  

  THD *thd = create_internal_thd(); // 创建内部线程

  

  ut_ad(!srv_read_only_mode); //断言 srv_read_only_mode 为 false

  

  srv_main_thread_process_no = os_proc_get_number(); // 进程号

  srv_main_thread_id = std::this_thread::get_id(); // 线程号

  

  slot = srv_reserve_slot(SRV_MASTER); // 保留槽位

  ut_a(slot == srv_sys->sys_threads); // 断言 srv_sys->sys_threads 为 slot

  

  srv_master_main_loop(slot); // 主循环

  

  srv_master_pre_dd_shutdown_loop(); // 执行 pre_dd_shutdown 任务

  

  os_event_set(srv_threads.m_master_ready_for_dd_shutdown); // 设置事件

  

  /* This is just for test scenarios. */

  srv_thread_delay_cleanup_if_needed(true); // 延迟清理线程

  

  while (srv_shutdown_state.load() < SRV_SHUTDOWN_MASTER_STOP) { // 等待srv_shutdown_state 为 SRV_SHUTDOWN_MASTER_STOP

    srv_master_wait(slot); // 等待事件

  }

  

  srv_master_shutdown_loop(); // 执行 shutdown 任务

  

  srv_main_thread_op_info = "exiting"; // 操作信息

  destroy_internal_thd(thd); // 销毁内部线程

}

当前代码是InnoDB存储引擎中主(master)线程的实现部分。主线程负责控制和管理整个InnoDB存储引擎的运行。以下是对代码的详细解释:

  1. 函数声明和初始化

    void srv_master_thread() {
      DBUG_TRACE;
      srv_slot_t *slot;
      THD *thd = create_internal_thd();
      ut_ad(!srv_read_only_mode);
      srv_main_thread_process_no = os_proc_get_number();
      srv_main_thread_id = std::this_thread::get_id();
      slot = srv_reserve_slot(SRV_MASTER);
      ut_a(slot == srv_sys->sys_threads);
    
    • DBUG_TRACE:这是一个调试宏,用于在调试模式下输出跟踪信息。
    • create_internal_thd():创建一个内部线程句柄(THD)。
    • ut_ad(!srv_read_only_mode):断言服务器不是只读模式。
    • srv_main_thread_process_nosrv_main_thread_id:获取并设置主线程的进程号和线程ID。
    • srv_reserve_slot(SRV_MASTER):为主线程保留一个槽位(slot)。
    • ut_a(slot == srv_sys->sys_threads):断言保留的槽位是系统线程。
  2. 主循环

      srv_master_main_loop(slot);
      srv_master_pre_dd_shutdown_loop();
      os_event_set(srv_threads.m_master_ready_for_dd_shutdown);
      srv_thread_delay_cleanup_if_needed(true);
      while (srv_shutdown_state.load() < SRV_SHUTDOWN_MASTER_STOP) {
        srv_master_wait(slot);
      }
      srv_master_shutdown_loop();
    
    • srv_master_main_loop(slot):执行主循环,处理各种任务和检查点。
    • srv_master_pre_dd_shutdown_loop():在DD(数据字典)操作前执行关闭任务。
    • os_event_set(srv_threads.m_master_ready_for_dd_shutdown):设置事件,表示主线程准备好进行DD操作。
    • srv_thread_delay_cleanup_if_needed(true):延迟清理线程,如果需要的话。
    • while (srv_shutdown_state.load() < SRV_SHUTDOWN_MASTER_STOP)... srv_master_wait(slot):等待直到关闭状态达到SRV_SHUTDOWN_MASTER_STOP
    • srv_master_shutdown_loop():执行关闭循环,处理最后的关闭任务。
  3. 线程清理

      srv_main_thread_op_info = "exiting";
      destroy_internal_thd(thd);
    }
    
    • srv_main_thread_op_info = "exiting":设置主线程操作信息为“exiting”。
    • destroy_internal_thd(thd):销毁内部线程句柄,释放资源。

总结来说,这段代码实现了InnoDB存储引擎的主线程,负责管理和控制整个存储引擎的运行,包括处理任务、执行检查点、关闭操作等。

master main_loop

/** Executes the main loop of the master thread.

@param[in]   slot     slot reserved as SRV_MASTER */

static void srv_master_main_loop(srv_slot_t *slot) {

  if (srv_force_recovery >= SRV_FORCE_NO_BACKGROUND) {

    /* When innodb_force_recovery is at least SRV_FORCE_NO_BACKGROUND,

    we avoid performing active/idle master's tasks. However, we still

    need to ensure that:

      srv_shutdown_state >= SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS,

    after we exited srv_master_main_loop(). Keep waiting until that

    is satisfied and then exit. */

    while (srv_shutdown_state.load() <

           SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS) {

      srv_master_wait(slot);

    }

    return;

  }

  

  ulint old_activity_count = srv_get_activity_count();

  

  while (srv_shutdown_state.load() <

         SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS) {

    srv_master_sleep();

  

    MONITOR_INC(MONITOR_MASTER_THREAD_SLEEP);

  

    /* Just in case - if there is not much free space in redo,

    try to avoid asking for troubles because of extra work

    performed in such background thread. */

    srv_main_thread_op_info = "checking free log space";

    log_free_check();

  

    if (srv_check_activity(old_activity_count)) {

      old_activity_count = srv_get_activity_count();

      srv_master_do_active_tasks();

    } else {

      srv_master_do_idle_tasks();

    }

  

    /* Purge any deleted tablespace pages. */

    fil_purge();

  }

}

这段代码定义了一个名为 srv_master_main_loop 的静态函数,它是 InnoDB 存储引擎中主循环的一部分。这个函数在主线程中执行,负责处理各种任务,包括检查和处理活动、执行空闲任务、检查日志空间以及清理删除的表空间页面。

函数的参数是一个指向 srv_slot_t 类型的指针 slot,这个指针指向一个预留的槽位,通常用于线程间的通信。

函数的逻辑如下:

  1. 首先,函数检查 srv_force_recovery 变量的值。如果这个值大于等于 SRV_FORCE_NO_BACKGROUND,则表示 InnoDB 处于强制恢复模式,此时主循环不会执行任何后台任务。相反,它会等待 srv_shutdown_state 变量的值达到 SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS,然后退出循环。

  2. 如果没有处于强制恢复模式,函数会进入一个无限循环,直到 srv_shutdown_state 变量的值达到 SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS

  3. 在循环内部,函数首先调用 srv_master_sleep 函数,让主线程休眠 1 秒。

  4. 然后,函数增加 MONITOR_MASTER_THREAD_SLEEP 监控计数器的值,表示主线程已经休眠。

  5. 接着,函数检查日志空间的可用情况,如果可用空间不足,它会尝试避免执行额外的工作,以防止出现问题。

  6. 之后,函数检查活动计数,如果活动计数发生变化,它会调用 srv_master_do_active_tasks 函数执行活跃任务;如果活动计数没有变化,它会调用 srv_master_do_idle_tasks 函数执行空闲任务。

  7. 最后,函数调用 fil_purge 函数,清理删除的表空间页面。

总的来说,这个函数负责管理主线程的活动,确保在适当的时候执行必要的任务,同时避免在不必要的时候执行过多的工作,以保持系统的稳定性和性能。

srv_master_main_loop 的静态函数,它是 InnoDB 存储引擎中主(master)线程的主要循环。这个函数负责处理服务器的各种活动,包括检查点、日志管理、线程调度等。以下是对代码的详细解释:

  1. 函数声明和参数

    static void srv_master_main_loop(srv_slot_t *slot) {
    
    • srv_slot_t *slot:这是一个指向 srv_slot_t 类型的指针,用于标识线程的槽位。
  2. 强制恢复级别检查

    if (srv_force_recovery >= SRV_FORCE_NO_BACKGROUND) {
      /* When innodb_force_recovery is at least SRV_FORCE_NO_BACKGROUND,
      we avoid performing active/idle master's tasks. However, we still
      need to ensure that:
        srv_shutdown_state >= SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS,
      after we exited srv_master_main_loop(). Keep waiting until that
      is satisfied and then exit. */
      while (srv_shutdown_state.load() <
             SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS) {
        srv_master_wait(slot);
      }
      return;
    }
    
    • 这段代码检查 srv_force_recovery 的值,如果它大于等于 SRV_FORCE_NO_BACKGROUND,则主循环会等待直到 srv_shutdown_state 大于等于 SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS,然后退出循环。
  3. 主循环

    ulint old_activity_count = srv_get_activity_count();
    
    while (srv_shutdown_state.load() <
           SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS) {
      srv_master_sleep();
    
      MONITOR_INC(MONITOR_MASTER_THREAD_SLEEP);
    
      /* Just in case - if there is not much free space in redo,
      try to avoid asking for troubles because of extra work
      performed in such background thread. */
      srv_main_thread_op_info = "checking free log space";
      log_free_check();
    
      if (srv_check_activity(old_activity_count)) {
        old_activity_count = srv_get_activity_count();
        srv_master_do_active_tasks();
      } else {
        srv_master_do_idle_tasks();
      }
    
      /* Purge any deleted tablespace pages. */
      fil_purge();
    }
    
    • ulint old_activity_count = srv_get_activity_count();:获取当前的活动计数。
    • while (srv_shutdown_state.load() < SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS) {...}:主循环会一直运行,直到 srv_shutdown_state 大于等于 SRV_SHUTDOWN_PRE_DD_AND_SYSTEM_TRANSACTIONS
    • srv_master_sleep();:主线程睡眠 1 秒。
    • MONITOR_INC(MONITOR_MASTER_THREAD_SLEEP);:增加监控器中主线程睡眠的计数。
    • srv_main_thread_op_info = "checking free log space";:设置主线程的操作信息为“检查空闲日志空间”。
    • log_free_check();:检查日志文件的空闲空间。
    • if (srv_check_activity(old_activity_count)) {...}:检查活动计数是否有变化,如果有,则执行 srv_master_do_active_tasks();否则,执行 srv_master_do_idle_tasks()
    • fil_purge();:清除任何已删除的表空间页面。

总结来说,这段代码实现了 InnoDB 存储引擎的主循环,负责管理和控制整个存储引擎的运行,包括处理任务、执行检查点、关闭操作等。

通过 srv_master_main_loop 函数,InnoDB 可以实现对线程的精细控制和管理。
InnoDB 的 master 线程主循环主要负责管理和维护数据库的运行状态。具体来说,它执行以下任务:

  1. 检查和处理活动:master 线程会定期检查数据库的活动情况,包括事务的提交、回滚、锁的释放等。如果发现有需要处理的活动,它会调用相应的函数进行处理。

  2. 执行空闲任务:如果没有紧急的活动需要处理,master 线程会执行一些空闲任务,例如清理过期的日志、检查和优化索引等。

  3. 检查日志空间:master 线程会定期检查日志文件的可用空间,如果空间不足,它会采取措施释放空间,例如进行日志切换或删除旧的日志文件。

  4. 清理删除的表空间页面:当表空间中的页面被标记为删除时,master 线程会调用 fil_purge 函数来清理这些页面,释放存储空间。

  5. 等待和处理事件:在某些情况下,master 线程可能需要等待特定的事件发生,例如等待其他线程完成某些任务。一旦事件发生,它会相应地处理这些事件。

  6. 执行关闭前的准备工作:当数据库需要关闭时,master 线程会执行一系列的准备工作,例如等待所有事务完成、将脏页刷新到磁盘、关闭所有打开的文件和连接等。

  7. 执行关闭任务:在关闭过程中,master 线程会执行一些特定的关闭任务,例如清理资源、更新元数据等。

  8. 监控和报告状态:master 线程会监控数据库的运行状态,并通过一些监控计数器和状态信息来报告当前的运行情况。

总的来说,master 线程主循环是 InnoDB 存储引擎的核心部分,它确保数据库能够稳定、高效地运行,并在需要时正确地处理各种任务和事件。

扩展

线程与槽位

线程和槽在计算机编程和操作系统领域中各自扮演着重要的角色,并且它们之间存在一定的关联,特别是在某些特定的框架或系统中(如Qt或Suricata)。以下是对线程和槽的详细解释:

线程

  1. 定义:线程是操作系统能够进行运算调度的最小单位,被包含在进程之中,是进程中的实际运作单位。每个线程都拥有一个执行的指令序列,该序列决定了线程的功能。

  2. 作用

    • 提高系统效率:通过并发执行多个线程,可以更充分地利用多核处理器,提高系统的整体效率。
    • 简化编程模型:线程提供了一种比进程更轻量级的并发执行方式,使得程序员可以更容易地编写并发程序。
    • 资源共享:线程共享其所属进程的地址空间和资源,这有助于减少资源开销和简化资源管理。

槽(Slot)

  1. 定义:槽在不同的上下文中可能有不同的含义。在编程中,槽通常指的是一种机制或数据结构,用于存储和调用特定的函数或方法。特别是在某些事件驱动或信号槽机制的框架中(如Qt),槽是指与信号相关联的函数或方法,当信号被触发时,槽函数会被调用执行。

  2. 在特定系统中的作用(以Suricata为例):

    • 模块管理:在Suricata中,槽(Slot)用于管理不同的模块。每个线程都包含一个槽的链表,每个槽结点都悬挂着不同的模块。程序执行时会遍历槽链表,按照加入链表的顺序执行模块。
    • 函数指针:槽中包含了函数指针,用于指向模块的各种处理函数,如初始化函数、数据包获取函数、退出打印函数等。这使得系统能够灵活地调用不同的模块处理函数,实现特定的功能。

线程与槽的关联

  1. 事件驱动:在事件驱动的编程模型中,线程和槽紧密配合工作。线程负责监听和处理事件,而槽则作为事件处理函数的存储和调用机制。当事件发生时,线程会触发相应的槽函数来处理该事件。
  2. 信号槽机制:在某些框架中(如Qt),线程和槽通过信号槽机制进行通信。信号由某个线程发出,而槽函数则可以在不同的线程中被调用执行。这实现了线程间的解耦和异步通信。

综上所述,线程和槽在编程和操作系统中各自发挥着重要的作用。线程提供了并发执行的能力,而槽则提供了一种灵活的事件处理机制。它们之间的关联使得系统能够更高效地处理并发事件和任务。

srv_slot_t *slot; 这个变量在 InnoDB 存储引擎中用于管理线程的槽位(slot)。在 InnoDB 中,每个线程都需要一个槽位来存储其状态和相关信息。这个槽位是通过 srv_reserve_slot 函数分配的,并且在线程的生命周期内保持不变。

具体来说,slot 变量的作用包括:

  1. 线程标识:每个槽位都有一个唯一的标识符,用于区分不同的线程。
  2. 线程状态管理:槽位中存储了线程的当前状态,例如是否正在运行、是否被挂起等。
  3. 事件通知:通过槽位中的事件(event),可以实现线程间的同步和通信。
  4. 资源管理:槽位还可以用于管理线程的资源,例如内存分配、文件描述符等。

在当前的代码片段中,slot 变量是在 srv_master_thread 函数中声明的,用于为主线程分配一个槽位。在后续的代码中,这个槽位将被用于主线程的各种操作,例如等待事件、执行任务等。

以下是 slot 变量在代码中的具体使用示例:

slot = srv_reserve_slot(SRV_MASTER);
ut_a(slot == srv_sys->sys_threads);

在这段代码中,srv_reserve_slot 函数为主线程分配了一个槽位,并将其赋值给 slot 变量。然后,通过 ut_a 断言确保分配的槽位是正确的。

在 InnoDB 中,线程的槽位管理是非常重要的,因为它确保了线程的正确调度和资源的有效利用。通过 slot 变量,InnoDB 可以实现对线程的精细控制和管理。

SRV_FORCE_NO_BACKGROUND

SRV_FORCE_NO_BACKGROUND 是 MySQL InnoDB 存储引擎中的一个恢复模式参数,具体含义和作用如下:

含义

SRV_FORCE_NO_BACKGROUND 是 InnoDB 存储引擎在启动或恢复过程中可以使用的一个参数,用于控制 InnoDB 主线程(master thread)和后台清理线程(purge thread)的行为。

作用

当设置 SRV_FORCE_NO_BACKGROUND 参数时,它会阻止 InnoDB 的主线程和后台清理线程运行。这通常用于在数据库无法正常启动或存在严重损坏时,允许数据库以最小化风险的方式启动,以便进行数据恢复或其他维护操作。

具体来说,阻止这些线程运行可以防止在数据库启动过程中执行可能引发崩溃的操作,如 full purge 操作(完全清理已删除的数据页)。这有助于在数据库损坏时保持稳定,并允许管理员有机会进行进一步的诊断和修复。

使用场景

SRV_FORCE_NO_BACKGROUND 参数通常用于以下场景:

  1. 数据库无法正常启动:当数据库由于某种原因(如损坏、配置错误等)无法正常启动时,可以使用此参数尝试启动数据库,以便进行进一步的诊断和修复。
  2. 数据恢复:在数据恢复过程中,可能需要阻止后台线程的运行,以避免它们干扰恢复过程或进一步损坏数据。
  3. 紧急维护:在某些紧急情况下,可能需要立即启动数据库以进行某些必要的维护操作,而此时无法等待后台线程完成其任务。

注意事项

  1. 风险:使用 SRV_FORCE_NO_BACKGROUND 参数可能会带来一定的风险,因为它会阻止 InnoDB 存储引擎的正常清理和维护操作。因此,在启用此参数之前,应确保已经备份了所有重要数据。
  2. 临时使用:此参数通常应作为临时解决方案使用,以便进行进一步的诊断和修复。一旦问题解决,应尽快关闭此参数,以恢复 InnoDB 存储引擎的正常运行。
  3. 文档和社区:在决定使用此参数之前,建议查阅 MySQL 官方文档或相关社区论坛,以获取更多关于此参数的信息和使用建议。

综上所述,SRV_FORCE_NO_BACKGROUND 是 MySQL InnoDB 存储引擎中的一个重要恢复模式参数,用于在特定情况下控制 InnoDB 主线程和后台清理线程的行为。在使用此参数时,应谨慎考虑其潜在的风险和限制,并确保已经采取了适当的数据备份和恢复措施。

参考资料

mysql源码 srv0srv.cc
MarsCode AI
文心一言

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2236137.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux基础(十)——磁盘分区、格式化、检验和挂载

磁盘分区、格式化、检验和挂载 1.观察磁盘的分区状态2.UUID3.磁盘分区&#xff08;gdisk/fdisk&#xff09;3.1 gdisk3.2 fdisk 4.磁盘的格式化4.1 XFS文件系统的格式化4.2 ext4文件系统的格式化 5.文件系统的救援6.文件系统的挂载与卸载6.1 挂载6.2 卸载 7.设置开机挂载8.特殊…

Android的BroadcastReceiver

1.基本概念&#xff1a;BroadCast用于进程间或者线程间通信 本质上是用Binder方法&#xff0c;以AMS为订阅中心&#xff0c;完成注册&#xff0c;发布&#xff0c;监听的操作。 2.简单实现的例子 package com.android.car.myapplication;import android.content.BroadcastRe…

一招解决Mac没有剪切板历史记录的问题

使用Mac的朋友肯定都为Mac的剪切功能苦恼过&#xff0c;旧内容覆盖新内容&#xff0c;导致如果有内容需要重复输入的话&#xff0c;就需要一次一次的重复复制粘贴&#xff0c;非常麻烦 但其实Mac也能够有剪切板历史记录功能&#xff0c;iCopy&#xff0c;让你的Mac也能拥有剪切…

利用泰勒公式近似计算10的平方根

文章目录 1. 泰勒公式是什么2、利用泰勒公式计算 10 \sqrt{10} 10 ​第 1 步&#xff1a;泰勒级数展开第 2 步&#xff1a;计算各阶导数第 3 步&#xff1a;在 x 9 x 9 x9 处计算各阶导数第 4 步&#xff1a;构建各阶泰勒展开式第 5 步&#xff1a;计算 f ( 10 ) f(10) f(1…

python-读写Excel:openpyxl-(4)下拉选项设置

使用openpyxl库的DataValidation对象方法可添加下拉选择列表。 DataValidation参数说明&#xff1a; type&#xff1a; 数据类型("whole", "decimal", "list", "date", "time", "textLength", "custom"…

淘宝商品详情API大揭秘:用Python开启探险之旅

淘宝&#xff0c;一个充满奇迹的丛林 在这个名为淘宝的丛林里&#xff0c;每一件商品都是一座神秘的宝藏。而我们&#xff0c;作为勇敢的探险家&#xff0c;将用Python这把瑞士军刀&#xff0c;去揭开这些宝藏的面纱。准备好了吗&#xff1f;让我们一起踏上这段奇妙的探险之旅…

AJAX 全面教程:从基础到高级

AJAX 全面教程&#xff1a;从基础到高级 目录 什么是 AJAXAJAX 的工作原理AJAX 的主要对象AJAX 的基本用法AJAX 与 JSONAJAX 的高级用法AJAX 的错误处理AJAX 的性能优化AJAX 的安全性AJAX 的应用场景总结与展望 什么是 AJAX AJAX&#xff08;Asynchronous JavaScript and XML…

电路设计中的防接反电路

在现代电子产品设计中,防接反电路是确保设备正常运作、避免损坏的重要措施之一。尤其是在日用电器或工厂生产的电子产品中,常常会涉及电源接反的情况。如果产品设计中没有考虑到这一点,可能会导致电路损坏,甚至对使用者造成安全隐患。因此,如何设计有效的防接反电路,是电…

从零开始学习python 7(持续更新ing)

一、Python函数 1.1 函数的定义 函数的定义&#xff1a;实现【特定功能】的代码块。 函数的作用&#xff1a; 简化代码提高代码重用性便于维护和修改提高代码的可扩展性 函数的三要素&#xff1a; 功能 len() max() sum()参数 s.clear() s.append(华清远见)返回值 s.sort()…

NUMAP应用成果亮相中国核学会核反应堆热工流体力学分会第四届学术年会

10月28日-30日&#xff0c;中国核学会核反应堆热工流体力学分会第四届&#xff08;2024年&#xff09;学术年会在北京隆重召开。该学术年会是我国反应堆热工流体领域中方向设置最全、规模最大、最具影响力的学术交流盛会。大会共设置3个专题研讨会、8个主题论坛&#xff0c;组织…

Odoo:免费开源的医药流通行业信息化解决方案

文 / 开源智造Odoo亚太金牌服务 方案概述 开源智造Odoo免费开源ERP提供面向医药批发采、供、销业财一体化&#xff0c;及直接面向消费者的门店终端、全渠道管理、营销管理以及GSP合规管理解决方案&#xff0c;提升企业运营效率和全业务链条的数字化管控、追溯能力。 行业的最新…

支付业务以及支付业务的质量保障

前一段时间要在组里分享支付业务&#xff0c;网上找了很多文章&#xff0c;发现有好多也是我自己写的。回头看看3年前的文章&#xff0c;当时对支付有一定的测试经验&#xff0c;但是对支付的了解也不是很深。 经过这近两年的支付相关的测试经验&#xff0c;对支付业务有了更深…

实现视频一键压缩的10款工具大盘点:

在这个信息爆炸的时代&#xff0c;我们们已经习惯了那些高清的4K视频&#xff0c;但是却出现了新的问题。那就是文件过大臃肿。不用担心&#xff0c;你可以使用视频压缩工具来解决这个问题&#xff1b;市场上的视频压缩工具可谓五花八门&#xff0c;不仅具备了智能的算法压缩技…

【spark的集群模式搭建】Standalone集群模式的搭建(简单明了的安装教程)

文章目录 1、使用Anaconda部署Python2、上传、解压、重命名3、创建软连接4、配置spark环境变量5、修改 spark-env.sh配置文件6、启动hdfs&#xff0c;创建文件夹7、修改spark-defaults.conf配置文件8、修改workers配置文件9、修改log4j.properties配置文件&#xff08;可选&…

《现代网络技术》读书笔记:SDN数据平面和OpenFlow

本文部分内容来源于《现代网络技术&#xff1a;SDN,NFV,QoE、物联网和云计算&#xff1a;SDN,NFV,QoE,IoT,andcloud》 SDN数据平面 SDN 数据平面也称为基础设施层&#xff0c;而在ITU-T的Y3300标准中则称为资源层&#xff0c;它是网络转发设备根据 SDN控制平面的决策来执行数据…

无线婴儿监视器方案(附SI24R1选型)

随着现代科技的进步&#xff0c;父母们对宝宝的关注和保护达到了前所未有的高度。为了满足这一需求&#xff0c;市场上涌现出了一系列智能婴儿监视器。这些设备不仅能实时监控宝宝的活动&#xff0c;还能让父母在家中的任何角落都能轻松掌握宝宝的动态。今天&#xff0c;我们向…

Sigrity Power SI 3D-EM Full Wave HSSO模式如何进行高速差分过孔结构仿真扫描分析以及反标到Allegro操作指导

Sigrity Power SI 3D-EM Full Wave HSSO模式如何进行高速差分过孔结构仿真扫描分析以及反标到Allegro操作指导 高速差分过孔的优化是仿真分析中比较重要的一个环节,Sigrity Power SI 的3D-EM Full-Wave HSSO模式就是对高速差分过孔结构进行优化一个工具,可以不同的参数进行…

FFmpeg 4.3 音视频-多路H265监控录放C++开发十. 多线程控制帧率。循环播放,QT connect 细节,

在前面&#xff0c;我们总结一下前面的代码。 在 FactoryModeForAVFrameShowSDL 构造函数中 init SDL。 通过 QT timerevent机制&#xff0c;通过startTimer(10);每隔10ms&#xff0c;就会调用timerEvent事件。 在timerEvent事件中&#xff0c;真正的去 读取数据&#xff0c…

WebRTC 环境搭建

主题 本文主要描述webrtc开发过程中所需的环境搭建 环境&#xff1a; 运行环境&#xff1a;ubuntu 20.04 Node.js环境搭建 安装编译 Node.js 所需的依赖包: sudo apt-get update sudo apt-get install -y build-essential libssl-dev 下载 Node.js 源码: curl -sL htt…

libgdiplus在MacOS M1上问题:Unable to load shared library ‘libgdiplus‘

libgdiplus在MacOS M1上问题&#xff1a;Unable to load shared library libgdiplus 问题解决步骤1步骤2 问题 在mac上的pycharm中执行下面的代码时出现下面的错误 slide.get_thumbnail( RuntimeError: Proxy error(TypeInitializationException): The type initializer for…