skynet设计原理和使用

news2024/11/30 2:50:22

skynet设计原理

  • 一、多核并发编程方式
  • 二、skynet
    • 2.1、skynet简介
    • 2.2、环境准备
    • 2.3、编译安装
    • 2.4、Actor 模型
    • 2.5、消息队列
    • 2.6、actor公平调度
  • 三、skynet的使用
    • 3.1、第一个skynet程序
    • 3.2、skynet网络消息
    • 3.3、skynet定时消息
    • 3.4、skynet actor间消息
  • 四、vscode调试skynet
  • 总结
  • 后言

一、多核并发编程方式

(1)多线程。
在一个进程中开启多线程,为了充分利用多核,一般设置工作线程的个数为 cpu 的核心数。memcached 就是采用这种方式。
多线程在一个进程当中,所以数据共享来自进程当中的虚拟内存;这里会涉及到很多临界资源的访问,所以需要考虑加锁。

(2)多进程。
在一台机器当中,开启多个进程充分利用多核,一般设置工作进程的个数为 cpu 的核心数。nginx 就是采用这种方式,nginx 当中的 worker 进程,通过共享内存来进行共享数据;也需要考虑使用锁。

(3)CSP。
以 go 语言为代表,并发实体是协程(用户态线程、轻量级线程);内部也是采用多少个核心开启多少个线程来充分利用多核。

(4)Actor。
erlang 从语言层面支持 actor 并发模型,并发实体是 actor(在skynet 中称之为服务);skynet 采用 c + lua来实现 actor 并发模型;底层也是通过采用多少个核心开启多少个内核线程来充分利用多核。

二、skynet

2.1、skynet简介

它是一个轻量级游戏服务器框架,但也不仅仅用于游戏。
轻量级体现在:

  1. 实现了 actor 模型,以及相关的脚手架(工具集):actor 间数据共享机制以及c 服务扩展机制。
  2. 实现了服务器框架的基础组件。实现了 reactor 并发网络库;并提供了大量连接的接入方案;基于自身网络库,实现了常用的数据库驱动(异步连接方案),并融合了 lua 数据结构;实现了网关服务;时间轮用于处理定时消息。

skynet抽象了actor并发模型,用户层抽象进程;sknet通过消息的方式共享内存;通过消息驱动actor运行。

skynet的actor模型使用lua虚拟,lua虚拟机非常小(只有几十kb),代价不高;每个actor对应一个lua虚拟机;系统中不能启动过多的进程就是因为资源受限,lua虚拟机占用的资源很少,可以开启很多个,这就能抽象出很多个用户层的进程。lua虚拟机可以共享一些数据,比如常量,达到资源复用。

抽象进程而不抽象线程的原因在于进程有独立的工作空间,隔离的运行环境。

sknet的所有actor都是对等的,通过公平调度实现。

2.2、环境准备

ubuntu:

sudo apt-get install git build-essential readline-dev autoconf
# 或者
sudo apt-get install git build-essential libreadline-dev autoconf

centos:

yum install -y git gcc readline-devel autoconf

mac:

yum install -y git gcc readline-devel autoconf

2.3、编译安装

git clone https://github.com/cloudwu/skynet.git
cd skynet
# centos or ubuntu
make linux
# mac
make macosx

2.4、Actor 模型

有消息的 actor 为活跃的 actor,没有消息为非活跃的 actor。
定义:

  1. 用于并行计算;
  2. Actor 是最基本的计算单元;
  3. 基于消息计算;
  4. Actor 通过消息进行沟通。

组成:

  1. 隔离的环境。主要通过 lua 虚拟机来实现。
  2. 消息队列。用来存放有序(先后到达)的消息。
  3. 回调函数。用来运行 Actor;从 Actor 的消息队列中取出消息,并作为该回调函数的参数来运行 Actor。

2.5、消息队列

Actor 模型基于消息计算,在 skynet 框架中,消息包含 Actor(之间)消息、网络消息以及定时消息。

生产者生产消息,消息放入消息队列中,由线程池去消费消息。

2.6、actor公平调度

所有的actor都是对等的,每个actor都有自己的消息队列;skynet的并发实体是actor,因此需要公平的调度actor。

skynet会有非常的actor,公平调度就非常重要;采用两级队列。
首先,查找活跃的消息队列(有消息的消息队列);
然后,通过队列组织所有活跃的消息队列;
最后,调度队列。
actor_shc
线程池从一级队列取出一个消息,消费消息,消费完消息后如果还有消息,则添加到一级队列的末尾。

因为用户问题造成消息不均匀,在应用上不一定公平;skynet在工作线程赋予权重来解决这个问题。

// 工作线程权重图   32个核心
static int weight[] = {
    -1, -1, -1, -1, 0, 0, 0, 0,
    1, 1, 1, 1, 1, 1, 1, 1,  // 1/2
    2, 2, 2, 2, 2, 2, 2, 2,  // 1/4
    3, 3, 3, 3, 3, 3, 3, 3, }; // 1/8

当工作线程的权重为 -1 时,该工作线程每次只 pop 一条消息;当工作线程的权重为 0 时,该工作线程每次消费完所有的消息;当工作线程的权重为 1 时,每次消费消息队列中二分之一的消息;当工作线程的权重为 2 时,每次消费消息队列中四分之一 的消息;以此类推;通过这种方式,完成消息队列梯度消费,从而不至于让某些队列过长。

三、skynet的使用

github 上打开 skynet 点击 wiki 里面有所有函数的详细说明。

3.1、第一个skynet程序

(1)在sknet源码的父目录下创建一个config文件,用于定制skynet的行为。
内容可参考如下:

thread=4
logger=nil
harbor=0
start="main"
lua_path="./skynet/lualib/?.lua;./skynet/lualib/?/init.lua;"
luaservice="./skynet/service/?.lua;./app/?.lua"
lualoader="./skynet/lualib/loader.lua"
cpath="./skynet/cservice/?.so"
lua_cpath="./skynet/luaclib/?.so"

参数说明:

参数作用
thread指定skynet开启的工作线程数量,一般为CPU的核心数
loggerlog配置,指定为nil表示打印到控制台,指定文件名则写日志到指定文件
logpath指定日志路径
harbor集群相关的设置,设为0表示不使用集群
start指定服务启动的抽象进程
lua_path指定读取的lua路径
luaservicelua抽象的进程,指定启动的lua路径
lualoaderlua加载的路径
cpath,lua_cpathc语言写的进程路径

(2)在app文件下面创建main.lua。每次启动时都是从skynet.start(…)中运行,相当于入口函数。

local skynet = require("skynet")

skynet.start(function()
    -- body
    print("hello skynet")
end)

(3)编写一个自己项目的makefile。首先编译skynet的源码,如果有自己的c代码直接加入makefile文件。

SKYNET_PATH?=./skynet

all:
	cd $(SKYNET_PATH) && $(MAKE) PLAT='linux'

clean:
	cd $(SKYNET_PATH) && $(MAKE) clean

(4)编译,执行自己的makefile。

make

(5)执行skynet,指定config。

./skynet/skynet config
[:00000002] LAUNCH snlua bootstrap
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000002] KILL self

可以看到打印了hello skynet。

3.2、skynet网络消息

skynet 当中采用一个 socket 线程来处理网络信息;skynet 基于 reactor 网络模型。

网络消息驱动actor运行。需要skynet.socket模块。
首先绑定一个监听 listenfd,然后调用socket.start(listenfd, function)绑定fd到进程函数function中处理。

示例:
main.lua

local skynet = require "skynet"
local socket=require "skynet.socket"


skynet.start(function()
    -- body
    print("hello skynet")

    local listenfd=socket.listen("0.0.0.0",8888);
    socket.start(listenfd,function(clientfd,addr)
        -- body
        print("receive a client: ",clientfd,addr);
    end)

end)

[:00000002] LAUNCH snlua bootstrap
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000002] KILL self
receive a client: 	2	192.168.0.105:50024

3.3、skynet定时消息

定时任务推送给定时线程,定时线程检测完时间后往消息队列推送一个消息,然后actor开始执行callback函数。

使用示例:
main.lua

local skynet = require "skynet"


skynet.start(function()
    -- body
    print("hello skynet")
    skynet.timeout(100,function()
        -- body
        print("timer 1s");
    end)

end)

3.4、skynet actor间消息

所有的服务都是通过消息来交换数据。actor间消息通信通过将消息放到对方的消息队列实现。

示例,创建两个lua文件。
main发送“ping”给slave,协程挂起;slave回复“pong”给main,协程唤醒。整个过程使用协程实现异步操作,消除异步中的回调。
main.lua

local skynet = require("skynet")

skynet.start(function()
    -- body
    print("hello skynet")

    local slave=skynet.newservice("slave")
    local response=skynet.call(slave,"lua","ping")
    print("main ",response)
end)

slave.lua

local skynet = require "skynet"

local CMD={}

function CMD.ping()
    -- body
    skynet.retpack("pong")
end

skynet.start(function()
    skynet.dispatch("lua",function(session,source,cmd,...)
        local func=assert(CMD[cmd])
        func(...)
    end)
end)

执行效果:

[:00000002] LAUNCH snlua bootstrap
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000009] LAUNCH snlua slave
main    pong
[:00000002] KILL self

四、vscode调试skynet

首先要知道整个系统/框架 是怎么应用的。skynet会自己产生一个skynet执行程序,需要指定配置文件来启动服务。

项目下的.vscode文件夹需要如下三个文件。

launch.json

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "启动 app",
            "type": "cppdbg",
            "request": "launch",
            "program": "${workspaceFolder}/skynet/skynet",
            "args": ["config"],
            "stopAtEntry": false,
            "cwd": "${workspaceFolder}",
            "environment": [],
            "externalConsole": false,
            "MIMode": "gdb",
            "setupCommands": [
                {
                    "description": "为 gdb 启用整齐打印",
                    "text": "-enable-pretty-printing",
                    "ignoreFailures": true
                },
                {
                    "description": "将反汇编风格设置为 Intel",
                    "text": "-gdb-set disassembly-flavor intel",
                    "ignoreFailures": true
                }
            ],
            "preLaunchTask": "build-skynet",
            "miDebuggerPath": "/usr/bin/gdb"
        }
    ]
}

settings.json

{
    "C_Cpp.default.configurationProvider": "ms-vscode.makefile-tools",
    "files.associations": {
        "string.h": "c",
        "stdlib.h": "c",
        "pthread.h": "c"
    },
}

tasks.json

{
    "tasks": [
        {
            "type": "cppbuild",
            "label": "build-skynet",
            "command": "/usr/bin/make",
            "args": [],
            "options": {
                "cwd": "${workspaceFolder}"
            },
            "problemMatcher": [
                "$gcc"
            ],
            "group": {
                "kind": "build",
                "isDefault": true
            },
            "detail": "..."
        }
    ],
    "version": "2.0.0"
}

实现这三个文件就可以开始调试了。
skynet是一个网络服务,需要处理网络连接,需要知道数据是怎么流向,理解框架的运行机制(多线程并发);所有的actor的运行都是由线程池来驱动,actor的运行又是由消息队列的消息驱动(网络消息、定时消息、actor间消息)。

线程池从消息队列中取出消息,找到回调函数,驱动actor运行。

总结

  1. 不要通过共享内存来通信,而应该通过通信来共享内存。CSP 和 Actor 都符合这一哲学;通过通信来共享数据,其实是一种解耦合的过程。并lua发实体之间可以分别开发并单独优化,而它们唯一的耦合在于消息;这能让我们快速地进行开发;同时也符合我们开发的思路,将一个大的问题拆分成若干个小问题。

  2. actor模型是在用户层抽象了进程。

  3. actor调度:将活跃的 actor 通过全局队列组织起来;actor 当中的消息队列有消息就是活跃的 actor; 线程池去全局队列中取出 actor 的消息队列,接着运行actor。

后言

本专栏知识点是通过<零声教育>的系统学习,进行梳理总结写下文章,对c/c++linux系统提升感兴趣的读者,可以点击链接查看详细的服务:C/C++服务器开发 。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/84958.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python比较难的知识点: 迭代器与生成器

迭代器与生成器是Python比较难的知识点, 在学Python之前, 我已经有了多年的C语言与MATLAB的使用经验了, 但是学这些知识点, 还是有一定的困难, 总觉得是一知半解的. 现在, 经过一段时间的学习和梳理, 感觉是搞懂了, 写下这篇文章与大家分享. 学习具体概念技术之前, 得知道这些…

c++ - 第17节 - AVL树和红黑树

1.AVL树 1.1.AVL树的概念 二叉搜索树虽可以缩短查找的效率&#xff0c;但如果数据有序或接近有序二叉搜索树将退化为单支树&#xff0c;查找元素相当于在顺序表中搜索元素&#xff0c;效率低下。因此&#xff0c;两位俄罗斯的数学家G.M.Adelson-Velskii和E.M.Landis在1962年发…

Mybatis:MyBatis的逆向工程(10)

Mybaits笔记框架&#xff1a;https://blog.csdn.net/qq_43751200/article/details/128154837 Mybatis中文官方文档&#xff1a; https://mybatis.org/mybatis-3/zh/index.html Mybati的逆向工程1. 正向工程 VS 逆向工程2. 创建逆向工程的步骤&#xff08;MyBatis3Simple清新简洁…

Go 1.20要来了,看看都有哪些变化-第1篇

前言 Go官方团队在2022.12.08发布了Go 1.20 rc1(release candidate)版本&#xff0c;Go 1.20的正式release版本预计会在2023年2月份发布。 让我们先睹为快&#xff0c;看看Go 1.20给我们带来了哪些变化。(文末有彩蛋&#xff01;) 安装方法&#xff1a; $ go install golan…

[附源码]Nodejs计算机毕业设计基于web的火车订票管理系统Express(程序+LW)

该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流 项目运行 环境配置&#xff1a; Node.js Vscode Mysql5.7 HBuilderXNavicat11VueExpress。 项目技术&#xff1a; Express框架 Node.js Vue 等等组成&#xff0c;B/S模式 Vscode管理前后端分…

阅读器消退之际:文石造产品,掌阅塑生态

配图来自Canva可画 阅读器正在变得小众&#xff0c;似乎自Kindle以来营造的那种“阅读的生活方式”&#xff0c;已经被证明是一个伪命题&#xff1a;会阅读的人&#xff0c;无论如何都会去阅读&#xff1b;不会阅读的人&#xff0c;阅读器的归宿终究是一个“泡面盖”。于是&am…

Android原生项目接入flutter_boost4.0

折腾了好几天&#xff0c;经验思维导致的&#xff0c;记录一下踩坑。 官方接入步骤官方文档 接入原生&#xff0c;就3个步骤&#xff0c;我都能折腾好久&#xff0c;浪费时间。 flutter部分很简单&#xff0c;按文档配置就行&#xff0c;在pubspec.yaml依赖就好了。 &#…

Ceph性能瓶颈分析与优化(混合盘篇)

原文链接: Ceph性能瓶颈分析与优化(混合盘篇) - 知乎背景ssdhdd的混合盘场景在各个存储厂商中算是一种典型应用场景。 但是经过测试(4k随机写)发现&#xff0c;加了nvme ssd做ceph的wal和db后&#xff0c;性能提升仅一倍以内且nvme盘性能余量较大。所以希望通过对问题瓶颈进行…

目标检测数据标注案例-高清地图中障碍物(汽车)标注

计算机视觉在无人机中领域中有何作用? 无人机能够在空中识别、分类和追踪目标。无人机的摄像头和感应器可以捕获数据并进行分析&#xff0c;以提取重要信息。 AI可以自动提取视觉数据信息&#xff0c;准确识别、说明和追踪图像和视频中的目标。例如高空检测工作&#xff0c;…

Nacos 配置中心之长轮询--客户端

先来看下长轮询调用的链路 客户端 入口 在 NacosConfigService 初始化的时候,会初始化两个组件 一是网络组件,也就是http数据处理的 (起作用的是 ServerHttpAgent)二是客户端的长轮询ClientWorker public NacosConfigService(Properties properties) throws NacosException…

本地连接docker mysql

1.拉取镜像 docker pull mysql 2.启动mysql实例容器 docker run --name mysql -p 3307:3306 -e MYSQL_ROOT_PASSWORDmysql_pw -d mysql --name 为mysql的实例设置别名。 -p 3307为对外暴露的端口。3306是内部端口 -e MYSQL_ROOT_PASSWORD 设置mysql登录密码 -d 以守…

1.41.5 模型评估和选择,正则化和交叉验证

1.4&1.5 模型评估和选择&#xff0c;正则化和交叉验证模型评估和选择训练误差和测试误差过拟合正则化与交叉验证正则化交叉验证模型评估和选择 训练误差和测试误差 将预测系统的X作为输入&#xff0c;输入到模型里面&#xff0c;就可以得到预测结果。 学习到的模型&…

UNIX网络编程卷一 学习笔记 第五章 TCP客户/服务器程序示例

本章将编写一个完整的TCP客户/服务器程序&#xff0c;这个简单例子是执行以下步骤的一个回射服务器&#xff1a; 1.客户从标准输入读入一行文本&#xff0c;并写给服务器&#xff1b; 2.服务器从网络输入读入这行文本&#xff0c;并回射给客户&#xff1b; 3.客户从网络输入读入…

Spring Ioc 依赖来源-7

1. 依赖查找的来源&#xff1a;除容器内建和自定义Spring Bean之外&#xff0c;还有其他来源提供依赖查找吗&#xff1f; 查找来源 Spring 內建 BeanDefintion Spring 內建单例对象 当spring在注解环境下面, 这个 registerAnnotationConfigProcessors API会被调用, 它会被…

Xilinx Vivado的RTL分析(RTL analysis)、综合(synthesis)和实现(implementation)的区别?

1、一般流程 Xilinx 的开发工具Vivado其实还是比较好上手的&#xff0c;在左边的设计流程导航已经把FPGA的开发过程按先后顺序给排列出来了&#xff1a; Project Manager&#xff1a;项目管理器&#xff0c;此项是对项目的参数进行设置 IP Integrator&#xff1a;IP集成器&…

广域铭岛参编《数智化供应链参考架构》标准正式发布

近日&#xff0c;广域铭岛参编的《数智化供应链参考架构》标准正式发布。该标准由工业互联网产业联盟&#xff08;以下简称“联盟/AII”&#xff09;发布&#xff0c;是国内首个数智化供应链领域的参考架构标准&#xff0c;明确了新兴的数字化和智能化技术如何在供应链领域应用…

大数据进程管理

进程管理 查看进程 进程查看命令 ps la | head -5&#xff0c;能够观察所有系统的数据 ps axjf | head -20&#xff0c;连同部分程序树状态 ps l仅查看自己的bash相关的进程 ps aux观察系统所有进程 属性含义USER进程使用者PID进程标识符%CPU进程使用掉的CPU 资源百分比%MEM…

一个不错的docker支持音频的rdp桌面

docker pull danielguerra/xfce4-rdp-audio 获取该镜像后&#xff0c;运行 docker run -d --name xfce4_0 --shm-size 1g -p 3389:3389 danielguerra/xfce4-rdp-audio相当于开了3个不同的系统容器&#xff0c;端口分别的13389,23389,33389&#xff0c;这时用远程桌面就可以连…

记录--记一次前端CSS升级

这里给大家分享我在网上总结出来的一些知识&#xff0c;希望对大家有所帮助 目前平台前端使用的是原生CSSBEM命名&#xff0c;在多人协作的模式下&#xff0c;容易出现样式冲突。为了减少这一类的问题&#xff0c;提升研效&#xff0c;我调研了业界上主流的7种CSS解决方案&…

Java基于springboot+vue 的传统乐器培训管理系统 elementUI

此网站系统的开发方式和信息管理方式&#xff0c;借鉴前人设计的信息和研发。以在线乐器培训管理为主&#xff0c;以乐器培训管理为核心功能来进行设计和研发&#xff0c;把网站信息和技术整合&#xff0c;开发出一套网上乐器培训管理系统。主要运用现在社会公司中最新的技术框…