C++项目 -- 负载均衡OJ（一）compile_server

news2024/11/23 21:39:41

C++项目 – 负载均衡OJ（二）compile_server

文章目录

  • C++项目 -- 负载均衡OJ（二）compile_server
  • 一、compile_server设计
    • 1.总体服务流程
  • 二、compiler.hpp
  • 三、runner.hpp
  • 四、compile_run.hpp
  • 五、compile_server.cc
    • 5.1.编译功能调试：
    • 5.2.CompileAndRun功能调试
    • 5.3.熟悉cpp-httplib库
    • 5.4.将CompileAndRun服务打包成一个网络服务
    • 5.5.使用Postman测试网络请求服务

一、compile_server设计

1.总体服务流程

在这里插入图片描述

  • 远端代码提交上来后，形成一份临时文件用于编译；
  • fork出一个子进程，让子进程执行编译（使用程序替换的功能调用g++进行编译），如果编译通过，标准输出没有结果；如果编译出错，需要行程临时文件来保存出错的结果，方便返回给客户端；
  • 主进程继续接收代码；

二、compiler.hpp

  • 该hpp文件主要提供编译文件的方法；
  • Compiler中的Compile函数用于将源cpp文件进行编译，源文件保存在现在目录下的temp子目录，如1234.cpp，我们需要根据源文件生成可执行文件.exe，当编译错误时需要生成标准错误文件.stderr；
    在这里插入图片描述
    • Compile函数使用util.hpp中PathUtil类中的方法来获取源文件对应的可执行文件名和标准错误文件名；
    • Compile函数创建子进程，在子进程中使用程序替换接口execlp，调用g++对文件进行编译，并将错误信息重定向到临时的错误信息文件.stderr中；
    • execlp第一个参数是替换调用哪个程序，后面的参数才是如何调用；
    • 程序替换并不会影响进程的文件描述符，因此重定向stderr针对子进程替换运行的程序依然生效；
    • 在编译之前，需要将标准错误文件重定向到我们定义的临时错误文件中保存下来；
    • 父进程用来判断最后是否编译成功，使用comm模块中的IsFileExists函数来进行判断；
#pragma once

#include "../Comm/util.hpp"

namespace ns_compiler
{
    using namespace ns_util;
    class Compiler
    {
        // 该类只提供方法
    public:
        Compiler()
        {
        }
        ~Compiler()
        {
        }

        static bool Compile(const string &file_name)
        {
            pid_t pid = fork();
            if (pid < 0)
            {
                return false;
            }
            else if (pid == 0)
            {
                // 子进程，负责调用g++编译器进行编译
                // 在编译之前，需要打开保存错误信息的临时文件，并将stderr重定向到该文件
                int _stderr = open(PathUtil::Stderr(file_name).c_str(), O_CREAT | O_WRONLY, 0644);
                if(_stderr < 0)
                {
                    exit(0);
                }
                //重定向标准错误到_stderr
                dup2(_stderr, 2);

                //调用g++完成编译工作
                //g++ -o target src -std=c++11
                //最后一个参数后面一定要跟一个nullptr
                execlp("g++", "-o", PathUtil::Exe(file_name).c_str(),\
                    PathUtil::Src(file_name).c_str(), "-std=c++11", nullptr);
                //程序替换失败
                exit(2);
            }
            else
            {
                // 父进程
                waitpid(pid, nullptr, 0);
                //编译是否成功，看对应的文件夹下有没有生成对应的可执行程序
                if(FileUtil::IsFileExists(PathUtil::Exe(file_name)))
                {
                    return true;
                }
                return false;
            }
        }
    };
}

三、runner.hpp

  • runner.hpp文件主要用于编译成功的用户代码的运行功能的编写；
  • Run函数用于运行编译成功的用户代码生成的可执行程序；
    • 输入参数指明文件名即可，不需要带后缀和路径；输入参数还需要指定子进程的资源占用限制，方便出题者来指定该题的限制；
    • 返回值用于标定该程序的运行情况：
      返回值>0：程序异常，退出时收到了信号，返回值就是对应的信号编号；
      返回值==0：正常运行完毕的，结果保存到了对应的临时文件中；
      返回值<0，内部错误；
    • 该函数无需判断用户的可执行程序的运行结果正确与否，只需考虑是否正确运行完毕；
    • 在程序运行期间，我们需要将标准输入、标准输出、标准错误三个文件全部打开并重定向，以便读取输入数据、保存运行结果和运行时的错误信息；
    • 文件打开后，文件描述符是可以被子进程继承下去的；
    • 由于我们替换的程序是在tmp文件夹里面的，因此在选择程序替换接口的时候，我们不能选择不带路径的接口（直接去环境变量列表里面查询），需要选择指定路径的接口
      在这里插入图片描述
    • 我们需要限制子进程运行用户程序所占用的系统资源，避免系统资源的过度占用，可以通过SetProcLimit接口设置；
    • 最后通过信号判断程序运行是否异常，如果没有异常，子进程的状态信息status返回0，如果有异常，一定返回大于0的值；
  • SetProcLimit函数用于设置进程占用的资源大小
    • 输入参数用来指定cpu运行时间和内存空间的占用限制，内存空间使用KB为单位；
    • 使用sertlimit接口来对进程的资源进行限制：
      在这里插入图片描述
    • resource是限制资源的类型：
      在这里插入图片描述
    • rlim是一个结构体，软限制为一般进程设置的限制，硬限制为我们所能设置的最大资源的上限值，一般设为无限制；
      在这里插入图片描述

四、compile_run.hpp

  • 该文件主要实现的功能是：
    • 适配用户需求，定制通信协议；
    • 正确调用compile and run；
    • 形成唯一文件名；
  • CompileAndRun类中的Start函数主要完成的功能有：
    • 接受客户端传来的序列化的字符串，并完成反序列化；
      在这里插入图片描述
    • 序列化工具使用jsoncpp库中的接口，
      在这里插入图片描述
      编译时需要链接库：
      在这里插入图片描述
      形成的是序列化的kv值的字符串：
      在这里插入图片描述
      json的作用：将结构化的数据转化成为一个字符串；
    • 在完成反序列化后，调用FileUtil类中的UniqueFileName方法生成唯一的代码源文件，然后调用WriteFile将代码写入该文件中；
    • reader.parse接口用于完成反序列化；asString是将json中的v作为字符串；
    • 形成用户代码源文件后，对其进行编译和运行操作，返回运行的信息；
    • 使用goto语句进行统一的差错处理，一旦上面的创建源文件、编译、运行出错，先赋值错误代码给status_code，然后goto到END处进行错误代码解析，并通过jsoncpp工具完成序列化；
    • goto语句之间不允许有任何的变量定义；
    • 最后删除临时文件；
  • CodeToDesc函数主要完成返回错误代码对应的错误原因功能：
    在这里插入图片描述
    • RemoveTempFile函数主要完成清理临时文件的功能：
      使用unlink接口删除文件
      在这里插入图片描述

五、compile_server.cc

5.1.编译功能调试：

#include "compiler.hpp"

using namespace ns_compiler;

int main() 
{
    std::string file = "code";
    Compiler::Compile(file);

    return 0;
}

在现路径temp文件夹下创建code.cpp文件，测试编译功能：
在这里插入图片描述
在这里插入图片描述
编译运行compile_server.cc：
在这里插入图片描述
在这里插入图片描述
生成.exe和.stderr文件，此时.stderr文件是没有内容的；

  • 如果code.cpp中有错误：
    日志报错：
    在这里插入图片描述
    只会生成.stderr文件，里面保存报错信息：
    在这里插入图片描述

5.2.CompileAndRun功能调试

  • R"()"是c++11的raw string原生字符串，如果出现特殊字符，保持原貌
#include "compile_run.hpp"

using namespace ns_compiler;
using namespace ns_runner;
using namespace ns_compile_and_run;

int main() 
{
    //充当客户端请求的json串
    string in_json;
    Json::Value in_value;
    //c++11原生字符串：R"()"
    in_value["code"] = R"(#include<iostream>
    int main()
    {
        std::cout << "hello world" << std::endl;
        return 0;
    })";
    in_value["input"] = "";
    in_value["cpu_limit"] = 1;
    in_value["mem_limit"] = 10240 * 3;
    Json::FastWriter writer;
    in_json = writer.write(in_value);

    cout << in_json << endl;

    string out_json;
    CompileAndRun::Start(in_json, out_json);
    cout << out_json << endl;

    return 0;
}
  • 编译并运行成功；
    在这里插入图片描述成功在路径下生成文件名；
    在这里插入图片描述
  • 编译失败，得到失败原因
    在这里插入图片描述
  • CPU运行超时：
    在这里插入图片描述
  • 超出内存限制：
    在这里插入图片描述
  • 除0错误：
    在这里插入图片描述

5.3.熟悉cpp-httplib库

  • 接入cpp-httplib只需将httplib.h拷贝至项目中并包含，就可以使用；
  • cpp-httplib需使用高版本的gcc进行编译，最好在gcc 7以上；
  • cpp-httplib是阻塞式多线程的一个网络http库；
  • erver类中Get函数是接受请求并响应，第一个参数是根目录下的服务名称，第二个参数是响应的回调函数，用户访问更目录下的响应服务，服务器就会调用回调函数并返回响应；
  • Request是请求类，Responce是响应类；
  • content-type中text/explain是文本
  • 当用户请求hello服务时，就响应相应的文本
#include "compile_run.hpp"
#include "../Comm/httplib.h"

using namespace ns_compiler;
using namespace ns_runner;
using namespace ns_compile_and_run;
using namespace httplib;

int main() 
{
    Server svr;
    //用户如果请求根目录下的hello服务，服务器就会调用回调函数并返回响应
    svr.Get("/hello", [](const Request &req, Response &resp){
        //content-type中text/plain表示文本格式
        //编码格式设置为为utf-8
        resp.set_content("hello httplib!", "text/plain;charset=utf-8");
    });

    svr.listen("0.0.0.0", 8080);
    return 0;
}

在这里插入图片描述

  • 设置根目录与首页：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

5.4.将CompileAndRun服务打包成一个网络服务

  • 用户使用Post进行请求CompileAndRun服务；
  • 用户的请求存在Request中的body；
  • 服务器给用户的响应是json格式的，因此content-type要设置成applocation/json；
  • 从命令行参数获取端口号；
#include "compile_run.hpp"
#include "../Comm/httplib.h"

using namespace ns_compiler;
using namespace ns_runner;
using namespace ns_compile_and_run;
using namespace httplib;

void Usage(const string proc)
{
    std::cerr << "Usage: " << "\n\t" << proc << "port" << endl;
}

int main(int argc, char *argv[]) 
{
    if(argc != 2)
    {
        Usage(argv[0]);
        return 1;
    }
    Server svr;

    svr.Post("/compile_and_run", [](const Request &req, Response &resp){
        //用户请求的服务正文是我们想要的json string
        string in_json = req.body;
        string out_json;
        if(!in_json.empty())
        {
            CompileAndRun::Start(in_json, &out_json);
            resp.set_content(out_json, "application/json;charset=utf-8");
        }
    });

    svr.listen("0.0.0.0", atoi(argv[1]));
    
    return 0;
}
    return 0;
}

5.5.使用Postman测试网络请求服务

  • 设置Postman的请求为POST，请求的Body中内容为Row的Json格式，内容如下：
    在这里插入图片描述
  • 然后运行CompileServer服务，并建立向云服务器的8080号端口的请求：
    在这里插入图片描述
    在这里插入图片描述
  • Postman端收到了服务端返回的Json串，表明服务运行成功；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1532923.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Dockerfile Docker Compose（实战总结）

Dockerfile Docker Compose（实战总结）

Dockerfile & Docker Compose&#xff08;实战总结&#xff09; Dockerfile Dockerfile 是用来构建Docker镜像文件&#xff0c;是由一条条构建镜像所需的指令构成的脚步。 步骤&#xff1a; 编写Dockerfile 文件docker build 构建镜像docker run 运行镜像docker push 发…
阅读更多...
【黄金手指】windows操作系统环境下使用jar命令行解压和打包Springboot项目jar包

【黄金手指】windows操作系统环境下使用jar命令行解压和打包Springboot项目jar包

一、背景 项目中利用maven将Springboot项目打包成生产环境jar包。名为 prod_2024_1.jar。 需求是 修改配置文件中的某些参数值&#xff0c;并重新发布。 二、解压 jar -xvf .\prod_2024_1.jar释义&#xff1a; 这段命令是用于解压缩名为"prod_2024_1.jar"的Java归…
阅读更多...
【QT入门】实现一个简单的图片查看软件

【QT入门】实现一个简单的图片查看软件

声明&#xff1a;该专栏为本人学习Qt知识点时候的笔记汇总&#xff0c;希望能给初学的朋友们一点帮助(加油&#xff01;) 往期回顾&#xff1a; 【QT入门】qmake和cmake的简单区别-CSDN博客 【QT入门】VS qt和QtCreator项目的相互转换-CSDN博客 【QT入门】Qt架构与三个窗口的区…
阅读更多...
航顺车规级SoC全新亮相，助推汽车智能化发展

航顺车规级SoC全新亮相，助推汽车智能化发展

受益于汽车电动化、智能化和网联化的推进&#xff0c;汽车车身域和座舱域MCU市场规模持续扩大。据统计&#xff0c;2021年中国车载芯片MCU市场规模达30.01亿美元&#xff0c;同比增长13.59%&#xff0c;预计2025年市场规模将达42.74亿美元。 在技术要求方面&#xff0c;对…
阅读更多...
Docker如何端口映射？

Docker如何端口映射？

Docker是一种流行的开源容器化平台&#xff0c;它允许开发者将应用程序和其依赖资源打包到一个称为容器的可移植单元中。Docker提供了强大的管理和部署工具&#xff0c;使得应用程序可以在不同的环境中运行&#xff0c;无需担心环境配置的问题。在使用Docker部署应用程序时&…
阅读更多...
Websocket + Vue使用

Websocket + Vue使用

这里有一篇文档可以参考一下> 闪现 POM文件 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId><version>2.7.0</version> </dependency> WebSocketConf…
阅读更多...
模型部署 - onnx的导出和分析 - onnx 的架构和 onnx helper 的使用 - 学习记录

模型部署 - onnx的导出和分析 - onnx 的架构和 onnx helper 的使用 - 学习记录

onnx 的架构和 onnx helper 的使用 简介一、onnx 的架构二、onnx 实践2.1、 create - linear.onnx2.1.1、要点一&#xff1a;创建节点2.1.2、要点二&#xff1a;创建张量2.1.3、要点三&#xff1a;创建图 2.2、 create - onnx.convnet2.3、使用 onnx helper 导出的基本流程总结…
阅读更多...
Web框架开发-Django模型层(数据库操作）

Web框架开发-Django模型层(数据库操作）

一、ORM介绍 MVC或者MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数据库的解耦，即数据模型的设计不需要依赖于特定的数据库，通过简单的配置就可以轻松更换数据库，这极大的减轻了开发人员的工作量，不需要面对因数据库变更而导致的无效劳动ORM是“对象-关系-映…
阅读更多...
g++在windows下使用C++进程库无法传入参数＜求助＞

g++在windows下使用C++进程库无法传入参数＜求助＞

如题&#xff1a; windows11使用g的时候&#xff0c;想使用下线程库。但是就发现了如题的问题。在使用时&#xff0c;不传入参数时不会报错的&#xff0c;但是传入参数之后就产生了报错。 点击进入定义发现头文件定义明明是正确的。 具体报错如下图。
阅读更多...
流畅的 Python 第二版（GPT 重译）（二）

流畅的 Python 第二版（GPT 重译）（二）

第三章&#xff1a;字典和集合 Python 基本上是用大量语法糖包装的字典。 Lalo Martins&#xff0c;早期数字游牧民和 Pythonista 我们在所有的 Python 程序中都使用字典。即使不是直接在我们的代码中&#xff0c;也是间接的&#xff0c;因为dict类型是 Python 实现的基本部分。…
阅读更多...
绝地求生：PUBG延长GPU崩溃时间新方法

绝地求生：PUBG延长GPU崩溃时间新方法

相信大家都在被GPU游戏崩溃苦恼已久&#xff0c;PUBG这个游戏崩溃&#xff0c;跟超频是没有多大关系的&#xff0c;只要超频TM5过测&#xff0c;YC过测&#xff0c;或者双烤过测&#xff0c;就没问题。主要是这个游戏的优化不行&#xff0c;特别40系显卡&#xff0c;对内存条也…
阅读更多...
申请双软认证需要哪些材料？软件功能测试报告怎么获取？

申请双软认证需要哪些材料？软件功能测试报告怎么获取？

“双软认证”是指软件产品评估和软件企业评估&#xff0c;其中需要软件测试报告。 企业申请双软认证除了获得软件企业和软件产品的认证资质&#xff0c;同时也是对企业知识产权的一种保护方式&#xff0c;更可以让企业享受国家提供给软件行业的税收优惠政策。 那么&#xff0c;…
阅读更多...
PyTorch 深度学习（GPT 重译）（二）

PyTorch 深度学习（GPT 重译）（二）

四、使用张量表示真实世界数据 本章内容包括 将现实世界的数据表示为 PyTorch 张量 处理各种数据类型 从文件加载数据 将数据转换为张量 塑造张量&#xff0c;使其可以作为神经网络模型的输入 在上一章中&#xff0c;我们了解到张量是 PyTorch 中数据的构建块。神经网络…
阅读更多...
SQLiteC/C++接口详细介绍sqlite3_stmt类（二）

SQLiteC/C++接口详细介绍sqlite3_stmt类（二）

返回目录&#xff1a;SQLite—免费开源数据库系列文章目录 上一篇&#xff1a;SQLiteC/C接口详细介绍sqlite3_stmt类简介 下一篇&#xff1a;SQLiteC/C接口详细介绍sqlite3_stmt类&#xff08;三&#xff09; sqlite3_reset() 功能&#xff1a;重置一个准备好执行的SQL语…
阅读更多...
机器人路径规划：基于冠豪猪优化算法(Crested Porcupine Optimizer，CPO)的机器人路径规划（提供MATLAB代码）

机器人路径规划：基于冠豪猪优化算法(Crested Porcupine Optimizer，CPO)的机器人路径规划（提供MATLAB代码）

一、机器人路径规划介绍 移动机器人&#xff08;Mobile robot&#xff0c;MR&#xff09;的路径规划是 移动机器人研究的重要分支之&#xff0c;是对其进行控制的基础。根据环境信息的已知程度不同&#xff0c;路径规划分为基于环境信息已知的全局路径规划和基于环境信息未知或…
阅读更多...
【LeetCode: 224. 基本计算器 + 模拟 + 栈】

【LeetCode: 224. 基本计算器 + 模拟 + 栈】

&#x1f680; 算法题 &#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜&#xff0c;…
阅读更多...
【原创】三十分钟实时数据可视化网站前后端教程 Scrapy + Django + React 保姆级教程向

【原创】三十分钟实时数据可视化网站前后端教程 Scrapy + Django + React 保姆级教程向

这个本来是想做视频的&#xff0c;所以是以讲稿的形式写的。最后没做视频&#xff0c;但是觉得这篇文还是值得记录一下。真的要多记录&#xff0c;不然一些不常用的东西即使做过几个月又有点陌生了。 文章目录 爬虫 SCRAPYxpath 后端 DJANGO前端 REACT Hello大家好这里是小鱼&a…
阅读更多...
sheng的学习笔记-AI-Inception network

sheng的学习笔记-AI-Inception network

目录&#xff1a;sheng的学习笔记-AI目录-CSDN博客 基础知识 构建卷积层时&#xff0c;你要决定过滤器的大小究竟是11&#xff08;原来是13&#xff0c;猜测为口误&#xff09;&#xff0c;33还是55&#xff0c;或者要不要添加池化层。而Inception网络的作用就是代替你来决定&…
阅读更多...
kubesphere all in one部署Jenkins提示1 Insufficient cpu

kubesphere all in one部署Jenkins提示1 Insufficient cpu

原因 devops 至少一个cpu&#xff08;1000m&#xff09;&#xff0c;但是其他资源已经占用了很多cpu CPU 资源以 CPU 单位度量。Kubernetes 中的一个 CPU 等同于&#xff1a; 1 个 AWS vCPU 1 个 GCP核心 1 个 Azure vCore 裸机上具有超线程能力的英特尔处理器上的 1 个超线程…
阅读更多...
编译libcurl with openssl + zlib (gzip)

编译libcurl with openssl + zlib (gzip)

libcurl 编译说明 libcurl 正常不依赖第三方库也可以进行编译使用&#xff0c;但是只能访问不带ssl通道的http,不能访问https&#xff0c;而且不支持gzip 一般现在常用的https中的ssl是使用openssl、gzip使用zlib 下面是如何编译libcurl&#xff0c;我们在项目中使用的是第二种…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023