FATE Board 执行流程探索

news2024/11/25 20:52:02

背景介绍

FATE Board 是 FATE 提供的一个工程,用于给 FATE 提供可视化能力,方便在联邦学习训练中实时查看执行状态,更好地定位执行中遇到的问题。

查看 FATE 架构可以看到 FATE Board 是建立在 MySQL 和 FATE Flow Server 的基础上的,看起来数据来源是来自于这两者。FATE Flow Server 在之前的文章 中已经介绍过,FATE 中隐私计算的主要调度流程都是实现在这个服务中。

请添加图片描述

FATE Board 代码仓库地址 https://github.com/FederatedAI/FATE-Board, 本文的探索基于 v1.11.1,后续版本可能有所不同

FATE Board 实现探索

FATE Board 工程中包含前端与后端的实现,前端是基于 Vue 实现的,后端则是基于 Java 实现。本文在探索时主要基于两个场景串联了一下完整的流程,分别是主页面的 job 列表页,以及 job 日志详情,通过查看完整的调用链路,对 FATE Board 建立基础的认识。

Job 列表页

请添加图片描述

通过 Chrome 调试模式查看对应的请求,即可比较容易发现获取 job 列表数据对应的请求为 /job/query/page/new , 通过对应的接口路径全局搜索可以发现后端的实现为 src/main/java/com/webank/ai/fate/board/controller/JobManagerController.java 中的 queryPagedJob() 方法,对应的代码实现如下:

public PageBean<Map<String, Object>> queryPagedJobs(PagedJobQO pagedJobQO) {
    String jobId = pagedJobQO.getJobId();
    FlowJobQO flowJobQO = new FlowJobQO();
    if (jobId != null && 0 != jobId.trim().length()) {
        flowJobQO.setJob_id(pagedJobQO.getJobId());
    }

    // 构造请求参数 ...

    // 实际获取数据
    Map<String, Object> jobMap = getJobMap(flowJobQO);

    // ... 冗长的业务处理
}

可以看到的真正的数据获取部分基本就是直接调用 getJobMap() ,对应的实现如下所示:

private Map<String, Object> getJobMap(Object query) {
    result = flowFeign.post(Dict.URL_JOB_QUERY, JSON.toJSONString(query));

    // ... 冗长的结果转换
}

实际的获取是通过一次 HTTP 请求获取到,对应的请求地址为 /v1/job/list/job,看情况应该是调用 FATE Flow Server 获取的,在 FATE-Flow 中看到的对应的接口,处于路径 FATE-Flow/python/fate_flow/apps/job_app.py 中的 list_job(),实际的实现就是一次简单的数据库查询,不再进一步展开。

Job 日志

请添加图片描述

通过 chrome 调试模式看到实际获取 Job 日志是通过 websocket 获取的,请求的地址为 /log/new/202307260855242117390/host/8889/default,目前来看日志的获取和 job 列表的获取存在一些差异

依旧利用请求地址搜索对应的代码实现,可以确认后端对应的实现路径为 src/main/java/com/webank/ai/fate/board/websocket/LogWebSocketController.java 中的 LogWebSocketController 类实现,对于 websocket 的服务端,消息处理都是在 onMessage 实现的,我们可以看到对应的代码实现如下:

@OnMessage
public void onMessage(String message,
                        Session session,
                        @PathParam("jobId") String jobId,
                        @PathParam("role") String role,
                        @PathParam("partyId") String partyId,
                        @PathParam("componentId") String componentId) throws Exception {
    synchronized (session) {
        LogQuery logQuery = JSON.parseObject(message, LogQuery.class);

        // 根据类型主要包含 logSize 和 logCat,其中 logSize 用于获取日志行数,logCat 获取日志内容
        if (logQuery.getType().equals(LogTypeEnum.LOG_SIZE.boardValue)) {
            logSize(session, jobId, role, partyId, componentId, logQuery);
        } else {
            logCat(session, jobId, role, partyId, componentId, logQuery);
        }
    }
}

可以看到的通过路径获取 jobId, role, partyId, componentId 的参数,然后调用 logSize()logCat() 执行实际的处理,我们主要关注日志内容的获取,可以看到 logCat() 对应的实现如下所示:

private void logCat(Session session, String jobId, String role, String partyId, String componentId, LogQuery logQuery) {
    // 构造请求
    FlowLogCatReq flowLogCatReq = new FlowLogCatReq();
    flowLogCatReq.setJob_id(jobId);
    flowLogCatReq.setLog_type(Dict.logTypeMap.get(logQuery.getType()));
    flowLogCatReq.setRole(role);
    flowLogCatReq.setParty_id(Integer.valueOf(partyId));
    flowLogCatReq.setComponent_name(componentId);
    flowLogCatReq.setInstance_id(logQuery.getInstanceId());
    flowLogCatReq.setBegin(logQuery.getBegin());
    flowLogCatReq.setEnd(logQuery.getEnd());

    // 实际获取数据
    FlowResponse<List<FlowLogCatResp>> resultFlow = flowLogFeign.logCat(flowLogCatReq);

    // 构造响应数据
    LogContentResponse logContentResponse = new LogContentResponse();
    logContentResponse.setType(logQuery.getType());
    logContentResponse.setData(resultFlow.getData().stream()
            .map(LogContentResponse.LogContent::fromFlowContent)
            .collect(Collectors.toList()));
    try {
        session.getBasicRemote().sendText(JSON.toJSONString(logContentResponse));
    } catch (IOException e) {
        e.printStackTrace();
        logger.error("websocket send error: {}", logContentResponse);
    }
}

根据最核心的数据获取是调用 flowLogFeign.logCat() ,对应的实现:

@FeignClient(url = RouteTargeter.URL_PLACE_HOLDER + "/v1/log", name = "flowLogFeign", configuration = FeignRequestInterceptor.class)
public interface FlowLogFeign {

    // 构造 http 请求
    @RequestMapping(value = "/cat", method = RequestMethod.POST)
    FlowResponse<List<FlowLogCatResp>> logCat(FlowLogCatReq request);

    @RequestMapping(value = "/size", method = RequestMethod.POST)
    FlowResponse<FlowLogSizeResp> logSize(FlowLogSizeReq request);
}

最后兜了一圈,看起来还是转换了一次网络请求,看起来还是发送给了 FATE Flow Server,追踪 FATE-Flow 工程中的对应实现,可以看到对应的网络请求位于 FATE-Flow/python/fate_flow/apps/log_app.py 路径下,具体的实现位于 FATE-Flow/python/fate_flow/utils/log_sharing_utils.py 中的 cat_log() 方法中,实现如下:

def cat_log(self, begin, end):
    line_list = []
    log_path = self.get_log_file_path()
    if begin and end:
        cmd = f"cat {log_path} | tail -n +{begin}| head -n {end-begin+1}"
    elif begin:
        cmd = f"cat {log_path} | tail -n +{begin}"
    elif end:
        cmd = f"cat {log_path} | head -n {end}"
    else:
        cmd = f"cat {log_path}"
    lines = self.execute(cmd)
    if lines:
        line_list = []
        line_num = begin if begin else 1
        for line in lines.split("\n"):
            line = replace_ip(line)
            line_list.append({"line_num": line_num, "content": line})
            line_num += 1
    return line_list

可以看到最终就是调用系统的 cat 命令,最终文件对应的内容,整体实现简单直接。

总结

通过对 FATE-Board 两个请求的调用链路的跟踪,可以对 FATE-Board 工程有了一些了解,看起来 FATE-Board 是建立在 FATE-Flow 基础上的一个简单可视化,使用的能力基本都是通过 FATE-Flow 提供,而 FATE-Board 仅仅提供必要的数据包装与前端的展示呈现,过程简单清晰。后续如果希望了解 FATE-Board 对应的可视化的能力范围,直接查看 FATE-Flow 对应提供的接口即可

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2086586.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Unity(2022.3.41LTS) - 着色器

目录 一、着色器的基本概念 二、表面着色器 一、着色器的基本概念 定义与作用&#xff1a; 着色器是一种在图形硬件上运行的程序&#xff0c;用于控制物体的颜色、纹理、光照、透明度等视觉属性。它通过对输入的几何数据&#xff08;如顶点位置、法线、纹理坐标等&#xff09…

某地级市攻防演练突破边界实战

0x1前言 今年某地级市的攻防中&#xff0c;前期通过fofa、google语法、天眼查等待信息收集获取到了某集团的单位后台后台是这样的&#xff0c;当看到这个后台系统时候脸上 不直接也就微笑了起来。最近风声紧&#xff0c;所有厚码希望大家多多理解&#xff08;我也怕死啊呜呜呜…

【MRI基础】k空间基本属性

K 空间本质上是一个矩阵&#xff0c;用于存储从 MRI 扫描仪获得的原始数据。这些数据是在扫描过程中收集的&#xff0c;K 空间中的每个点代表被扫描身体发出的 MRI 信号的不同频率和相位。存储在 K 空间中的数据不是图像形式&#xff0c;而是包含重建图像所需的所有空间频率信息…

灵办 AI:免费智能利器,开启高效办公与智能创作学习新时代

目录 引言一、初识灵办AI—开启智能办公二、灵办 AI 的强大功能解析1. 多语言翻译2. AI 对话功能3. AI 阅读功能4. AI 代码助手功能 三、灵办 AI 的其他优点四、结语 引言 在当今快节奏的时代&#xff0c;技术人员们都在努力寻觅能够提高工作效率、助力学习创作的工具。我同样…

YOLO | YOLO目标检测算法(YOLO-V1)

github&#xff1a;https://github.com/MichaelBeechan CSDN&#xff1a;https://blog.csdn.net/u011344545 YOLO目标检测算法 YOLO V1概述&#xff08;2016&#xff09; YOLO V1概述&#xff08;2016&#xff09; 经典的One-stage方法 YOLO&#xff1a;You Only Look Once 把…

4.sklearn-K近邻算法、模型选择与调优

文章目录 环境配置&#xff08;必看&#xff09;头文件引用1.sklearn转换器和估计器1.1 转换器 - 特征工程的父类1.2 估计器(sklearn机器学习算法的实现) 2.K-近邻算法2.1 简介&#xff1a;2.2 K-近邻算法API2.3 K-近邻算法代码2.4 运行结果2.5 K-近邻算法优缺点 3.模型选择与调…

uni-app插槽(默认插槽,命名插槽,作用域插槽)

目录 什么是插槽? 基本概念 默认插槽 命名插槽 作用域插槽 场景一:子插槽向父组件传递一个字符串 场景二:子插槽向父组件传递对象 什么是插槽? 在 UniApp 中&#xff0c;插槽&#xff08;Slot&#xff09;是一种允许父组件向子组件特定位置插入HTML内容的方式。这种方式使得组…

ROS 2 Jazzy和QT组合开发教程

ROS2 Jazzy和QT组合开发教程 ROS2 和 Qt 组合开发是一个强大且灵活的组合&#xff0c;可以用来构建具有 GUI 的机器人应用程序。这个组合让你能够将 Qt 的图形界面与 ROS 2 的分布式通信功能结合在一起&#xff0c;实现数据的展示、机器人控制、调试等功能。 环境如下&#x…

掌握人事管理,这张报表帮你轻松搞定

在人事管理中&#xff0c;数据分析的重要性不言而喻。无论是了解员工的整体情况&#xff0c;还是洞察人才流失的原因&#xff0c;数据都能为我们提供有力的支持。但是&#xff0c;面对海量的数据&#xff0c;很多HR都会感到不知所措。那么&#xff0c;如何通过一张报表解决所有…

数字化转型升级探索(三)

在数字化转型升级的探索过程中&#xff0c;我们将通过深入应用人工智能、物联网、大数据和云计算等技术&#xff0c;全面重塑业务流程和运营模式&#xff0c;推动信息流、业务流和价值流的高度融合&#xff0c;实现从传统手工操作到智能自动化的全方位升级&#xff0c;提升业务…

【Python报错已解决】`SyntaxError`:`invalid syntax`

&#x1f3ac; 鸽芷咕&#xff1a;个人主页 &#x1f525; 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想&#xff0c;就是为了理想的生活! 引言 在Python编程中&#xff0c;SyntaxError是最常见的错误类型之一&#xff0c;它表示代码中存在语法错误。本文将探讨一个具…

★ 算法OJ题 ★ 力扣202 - 快乐数

Ciallo&#xff5e;(∠・ω< )⌒☆ ~ 今天&#xff0c;我将和大家一起做一道双指针算法题--快乐数~ 目录 一 题目 二 算法解析 三 编写算法 一 题目 202. 快乐数 - 力扣&#xff08;LeetCode&#xff09; 二 算法解析 题⽬告诉我们&#xff0c;当我们不断重复操作…

数字化转型升级探索(四)

在数字化转型升级的探索中&#xff0c;我们将致力于通过整合先进的技术手段&#xff0c;如人工智能、区块链、大数据和云计算&#xff0c;全面改造传统业务模式&#xff0c;实现智能化运营和数据驱动决策&#xff0c;从而提高企业的效率与灵活性&#xff1b;通过实施全新的数字…

【微处理器系统原理与设计应用入门】典型的微处理器及系统

一. 基于微处理器的系统结构 首先明确什么是处理器&#xff1f; 我们在设计一个系统完成一个功能时&#xff0c;必不可少的一个环节就是信息处理&#xff0c;我们人脑处理信息是依靠神经系统传递神经冲动&#xff0c;而对于机器而言需要指令来完成信息处理&#xff0c;所以一…

Golang 小项目(3)

Golang 小项目(3) 前言 本项目适合 Golang 初学者,通过简单的项目实践来加深对 Golang 的基本语法和 Web 开发的理解。 前往 torna.top 免费查阅 项目结构 D:. ├─ go.mod ├─ go.sum │ ├─cmd │ └─main │ main.go │ └─pkg├─config│ app.go│…

CSDN的技术人员真牛,3分钟定位到问题所在

加密社 昨天晚上&#xff0c;我为了方便写文后一键同步至我的其他账号&#xff0c;安装了个浏览器插件 然后今天一来&#xff0c;我发现csdn的内容管理-创作者平台打不开了 我试了各种办法&#xff0c; 包括清缓存&#xff0c;换浏览器重试&#xff0c;换网络&#xff0c;重…

14%电抗器可以过滤几次谐波

14%电抗器&#xff08;也称为14%阻抗电抗器&#xff09;是一种用于限制电流谐波的设备&#xff0c;主要通过增加系统的阻抗来减少谐波电流的幅度。它的“14%”表示电抗器的阻抗相对于电力变压器的额定阻抗的比例&#xff0c;即电抗器的阻抗是变压器阻抗的14%。 一、谐波过滤能力…

【递归深搜之记忆化搜索算法】

1. 斐波那契数 解法一&#xff1a;递归 class Solution { public:int fib(int n) {return dfs(n);}int dfs(int n){if(n 0 || n 1)return n;return dfs(n - 1) dfs(n - 2);} }; 解法二&#xff1a;记忆化搜索 class Solution {int nums[31]; // 备忘录 public:int fib(int …

carbonyl浏览器使用

仓库 carbonyl上提供了两种在线方式安装&#xff0c;一是docker方式 $ docker run --rm -ti fathyb/carbonyl https://youtube.com另一种是 $ npm install --global carbonyl $ carbonyl https://github.com此外还提供了mac和linux的二进制包&#xff0c;可直接下载运行。 二…

[BFS广度优先搜索] 迷宫

描述 给定一个仅由数字 0 与 1 组成的 n 行 m 列的迷宫。若你位于一格 0 上&#xff0c;那么你可以移动到相邻 4 格中的任意一格 1 上&#xff1b;同样地&#xff0c;若你位于一格 1 上, 那么你可以移动到相邻 4 格中的任意一格 0 上。 现在&#xff0c;有 q 次询问。每次询问…