重新设计 Baklib 中的分析数据处理

news2024/12/25 8:51:23

数据库是任何应用程序性能最关键的部分之一。当谈到 Baklib 时,考虑到高度可扩展的 SaaS 环境,我们总是致力于提高应用程序的性能。

我们不断尝试提高应用程序的性能,在密切监视应用程序是否有任何挫折和改进的同时,我们发现每天都会通过特定端点进行大量数据库写入。

Baklib 有两个方面,一方面是用户撰写文章、审阅文章和管理整体知识库的门户。第二部分是知识库站点,客户将在其中消费知识库的内容。

进一步深入

用外行人的话说,与人们撰写文章和管理知识库的门户相比,面向公众的知识库网站将获得更多的浏览量。我们开始监控面向客户的知识库站点正在使用的所有端点并收集它们的指标。

作为知识库,跟踪是应用程序最重要的部分之一,我们在其中显示知识库的浏览/阅读/喜欢/不喜欢的总数等……所有这些信息都必须在用户访问知识库网站时收集,我们在门户上整合并显示指标。我们注意到,为了收集分析,我们之前使用过此 API (Update Tracking Information),它负责从知识库站点收集所有指标并将其写入数据库。
在这里插入图片描述

想象一个基本流程

每当用户访问知识库站点时,用户可能会访问多篇文章、阅读它们、花时间在一些需要更多上下文的文章上,或者用户甚至可能喜欢/不喜欢各种文章。现在,即使我们粗略估计每个用户至少看到 5 篇文章并与它们交互,也需要 5 次单独的数据库命中才能将信息写入我们的数据库。

查看此 API 的平均点击次数对我们的数据库产生了巨大影响。每天的平均点击量为 145K,如果我们观察一周的点击量,这个数字非常巨大,达到了 821K。我们确信我们应该采取一些措施来解决这个问题。

我们得出的解决方案

分析并不是立即需要的最直接的信息。每当 500 个用户访问该网站时,我们认为在门户中立即显示分析是没有意义的,因为知识库中没有人会查看当前日期时间或今天的分析。

我们完全改变了我们的分析架构,因此对数据库的数据库命中次数大大低于以前。我们最终得到的架构如下图所示。

我们开始使用排队机制,通过根据项目对结果进行分组来合并结果并将结果写入数据库。为了简单起见,我们假设有两个网站。

docs.Baklib.com

docs.abk.com

可能有多个用户访问不同用例的产品文档站点。根据我们的新架构,为 Baklib 收集的所有信息将被分组为一个集合,并通过单个 BulkWrite 操作写入数据库。通过这种方式,我们减少了对数据库进行的最大连接数和写入数。

我们推出分析架构后的新指标图表。平均每天的数据库写入次数为 2K,一周的写入次数为 12K

结论

差异是巨大的,我们可以看到包括 API 服务器和数据库在内的整体运营成本略有下降。因此,请考虑对任何此类场景进行排队,在这种情况下,不再立即需要分析等数据,可以通过显着减少服务器和数据库上的总体负载来提高应用程序的性能。

| | | || — | — | — || |旧实施 |新架构||每日数据库写入| 144,993 | 144,993 2,135 | 2,135|每周数据库写入| 821,628 | 12,813 | 12,813

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1974747.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

推动未来的引擎:人工智能大模型的现状与发展

推动未来的引擎:人工智能大模型的现状与发展 一、引言 随着人工智能技术的迅速发展,人工智能大模型作为其中的重要组成部分,正逐渐成为推动科技进步的重要引擎。无论是在自然语言处理、计算机视觉,还是智能推荐等领域&#xff0…

快讯 | 苹果携手OpenAI,ChatGPT即将登陆iOS 18

在数字化浪潮的推动下,人工智能(AI)正成为塑造未来的关键力量。硅纪元视角栏目紧跟AI科技的最新发展,捕捉行业动态;提供深入的新闻解读,助您洞悉技术背后的逻辑;汇聚行业专家的见解,…

MATLAB预测模型(3)

一、前言 在MATLAB中,实现不同类型的预测模型,如马尔科夫预测、神经网络预测、模糊预测和灰色预测,需要用到不同的函数和工具箱。下面我将为每种预测模型提供一个基本的示例代码。 二、实现 1. 马尔科夫预测 马尔科夫预测通常用于处理具有无…

四大内存区域揭秘:你真的了解你的程序吗?

我是小米,一个喜欢分享技术的29岁程序员。如果你喜欢我的文章,欢迎关注我的微信公众号“软件求生”,获取更多技术干货! 大家好!我是你们的技术小伙伴小米,今天我们来聊聊操作系统中的进程空间。作为一名技术爱好者,我特别兴奋地为大家拆解一下进程空间的四大区域:栈区…

嵌入式实习--MobaXterm连接开发板与SSH远端服务器详细使用教程

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、前期准备二、安装USB串口模块驱动1.1驱动未自动安装 二、MobaXterm安装使用2.1 MobaXterm 软件安装2.2 MobaXterm 软件使用2.2.1连接开发板2.2.2 远程SSH连…

图论-最小生成树

Prim算法 算法描述 dist[i]<-- for(i 0;i<n;i) t<--找到集合外最近的点 用t更新其他点到集合的距离&#xff08;这个集合就是已经确定的最小生成树的点和边&#xff09; st[t] true; dist[i] <-- 无穷 这一步是初始化所有节点到集合的最小距离为无穷大。dist[i] 表…

科普文:微服务之Spring Cloud 服务调用组件Openfeign

一、概述 Feign是声明式Web服务客户端&#xff0c;它使编写Web服务客户端更加容易。 Feign不做任何请求处理&#xff0c;通过处理注解相关信息生成Request&#xff0c;并对调用返回的数据进行解码&#xff0c;从而实现简化HTTP API的开发。 如果要使用Feign&#xff0c;需要创…

项目相关内容 ----- 2实现打印 ---- 图片与字符

目录 1 . 实现图图片的打印 1&#xff09;结构体定义 2&#xff09;画点线 3&#xff09;清屏 4&#xff09;图片显示 5&#xff09;主函数部分 2 . 实现字符的打印 1) 定义BMP位图文件的头部信息以及信息头​ 2&#xff09;实现打印字符的绘制​ 3 . 打印文本内容​ 附…

你会在Vision Pro里编程吗?

你会在Vision Pro里编程吗&#xff1f; Vision Pro作为一位开发者&#xff0c;你会考虑将Vision Pro应用到编程中吗&#xff1f;你认为Vision Pro有可能改变开发者的工作模式与效率吗&#xff1f; 初见Vision Pro有点陌生&#xff0c;不太了解Vision Pro是什么。那么这里先来了…

顶点着色器片段着色器

/* * FileName : OpenGL_Tutorial.cpp * Time : 2024-08-03 10:00:00 * Author : XuMing * Email : 920972751qq.com * description : 使用OpenGL进行顶点输入和着色器编译的详细解析 */#include <glad/glad.h> #include <GLFW/glfw3.…

【论文阅读visual grounding】QRNet论文解读与关键代码实现

Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding 论文链接&#xff1a;https://arxiv.org/abs/2203.15442 代码链接&#xff1a;https://github.com/z-w-wang/QRNet Motivation 视觉定位&#xff08;visua…

JavaScript基础——JavaScript变量声明

变量是存储数据的容器&#xff0c;可以变的量&#xff0c;值可以改变&#xff0c;在JavaScript中&#xff0c;变量声明的关键字有var、let&#xff0c;其中&#xff0c;var是ES5的语法&#xff0c;let是ES6的语法&#xff0c;变量需要先声明&#xff0c;在使用。 声明一个age变…

整除分块, CF538 F - A Heap of Heaps

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 F - A Heap of Heaps 二、解题报告 1、思路分析 给定v&#xff0c;k&#xff0c;v的父节点p (v - 2) / k 1 我们令P p - 1&#xff0c;V V - 2 P V / k&#xff0c;我们发现这就是一个整除分块问题…

Ubuntu22.04之有道词典mini窗口无法拖动问题(二百六十五)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 新书发布&#xff1a;《Android系统多媒体进阶实战》&#x1f680; 优质专栏&#xff1a; Audio工程师进阶系列…

混合域注意力机制(空间+通道)

在计算机视觉任务中&#xff0c;空间域注意力通常关注图像中不同位置的重要性&#xff0c;例如突出图像中的关键对象或区域。而通道域注意力则侧重于不同通道&#xff08;特征图&#xff09;的重要性&#xff0c;决定哪些特征对于任务更具判别力。混合域注意力机制结合了空间域…

FIR低通滤波器

FIR低通滤波器 FIR(Finite Impulse Response)滤波器:有限长单位冲激响应滤波器,又称为非递归型滤波器,是数字信号处理系统中最基本的元件,它可以在保证任意幅频特性的同时具有严格的线性相频特性,同时其单位抽样响应是有限长的,因而滤波器是稳定的系统。 MATLAB实现…

详细了解架构师

架构师的核心职责是消除不确定性和降低复杂性&#xff01; 架构师画像 架构师的定位 架构设计环 澄清和技术相关的&#xff0c;比如支持百万级别的&#xff0c;架构师需要澄清&#xff0c;可能只有十万级。 架构师的三个核心能力 架构师的三个关键思维 架构设计流程和架构师…

初识MQ——学习MQ之前需要了解的知识点

目录 前言 1. 同步和异步通讯 1.1 同步通讯 1.2 异步通讯 2. MQ技术对比 前言 在现在的大数据时代&#xff0c;高并发的情况越来越普遍&#xff0c;系统一个不注意&#xff0c;就可能崩溃无法访问了。这是开发最不想看到的情况&#xff0c;如果是上班还好&#xff0c;可以…

【C++】—— 类与对象(二)

【C】—— 类与对象&#xff08;二&#xff09; 1、类的默认成员函数2、构造函数2.1、初见构造2.2、深入构造2.3、初始化列表2.3.1、什么是初始化列表2.3.2、初始化列表和函数体关系2.3.3、必须使用初始化列表的情况2.3.3.1、 c o n s t const const 成员变量2.3.3.2、引用成员…

AS400==tutorial for Beginners

系统AS400 语言RPGLE 参考视频&#xff1a; https://www.youtube.com/watch?vFqgwYsp7mjk&listPL3W4xRdnQJHVWWmYX1Klji7QUk_PQhq0t&index5 Lesson 1 | Introduction to As-400 and setting up As-400 Environment. 客户端软件TN5250 Terminal Emulation for Window…