Benchmark学习笔记

小记一篇Benchmark的学习笔记

1.什么是benchmark

在维基百科中，是这样子讲的

“As computer architecture advanced, it became more difficult to compare the performance of various computer systems simply by looking at their specifications.Therefore, tests were developed that allowed comparison of different architectures.”

大致意思就是，随着计算机体系结构的进步，我们无法再简简单单的从他们的特性去比较计算机系统的性能，所以就诞生了我们今天的主角 `Benchmark` !!

Benchmark : "基准测试" 是一种用于衡量和评估系统性能的方法。在计算机领域，它通常指的是通过运行一系列标准化的测试来评估硬件或软件的性能。基准测试可以帮助人们比较不同系统、不同组件或不同配置之间的性能差异！！！

其实，用自己的话来说就是：

通过相应的工具，手段，对硬件组件，软件应用程序如CPU性能、内存带宽、硬盘读写速度等单个组件或整个系统进行测试，并且将多次测量得到的结果用于性能的评估和比较，优化和调整，成为日后产品上市的决策支持等！！

下面，我们就来详细的讲解一下Benchmark的过程！！

2.确认测试的目标

对于每一次测试，我们都要选择对应的目标，这样才便于我们后续的数据分析和对比

如果目标是一个数据库，那么就可以从以下角度出发

查询性能：就拿mysql为例子，像这种查询遇到数据量大的，可以通过记录查询的执行时间或者查询的吞吐量来评估
并发连接数 ：在现实生活中，我们可能会遇到大量用户同时对数据库进行查询，那么我们通过增加并发的数据库连接数，并观察数据库的响应时间和系统资源利用率来评估。
数据插入和更新性能：在sql注入中，有一些服务器会对User_Agent Cookie Refer头进行存储，那么就会用到mysql里面的 update 或者insert，那么，我们就可以观察插入和更新大量数据时的性能表现，包括单条数据的插入/更新性能和批量数据的插入/更新性能

如果他是一个网络服务系统，那么我们就可以从以下角度出发

响应时间 :用户在对服务其发送请求，然后经过服务器的处理，再返回给用户，这期间需要的时间就是响应时间我们通过记录这些时间，可以评估整个请求-响应周期的性能表现。
吞吐量：吞吐量可以表示为每秒处理的请求数量或每秒传输的数据量，它反映了系统的处理能力和性能瓶颈。
并发连接数：我们可以通过一些测试软件，如jmeter等工具，在一瞬间建立多并发连接数量，用来模拟在某一时刻的大量用户涌入的情景，然后通过观察系统的响应时间和资源利用率，可以评估系统的并发性能和资源消耗情况
稳定性和可靠性 ，在上面建立多并发的基础上我们还可以通过观察系统的稳定性和异常处理能力，可以评估系统在各种条件下的表现

3.选择合理的测试工具

还是拿上面的两个测试目标来举例子

网络服务系统

Apache JMeter：Apache JMeter是一款功能强大的开源性能测试工具，主要用于测试各种类型的网络服务系统，包括Web应用程序、Web服务、数据库服务器等。它支持多线程测试、分布式测试、图形化测试结果展示等功能，非常适合进行负载测试和压力测试。
这个工具经常用来压力测试
Gatling：Gatling是一款基于Scala语言开发的现代化性能测试工具，特别适用于高并发场景下的性能测试。它采用基于DSL（领域特定语言）的方式进行测试脚本编写，支持使用Scala语言进行自定义脚本开发，具有良好的可扩展性和灵活性。
Wrk：Wrk是一款简单而强大的HTTP性能测试工具，适用于对HTTP服务进行高并发的压力测试。它采用多线程和非阻塞I/O的方式进行测试，并能够生成详细的测试报告和统计信息。

相信大家都发现了，只要是网络服务系统，压测它的工具一般都多并发，多线程的压力测试工具

数据库

SysBench：SysBench 是一个跨平台的基准测试工具，支持多种数据库系统，包MySQL、PostgreSQL、MariaDB 等。它可以用于测试数据库的性能、并发连接数、事务处理能力等
HammerDB：HammerDB 是一个开源的基准测试工具，主要用于测试关系型数据库系统，如 Oracle、SQL Server、DB2 等。它提供了丰富的基准测试场景和工具，可以模拟真实的数据库工作负载并评估数据库的性能表现
Percona Toolkit：Percona Toolkit 是一个由 Percona 公司提供的一套 MySQL 和 MongoDB 管理工具，其中包括一些基准测试工具，如 pt-query-digest、pt-upgrade 等，可以用于评估和优化数据库的性能。

4.准备测试环境

这个也是非常重要的一步，我们需要保测试环境的稳定性和一致性，包括硬件配置、操作系统版本、驱动程序版本等。关闭不必要的后台任务和服务，以确保测试结果的准确性。

5.执行基准测试

当变量都设置好之后，现在开始进行测试。从基准线开始进行测试(已知的起点)，并有系统地调整服务器设置。每个测试序列都会有一个结果，记录结果以便以后引用。在这种情况下，一个测试序列可看做是一次硬件设置更改。每应用一次新的设置，都必须重新进行测试并记录结果。一旦有足够的运行周期，工程师应该有一份完整的数据以完成他们的推论。

6.收集测试执行结果

其中包括各种性能指标的数据，如响应时间、吞吐量、并发连接数等。使用工具提供的报告功能或自定义脚本来自动化数据收集过程。

7.分析和比较结果

在这个步骤中，我们需要进行以下步骤

总体性能评估：首先，对系统的总体性能进行评估。这包括查看各项性能指标的平均值、中位数、标准差等统计数据，以了解系统的整体表现。
识别性能瓶颈：通过分析测试结果，识别系统性能的瓶颈所在。这可能包括响应时间较长的操作、吞吐量不足的任务、并发连接数过高导致的系统资源耗尽等。通过识别性能瓶颈，可以确定优化的重点和方向。
比较不同场景下的性能数据：如果进行了多个测试场景的基准测试，需要比较不同场景下的性能数据。这可以帮助确定系统在不同条件下的性能表现，并找出最佳的配置和参数组合。
对比不同系统或组件的性能：如果进行了多个系统或组件的基准测试，需要对比它们的性能数据。这可以帮助选择最适合自己需求的系统或组件，并确定哪些系统或组件需要进一步优化。
查找异常数据和趋势：检查测试结果中的异常数据和趋势。这可能包括某些测试任务的性能突然下降或波动、系统资源利用率异常高或异常低等。通过查找异常数据和趋势，可以发现系统中的问题并及时解决。

这个步骤就像计算机取证的分析的重要性一样

通过分析和比较基准测试结果意味着对测试数据进行详细的研究和比较，以便从中获取有用的见解和信息。这个过程的目的是为了理解系统的性能表现，识别潜在的问题或瓶颈，并确定优化的方向。

8.提出优化建议

Benchmark的一个最终的目的，就是提出优化建议

在测试中通常会选择一个或多个基准模型作为比较的标准。这些基准模型可以是已知的、在该任务上表现良好的模型，用来与新的方法进行比较

当然了，除了需要从网上寻求相应的标准来进行对比以外，我们还需要根绝自身的特殊情况（如服务器的运存等条件）进行综合的测试

分析问题原因：针对性能瓶颈和问题，深入分析其根本原因。这可能涉及到系统的架构设计、代码实现、数据库优化、网络配置等方面的问题。通过分析问题原因，可以确定优化的方向和重点。

9.验证和重复测试

你以为做完上面的就完事了吗？？肯定不是！！！

当我们得到了上面的测试和分析结果之后，我们还要去对这些结果进行进一步测试，因为我们不确定时候改进后的参数是否还会符合要求 理由如下：

确认优化效果：优化措施的实施并不总是能立即带来明显的改善。通过验证和重复测试，可以确认优化措施的实际效果是否与预期一致。这有助于确定哪些优化是有效的，哪些需要进一步改进。
评估系统稳定性：优化措施可能会对系统的稳定性产生影响。通过验证和重复测试，可以评估优化措施对系统稳定性的影响，并及时发现和解决潜在的问题，以确保系统的稳定运行。
排除误差和变化：基准测试结果可能受到各种因素的影响，如测试环境的变化、测试工具的误差等。通过重复测试，可以排除这些误差和变化的影响，确保测试结果的可靠性和一致性。
验证优化建议的可行性：重复测试可以验证提出的优化建议的可行性和有效性。如果优化建议在多次测试中都能得到相似的结果，那么说明该建议是可行的，并且对系统性能有实际的改进作用。
持续改进和优化：系统的性能优化是一个持续改进的过程。通过验证和重复测试，可以不断地评估系统的性能，并根据测试结果进行调整和优化，以满足不断变化的需求和挑战。