docker搭建代码审计平台sonarqube
- 一、代码审计关注的质量指标
- 二、静态分析技术分类
- 三、使用sonarqube的目的
- 四、sonarqube流程
- 五、docker快速搭建sonarqube
- 六、sonarqube scanner的安装和使用
- 七、sonarqube对maven项目进行分析
- 八、sonarqube分析报告解析
- 九、代码扫描规则定制
- 十、sonarqube api的使用
- 十一、单元测试与代码覆盖率实战
一、代码审计关注的质量指标
- 代码坏味道
- 代码规范
- 技术债评估
- bug和漏洞
- 代码重复度
- 单测与集成
- 测试用例数量
- 覆盖率
二、静态分析技术分类
- 代码静态检查
- 代码分析:lint系列，通过分析语法树和源代码，检查代码规范
- 编译器分析:借助于编译器获得代码关系
- 字节码静态分析
- 分析jar、war、dex等格式的文件，代表工具:fndbugs
三、使用sonarqube的目的
sonarqube目前我们着重关注一些高优先级别的bug，特别是新增代码导致的新的bug和漏洞，比如因为安全规范没遵守导致潜在漏洞发生。还有就是看覆盖率和单元测试的case数量，以及引用覆盖率去度量产品测试是否充分。
四、sonarqube流程
五、docker快速搭建sonarqube
db_instance=postgres_prod
sonarqube_instance=sonarqube_prod
data_dir=/root/sonarqube
#创建数据目录
mkdir -p $data_dir
mkdir $data_dir/postgresql
mkdir $data_dir/sonarqube_data
mkdir $data_dir/sonarqube_extensions
mkdir $data_dir/sonarqube_logs
chmod -R 777 $data_dir
#创建网络
docker network create sonarqube
#启动pg数据库
docker run -d \
--name $db_instance \
--network sonarqube \
-p 5432:5432 \
-e POSTGRES_USER=sonarqube \
-e POSTGRES_PASSWORD=sonarqube \
-e PGDATA=/var/lib/postgresql/data/pgdata \
-v $data_dir/postgresql:/var/lib/postgresql/data \
postgres
sysctl -w vm.max_map_count=524288
sysctl -w fs.file-max=131072
ulimit -n 131072
ulimit -u 8192
#启动soarqube的产品部署
docker run -d \
--name $sonarqube_instance \
--network sonarqube \
-p 9000:9000 -p 9092:9092 \
-e SONARQUBE_JDBC_USERNAME=sonarqube \
-e SONARQUBE_JDBC_PASSWORD=sonarqube \
-e SONARQUBE_JDBC_URL="jdbc:postgresql://$db_instance/sonarqube" \
-v $data_dir/sonarqube_data:/opt/sonarqube/data \
-v $data_dir/sonarqube_extensions:/opt/sonarqube/extensions \
-v $data_dir/sonarqube_logs:/opt/sonarqube/logs \
sonarqube
docker start sonarqube_prod
- 查看日志：
docker logs -f sonarqube_prod - 搭建完成后网页输入
http://ip:9000/访问，默认用户名密码是admin，进入以后可以改密码，首页长这样
- 页面介绍：
- project：项目tab，可以在里面创建一个项目
- issues：报告出来的问题
- rules：系统总共有多少规则需要配置
- quality profiles：包含了一系列rules的配置文件，用于代码分析
- quality gates：类似断言
- administration：管理员面板
- 安装插件
- java常用插件有Checkstyle，Findbugs，PMD，SonarJS，SonarJava（后面这3个我找不到了，不知道是不是我版本太高了哈哈）
- java常用插件有Checkstyle，Findbugs，PMD，SonarJS，SonarJava（后面这3个我找不到了，不知道是不是我版本太高了哈哈）
- 我们可以在
/root/sonarqube/sonarqube_extensions/downloads查看到下载内容
- 下载完记得要重启
六、sonarqube scanner的安装和使用
PS：我这边下的是sonar的v10.5.1 版本，要搭配java17使用，大家要提前配好环境变量哦~
- 安装scanner并配置环境变量。
# 下载
wget https://binaries.sonarsource.com/Distribution/sonar-scanner-cli
/sonar-scanner-cli-5.0.1.3006-linux.zip
# 解压
yum -y install unzip
unzip sonar-scanner-5.0.1.3006-linux
# 修改conf配置的全局变量，改成自己的sonarqube地址，还有login密码并保存
cd sonar-scanner-5.0.1.3006-linux/
vim conf/sonar-scanner.properties
# 配置环境变量
vim /etc/profile
# 添加上
SONARSCANNER_HOME=/root/sonarqube/sonarqube_extensions/downloads/sonar-scanner-5.0.1.3006-linux PATH=$PATH:$SONARSCANNER_HOME/bin
export SONARSCANNER_HOME PATH
# 使其生效
source /etc/profile
# 检查sonarscanner是否配置成功：
sonar-scanner -h
- 使用sonar-scanner分析基础项目
# 下载sonar官方案例
git clone git@gitee.com:TheOctopus/sonar-scanning-examples.git
# 切换路径
cd sonar-scanning-examples
# 修改properties配置文件的前三个参数,projectVersion可以改成与项目一致的版本号并保存
cd /root/sonar-scanning-examples/sonarqube-scanner
vim sonar-project.properties
- 输入sonar-scanner命令进行分析（这里也要注意下，记得是在sonar-project.properties所在文件夹执行命令，否则又要报错啦哈哈哈）
七、sonarqube对maven项目进行分析
PS：maven的环境变量大家记得先配
- 首先，我们需要在页面新建一个项目：projects-create project-输入name，key-点击next
- create project
- 分析方式选择，我这边选择locally
- 点击generate生成秘钥-点击continue
- 选择maven，然后复制里面的语句,进入项目里，在pom文件所在文件夹执行命令（图片里的key和name对不上是因为上面的项目忘记截图了，重新创建了一个。。）
结果可以在这里看，也可以直接在sonarqube的页面看，都有的
还有另外一种方式，就是通过配置maven的setting.xml文件，然后运行的时候只需要执行mvn clean verify sonar:sonar即可，替你们试过了太麻烦了而且不灵活，不推荐！
<!--demo-->
<settings>
<pluginGroups>
<pluginGroup>org.sonarsource.scanner.maven</pluginGroup>
</pluginGroups>
<profiles>
<profile>
<id>sonar</id>
<activation>
<activeByDefault>true</activeByDefault>
</activation>
<properties>
<!-- Optional URL to server. Default value is http://localhost:9000 -->
<sonar.host.url>
http://myserver:9000
</sonar.host.url>
</properties>
</profile>
</profiles>
</settings>
八、sonarqube分析报告解析
-
overview
Quality Gate Status：整体是否通过
Security：安全性。底下的H、M、L分别代表高中低
Reliability：可靠性
Maintainability：可维护性
Accepted issues：那些已经被分析人员或团队成员接受并认为不需要进一步处理的问题
Coverage：覆盖率
Duplications：重复
Security Hotspots：代码中存在安全问题的部分，它可以帮助安全分析师确定代码是否存在漏洞 -
Issues栏：bug记录
点进去可以看到bug详情和解决方案
我们可以重点关注这里
-
measures栏
可以理解成质量模型
可以点进去查看详情
-
new code 新增代码的覆盖率
- sonar可以很智能的分析新增代码的变更。怎么定义新增呢？比如和上次的代码发生了偏差，都认为是新增的
- sonar可以很智能的分析新增代码的变更。怎么定义新增呢？比如和上次的代码发生了偏差，都认为是新增的
九、代码扫描规则定制
sonarqube默认自带了很多扫描的规则，但是有的规则在实际项目里用不到，我们如何自定义规则呢？
- 进入rules里，这里可以看到自带的规则，然后我们可以进行过滤，比如把优先级是低级中级的先过滤，这样报告才能突出重点，更加简洁明确。比如代码重复度，这个一旦爆出就表示代码一定哪些地方写重复了，还有一些高优先级的bug和漏洞。对于code smell，低级别的bug之类的可以尽量弱化。
- 比如我们只要高优先级的，可以筛出来，然后保存成配置文件然后导入即可
- 建议把报告直接给研发去看，我们QA完全不管。还有就是我们有专门团队去看扫描的问题，然后帮助研发去解决。研发有时候也看不懂，他们会构造对应场景，告诉研发危害是什么。对于偏业务测试的团队，还是建议不要去提这类的bug，会耗费大量精力，这个比较适合专门的团队去跟进这些问题。
- 一些规则的定制建议由专门的团队去负责
十、sonarqube api的使用
-
要让gitlab、jenkins去访问sonarqube，包括我们写测试平台的时候，我们有时候需要从sonarqube提取数据，需要对外提供api。
-
访问api文档：右下角点击web api
就可以看到具体的了，这些指标也是对应我们上面的一些功能
-
web hook功能使用
- 当sonar分析完一个项目的时候，jenkins希望得到通知，我们就可以使用web hook功能
- 如何配置？
进入administration-configuration-webhooks-create，输入如下参数进行配置
十一、单元测试与代码覆盖率实战
-
相关文档：https://docs.sonarsource.com/sonarqube/latest/analyzing-source-code/test-coverage/test-coverage-parameters/
-
无侵入快速覆盖率统计
- 1、进入项目，执行该脚本
- 当sonar分析完一个项目的时候，jenkins希望得到通知，我们就可以使用web hook功能
// 启动注入并对代码进行染色，执行单元测试，生成覆盖率报告
mvn clean \
org.jacoco:jacoco-maven-plugin:0.8.6:prepare-agent \
test \
org.jacoco:jacoco-maven-plugin:0.8.6:report\
-Dmaven.test.failure.ignore=true \
-Dmaven.test.skip=false
- 得到结果
-
跑完以后会生成exec结尾的报告
-
把它转为xml文件：
- 执行
mvn org.jacoco:jacoco-maven-plugin:0.8.6:report
- 查看生成的xml文件
- 利用scanner上传覆盖率数据
- 执行
find $PWD -name "jacoco.*"
mvn \
clean \
org.jacoco:jacoco-maven-plugin:0.8.6:prepare-agent \
test \
org.jacoco:jacoco-maven-plugin:0.8.6:report \
sonar:sonar \
-Dsonar.projectKey=demo \
-Dsonar.host.url=http://192.168.10.137:9000/ \
-Dsonar.token=sqp_2097cdfb11f2c55b87362c34acc660c781e03709 \
-Dsonar.coverage.jacoco.xmlReportPaths="$PWD/**/**/**/**/jacoco.xml" \
-Dmaven.test.failure.ignore=true \
-Dmaven.test.skip=false
执行完毕
查看页面，覆盖率有值啦
代码修改后，我们重新运行上面的脚本，可以看到new code页有数据了
