Jenkins-Android源码编译【架构设计】（适用鸿蒙/自动化/多产品/持续迭代）

jenkins_aosp

文章目录

Jenkins-Android源码编译【架构设计】（适用鸿蒙/自动化/多产品/持续迭代）
- 通俗介绍Jenkins
- 框架设计
- Jenkins部署
- - 系统/插件配置
  - JOB配置
- 源码编译
- - 环境准备
  - AOSP编译
  - - 基本框架
    - 编译脚本
    - - aosp_build_scipts
      - jenkins_build_scipts
      - Stage1
        Stage2
        Stage3
        Stage4
        Projects：
        Utils
- 发布管理
- - FTP服务器
  - jfrog
  - Jenkins artifacts
- Tips
- 结语

Jenkins-Android源码编译【架构设计】（适用鸿蒙/自动化/多产品/持续迭代）

Android系统开发经常需要用到自动化编译系统，用于正式发布/日构建/验证修改点/远程触发等。

Jenkins是最常用最广泛的DevOps工具之一。本文重点讲解如何在Jenkins上面部署灵活设计/解耦性强/扩展性强的AOSP编译系统。

通俗介绍Jenkins

Jenkins可以简单地理解为一个Server+Web应用，同时具有Winows+Linux+Mac等系统的版本。

https://www.jenkins.io/download/

本人极力推荐使用docker版本，后续维护性强稳定性强。

可以在上面开发+定制你的自动化构建任务，然后将这个任务部署到内网/公网，其他工程师就可以远程访问了。

开发工程师用于触发构建 + 发版本
测试工程师用于下载固件 + 跑自动化测试

所以工程师之间互不干扰，少一些war！

Jenkins的文件格式就是war，寓意（开发/测试/运维）不再有战争。

框架设计

如果产品规模小，管理+编译+存放固件可以在同一个服务器上进行也可以。

当时如果公司规模大，产品杂，就有必要每个服务器各司其职了。

如下是我简单描述的一个框架：

Jenkins服务用于账号管理，Job管理，系统环境配置，系统插件配置，用户界面等
编译服务器用于代码下载，更新，编译，整理固件等
FTP服务器用于按照规定命名/格式存放固件等，常常用于内部研发使用
Jfrpg Artifacts就是类似于Jenkins的服务器应用，可以快速查找/搜索想要的固件，并且支持安全扫描，常用于给别的部门使用，或者释放给客户使用
Jenkins Artifacts是自带的插件，存储和管理编译好的固件

Jenkins部署

系统/插件配置

需要安装的系统插件：
Publish over SSH：用ssh协议发送固件的
E-mail：编译结果通知开发者
Build Timestamp：编译时间戳，每次会默认保存启动的时间戳
ANSI Color：颜色显示更加美观/明显
Office 365 Connector：用于Teams远程触发编译/结果同志，企业微信也支持的
Gitlab：用于gitlab相关的
Repo： repo 相关的接口， manifest sync diff
Build periodically with parameters ：编译传入选项的UI控件
Set Build Name：设置任务编译名字的UI控件
Active Choices：可以选择的UI控件
File Parameter：用于传入文件的的UI控件
Environment variables
Rebuild
…

需要准备的系统配置：

Publish over SSH
E-mail，注意stmp的端口
内网的用户名+密码
…

JOB配置

创建一个Job，选择Freestyle project
创建编译的UI界面，使用控件This project is parameterized

如下，是我简单设计的UI模板：

BUILD_PROJECTS(构建的项目)

A10
B20
C50

BUILD_ANDROID_VERSION(项目的大版本)

a13
a11
a10

BUILD_VERSION_NUMBER(项目的版本号)

BUILD_SNAPSHOT(编译快照：将编译选项固定成一个标准的配置，方便于快速启动特定的构建)

daily_build
no
user+gms+ota

BUILD_INTENT（开发 or 正式发布 or jenkins调试）

dev
rel
jenkins_test

BUILD_SKU （是否支持GMS）

gms
aosp

BUILD_VARIANT（编译user/userdebug）

user
userdebug
eng

BUILD_TIMESTAMPS（是否指定时间戳）

PACKAGES

BUILD_FULL_OTA （OTA整包）
BUILD_INC_OTA（OTA差分包）

BUILD_SORCE_TARGETFILES_ID
BUILD_TARGET_TARGETFILES_ID
BUILD_SPECIAL_OTA (客户定制包)
```
no
root ota
```

BUILD_SOURCE_SYNC (代码同步)

BUILD_RM_OUT (是否清除out环境)
BUILD_REPO_SYNC (是否同步最新代码)

SOURCE_CUSTOMZATION

BUILD_HOOK_LOCAL_MANIFEST (hook local manifests)

[-----] chose files

BUILD_HOOK_DEFAULT_MANIFEST (指定manifest文件)

[-----] chose files

BUILD_REPO_HOOK_BEFORE_BUILD (编译前执行命令)

POST_BUILDS （编译后处理）

BUILD_UPLOAD （上传到服务器）

Jenkins artifacts
FTP Server
JFROG

… …

UI控件设计实际效果如下：

… …

源码编译

环境准备

android源码编译主要在编译服务器上运行，服务机最好能够Linux系统，内存大，CPU强悍，核数多。

需要安装以下必备的工具：

android源码编译

https://source.android.com/docs/setup/build/building?hl=zh-cn
git: 开发者必备的源码管理工具
repo: 管理庞大的Android源码各个仓库，每个仓库都是git管理。由于有2和3两个版本，建议两个都安装
ssh/scp/rsync: 用于通过ssh协议传输文件，连接，同步
python2 / python3 : 最好都安装，ota包的编译需要两者
md5sum ：用于文件校验

… …

AOSP编译

基本框架

Jenkins UI

相当于用户交互界面，相当于Jenkins的前端

后端代码在Build Steps里面引用jenkins build scipts，如下：
jenkins_build_scipts

用户在Jenkins UI定制自己需要的编译，这个脚本获取这些前端数据，调用AOSP编译脚本进行固件的生成，然后进行分发+处理，可以理解为Jenkins的后端
aosp_build_scipts
- 将被jenkins build scipts调用，是统一的编译脚本，需要使用统一的接口/入参/变量命名，可以适用于各个产品。
- 此脚本应能避免掉高通/MTK产品编译方式的差异。不仅仅是jenkins使用，开发者平时也用

编译脚本

aosp_build_scipts

aosp_build_scipts需要根据公司产品的特色和需求，自行定制和开发，大概的模板类似于：

./aosp_build.sh  [product_id] [variant] [gms/aosp] [sys/vnd/ota/inc_ota/...] [jobs]

也可以用环境变量的方式传入：

export product_id=A11; export variant=user; ... ; ./aosp_build.sh

根据产品特点和团队建议选择，这里不再赘述。

jenkins_build_scipts

Step1：获取用户数据

jenkins获取前端主要是通过jenkins的环境变量加载功能实现。

Step2：编译执行

编译大致可以分为4个阶段：
- Stage1: 环境变量处理：
  
  根据前端需求，对于入参进行处理，
  
  比如对于snapshot快照编译，需要获取对应的配置文件，进行编译
  
  比如编译差分包，如果没有传入source targetfiles，就需要中断编译了，不然没有进行
- Stage2: 代码处理：
  
  根据前端需求，使用repo进行init/sync工作，抑或是集成local_manifests，抑或是替换掉default manifest。
- Stage3: 编译+固件预处理
  
  根据前端需求，进行编译需要的固件，由于aosp_build_scipts是统一的，所以可以无缝衔接。
  
  编译完成后，根据公司标准的命名格式，进行命名/打包，并分发到同一个jenkins build id下面，用于区分不同的构建。
- Stage4: 固件发送+编译后工作
  
  编译完成后，
  
  如果代码有改动/调整，需要reset原来的状态
  
  如果有些简单的信息，需要自行测试，比如key是否正确，组件是否都集成。
  
  根据jenkins build id发送到对应的local FTP 服务器，jfrog服务器，客户网盘等等，以及回传到jenkins artifacts。
  
  这个过程中需要用scp等，可以自行百度无密码传输的方法。

编译脚本设计结构大致如下：

MAIN:

./jenkins_build.sh : 编译主函数

Stage1

env_setup.sh

env_init.sh : 环境变量初始化
env_handler.sh : 环境变量处理流程
env_hook_configs.sh : 开放hook接口，也可以用于调试

Stage2

repo_init.sh : repo init 可以指定manifests的分支和具体的xml清单文件，以及处理local_manifests
repo_sync.sh : repo sync 可以指定是否清除本地修改/回退到最新/强制更新等
repo_handler.sh : repo manifest/diff/forall等操作

Stage3

build_main.sh : 编译主函数

build_setup.sh : 编译前准备工作，编译参数检验

build_image.sh : image编译主函数
- build_sys.sh : sys编译
- build_vnd.sh : vnd编译
- build_image_handler.sh : image打包
build_ota.sh : ota编译主函数
- build_full_ota.sh : 整包
- build_inc_ota.sh : 差分包
- build_customization_ota.sh : 定制包
- … …