背景
写这篇文章的初衷是因为国产化项目临近结束,在做项目总结时,回想起了代码管理的相关问题。虽然工程搭建及管理是一个高级工程师必备的能力,但似乎每次一个新项目立项,都是从老的项目中拷贝工程框架,再进行定制修改。并没有认真了解其原理及整体工程管理和维护思想。
虽然大部分的软件工程,都具备一定的通用性,修修改改也能用起来,但是我觉得工程架构,应该要和软件架构相匹配,将软件架构思想贯彻到底。本文介绍我个人如何通过软件架构来构建工程架构的以及cmake
常用的接口。
如何构思工程框架
以T-BOX项目为例,其软件架构如下:
分析:
该软件架构采用分层结构,从上到下分为表现层、通讯层、业务层、抽象层、基础层。其中我们主要关心业务层、抽象层、基础层;
- 业务层。用于实现t-box自身业务,比如gnss定位、数据拨号、TSP平台、自升级、片间通信等。它内部又分为基础能力和扩展能力两类业务。
- 抽象层。该层的目的是进程底层硬件的依赖剥离,方便进行平台移植。
- 基础层。主要是一些基础的功能库。它内部又分为三类:
- 模组商SDK。比如数据拨号、gnss、低功耗等接口
- 开源库。数据库、日志库、MQTT等
- 系统库等
理论上业务层只能调用抽象层接口,而抽象层只能调用基础层接口。
问题一:开源库如何管理?集成库还是集成生成物?
这是大家可能常会考虑的问题,我一般倾向于集成开源库的生成物,原因有以下几点:
- 空间浪费。开源库应该是具有通用性的,也就是说不同的项目都可以使用,若集成源代码,则多个不同项目,则会在git仓库中有多份。
- 编译时间增长。比如
openssl
开源库的编译需要十几分钟。这就导致第一次编译时,时间非常长。 - 便于维护。有时候,开源库也存在一些bug,需要我们去修复,若是单独用仓库保存仅需要维护一处即可。再通知各个项目组,让他们主动更新。
当然,不同的角色,其考虑角度不一样,比如模组商应该更偏向于将开源库放在项目中。因为他们一般是需要将源码交付给客户的。
问题二: 如何剥离对外部或硬件依赖?
在之前的工作中,我们经常会面临的一个问题:软件已经具备联调条件,但是外部却迟迟不能配合,无法验证内部逻辑。比如模组的sdk或硬件未提供。于是我们的思路是:在x86环境下,可以进行部分业务自测。对于外部依赖的sdk,可以自己模拟接口,配置相关应答。
问题三:如何将我们的程序集成到模组中?
我们工程编译的最终产物一般是可执行程序、动态库、配置文件。如何让其在模组中运行就需要解决两点:
- 如何让我们的程序开机启动。解决方式:需要修改启动脚本,再生成文件系统。
- 如何将我们的程序集成到模组中。解决方式:模组商一般会提供一个单独的分区,需要将我们的程序生成单独的ubi文件,进行烧录。
大致流程:
- 将我们的生成物,按照模组商的提供的指导文档,生成对应的
oem_data.ubi
。 - 将修改的文件,替换到模组上的文件系统中,再生成文件系统
root.squashfs
。 - 将
oem_data.ubi
、root.squashfs
替换到整包中,进行烧录。
问题四: 模组商的SDK如何管理?
正如上面讨论的:foundation->oem->arm
目录、模组商的rootfs
、升级整包、交叉工具链等,都应该是模组上提供的SDK的部分生成物。如何管理模组商的SDK呢?我的建议是单独上库处理。原因有以下几点:
- 模组商的SDK太大,一般有1G多。且编译时间很长,首次编译一般需要几个小时。
- 后续迭代,方便跟踪,溯源。
现在,我们的项目的工程目录大致如下:
且有三个git
仓库:
如何使用cmake实现各个仓库框架
因为不同仓库源码来源不同,管理方式不同,因此cmake
也存在一些差异。
模组商SDK仓库
如上所述,该仓库的主要作用是记录后续模组商SDK变更记录,方便后续追溯。一般该SDK有自己的一套管理方式,不建议修改。我一般的做法是完整上库,不做修改它工程结构。
开源库仓库
该仓库的作用是将一些依赖的开源库进行编译,供上层使用。因此就可能存在多个开源依赖库。为了方便管理,我将所有的开源库,放到同一目录下。目录结构大致如下:
#build.sh
PROJECT_NAME=foundation
TOPDIR=$(pwd)
SRC_CODE_DIR=$TOPDIR
#表示编译的平台,因为项目仓库需要支持arm环境和x86环境,因此底层依赖库需要提供两个版本。
export TYPES_ARM="arm"
export TYPES_X86="x86"
TYPES=($TYPES_ARM $TYPES_X86)
# 默认编译arm平台
if [ -z "$1" ]
then
export PROJECT_BUILD_TYPE=${TYPES_ARM}
else
export PROJECT_BUILD_TYPE=$1
fi
echo "PROJECT_BUILD_TYPE:${PROJECT_BUILD_TYPE}"
# 判断交叉编译链是否存在
if [[ "$1" == $TYPES_ARM ]]; then
if [ ! -d $SRC_CODE_DIR/toolchain ]; then
echo "目录 $SRC_CODE_DIR/toolchain 不存在"
exit
fi
# source 环境变量
source t108_compile_tool_env_init
fi
# 注:交叉编译链及环境变量,一般都是模组上提供的。编译时,我们需要放到指定目录下
# 创建编译目录
rm -rf $SRC_CODE_DIR/build
mkdir $SRC_CODE_DIR/build
cd $SRC_CODE_DIR/build
# 构建项目编译环境,并将编译平台传入
cmake -DENV_PLATFORM=${PROJECT_BUILD_TYPE} ..
# 执行多线程编译
make -j8
#若编译失败,则退出。若成功,则执行后续操作
if [ "$?" == "0" ]; then
echo $?
echo "build foundation successful"
else
echo $?
echo "build foundation error"
exit 1
fi
# 执行安装指令
make install
#打包
cd ${TOPDIR}
rm -rf out
mkdir -p out
mkdir -p out/include
mkdir -p out/bin
mkdir -p out/etc
mkdir -p out/lib
cp -rf $SRC_CODE_DIR/build/deploy/include/* out/include/
cp -rf $SRC_CODE_DIR/build/deploy/sbin/mosquitto out/bin/
cp -rf $SRC_CODE_DIR/build/deploy/etc/* out/etc/
cp -rf $SRC_CODE_DIR/build/deploy/lib/*.a out/lib/
顶层CMakeList.txt
分析:
cmake_minimum_required(VERSION 3.10.0)
project(foundation C CXX)
# 暂时屏蔽编译警告
# 对于开源库的编译警告,我的原则是不处理。而我们自己编写的代码是不可以有编译警告的。为了编译美观,因此忽略。
add_compile_options( -Wno-conversion -Wno-sign-conversion -Wno-parentheses -Wno-unused-variable -Wno-format -Wno-implicit-function-declaration -Wno-incompatible-pointer-types -Wno-int-conversion)
# 设置安装指令的相关变量,便于统一管理
# CMAKE_INSTALL_PREFIX。指定了安装的目标路径前缀,即所有安装的目标文件都会被放置在这个路径下
# CMAKE_INSTALL_BINDIR。指定了可执行文件(二进制文件)的安装路径。若没有设置,默认的安装路径将是 ${CMAKE_INSTALL_PREFIX}/bin。
# CMAKE_INSTALL_LIBDIR。指定了库文件的安装路径,若没有设置,默认的安装路径通常是 ${CMAKE_INSTALL_PREFIX}/lib,但在64位系统上,可能会是 ${CMAKE_INSTALL_PREFIX}/lib64
#CMAKE_INSTALL_INCLUDEDIR。CMAKE_INSTALL_INCLUDEDIR,若没有设置,默认的安装路径是 ${CMAKE_INSTALL_PREFIX}/include。
set(CMAKE_INSTALL_PREFIX ${CMAKE_SOURCE_DIR}/build/deploy)
set(CMAKE_INSTALL_BINDIR ${CMAKE_INSTALL_PREFIX}/bin)
set(CMAKE_INSTALL_LIBDIR ${CMAKE_INSTALL_PREFIX}/lib)
set(CMAKE_INSTALL_INCLUDEDIR ${CMAKE_INSTALL_PREFIX}/include)
# 设置foundation 版本信息
# 获取编译日志
EXECUTE_PROCESS(COMMAND date +%Y%m%d OUTPUT_VARIABLE COMPILE_DATE OUTPUT_STRIP_TRAILING_WHITESPACE)
# 获取当前最新的commitID
EXECUTE_PROCESS(COMMAND git rev-parse --short HEAD OUTPUT_VARIABLE GIT_COMMITID OUTPUT_STRIP_TRAILING_WHITESPACE)
# 定义版本名程: foundation_platform_data_commitID,并将该信息以ADM_FOUNDATION_SDK_VERSION宏传递给编译选项,这样源文件中就可以进行访问,并进行打印记录。
SET(PROJECT_VERSION ${PROJECT_NAME}_${ENV_PLATFORM}_${ADM_SDK_VERSION}_${COMPILE_DATE}_${GIT_COMMITID})
ADD_DEFINITIONS(-DADM_FOUNDATION_SDK_VERSION="${PROJECT_VERSION}" -D${PROJECT_VERSION})
# 因为开源库mosquitto依赖openssl库,因此首先需要确保我们的编译环境中能够找到对应依赖。相当于环境编译检查。
find_package(OpenSSL REQUIRED)
if(OPENSSL_FOUND)
include_directories(${OPENSSL_INCLUDE_DIR})
endif()
# 将需要编译的开源库添加到构建过程中来
add_subdirectory(package/iniparser)
add_subdirectory(package/mosquitto)
add_subdirectory(package/log)
add_subdirectory(package/sqlite3)
add_subdirectory(package/cJSON)
在编译过程中,遇到了一个现象:编译x86环境时,可以正常编译。但是编译arm平台会报如下错误:
CMake Error at /home/xieyihua/.local/lib/python3.8/site-packages/cmake/data/share/cmake-3.29/Modules/FindPackageHandleStandardArgs.cmake:230 (message):
Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the
system variable OPENSSL_ROOT_DIR (missing: OPENSSL_CRYPTO_LIBRARY) (found
version "1.1.1f")
Call Stack (most recent call first):
/home/xieyihua/.local/lib/python3.8/site-packages/cmake/data/share/cmake-3.29/Modules/FindPackageHandleStandardArgs.cmake:600 (_FPHSA_FAILURE_MESSAGE)
/home/xieyihua/.local/lib/python3.8/site-packages/cmake/data/share/cmake-3.29/Modules/FindOpenSSL.cmake:686 (find_package_handle_standard_args)
CMakeLists.txt:43 (find_package)
分析:其原因就是在做环境检查时,发现工程依赖openSSL
,但是却没有找到相关依赖。因为我的x86环境默认安装了openSSL
,且系统$PATH环境变量中添加了该路径,所以能找到相关依赖。但是可以提供的环境变量并没有相关设置,所以找不到。
# t108_compile_tool_env_init
export SDKPATH=$(cd $(dirname ${BASH_SOURCE[0]}) && pwd)
BUILD_TOOLCHAIN_DIR=$SDKPATH/toolchain
export CC=$BUILD_TOOLCHAIN_DIR/linux64/bin/arm-openwrt-linux-gcc
export CXX=$BUILD_TOOLCHAIN_DIR/linux64/bin/arm-openwrt-linux-g++
因此,需要在环境变量中,手动添加工具链中openSSL
的相关路径。export PATH=$BUILD_TOOLCHAIN_DIR/linux64/bin:$BUILD_TOOLCHAIN_DIR/linux64/usr/lib:$PATH
。
项目仓库
由上图可知,项目本身CMakeLists.txt
布局如下,并逐一分析:
build.sh
内容如下:
PROJECT_NAME=itu2.0
TOPDIR=$(pwd)
# 若没有设置平台,则默认编译arm
#!/bin/bash
if [ -z "$1" ]; then
platform=arm
else
platform=$1
fi
if [[ "$platform" == "arm" ]]; then
if [ ! -d $TOPDIR/toolchain ]; then
echo "目录 $TOPDIR/toolchain 不存在"
exit
fi
source t108_compile_tool_env_init
fi
# 创建目录和编译
rm -rf $TOPDIR/build
mkdir $TOPDIR/build
# 编译,并传入平台
cd $TOPDIR/build
cmake -DENV_PLATFORM=$platform ..
make -j8
if [ "$?" == "0" ]; then
echo $?
echo "build $PROJECT_NAME successful"
else
echo $?
echo "build $PROJECT_NAME error"
exit 1
fi
#回到顶层目录
cd ${TOPDIR}
#将生成物拷贝到输出目录
OUT_DIR=$TOPDIR/out
EXTERNAL_OUTPUT_EXE=$OUT_DIR
EXTERNAL_OUTPUT_EXE_BIN=$OUT_DIR/bin
EXTERNAL_OUTPUT_EXE_ETC=$OUT_DIR/etc
EXTERNAL_OUTPUT_EXE_LIB=$OUT_DIR/lib
rm -rf $EXTERNAL_OUTPUT_EXE
mkdir -p $EXTERNAL_OUTPUT_EXE
mkdir -p $EXTERNAL_OUTPUT_EXE_BIN
mkdir -p $EXTERNAL_OUTPUT_EXE_ETC
mkdir -p $EXTERNAL_OUTPUT_EXE_LIB
cp -rf $TOPDIR/build/common/libsaFoundation.so $EXTERNAL_OUTPUT_EXE_LIB
cp -rf $TOPDIR/build/abstract/libsaEngine.so $EXTERNAL_OUTPUT_EXE_LIB
cp -rf $TOPDIR/build/application/appcore/basicApp/basicApp $EXTERNAL_OUTPUT_EXE_BIN
cp -rf $TOPDIR/build/application/appcore/extendApp/extendApp $EXTERNAL_OUTPUT_EXE_BIN
cp -rf $TOPDIR/application/appcore/daemon/shineAutoDaemon $EXTERNAL_OUTPUT_EXE_BIN
cp -rf $TOPDIR/common/3rd_libs/$platform/bin/mosquitto $EXTERNAL_OUTPUT_EXE_BIN
cp -rf $TOPDIR/rawdata/saTboxConfig.ini $EXTERNAL_OUTPUT_EXE_ETC
cp -rf $TOPDIR/common/3rd_libs/$platform/etc/mosquitto/mosquitto.conf.example $EXTERNAL_OUTPUT_EXE_ETC
CMakeLists.txt
内容如下:
cmake_minimum_required(VERSION 3.10.0)
project(ITU2.0 C CXX)
# 设置编译参数
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -g -rdynamic -funwind-tables -ffunction-sections -std=gnu11")
#set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -g -rdynamic -funwind-tables -ffunction-sections -std=c++14 ")
# 打开所有警告。组内要求,编译过程不可以有任何警告
add_compile_options(-Wall -Wextra)
# 判断平台合法性
if((${ENV_PLATFORM} MATCHES "x86"))
message(STATUS "ENV_PLATFORM = x86")
elseif(${ENV_PLATFORM} MATCHES "arm")
message(STATUS "ENV_PLATFORM = arm")
else()
message(FATAL_ERROR "ENV_PLATFORM ERROR x86 arm")
endif()
find_package(OpenSSL REQUIRED)
# 根据不同平台,设置库查找路径及依赖库
if(${ENV_PLATFORM} MATCHES "x86")
# 设置x86平台 库查找路径
set(FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/common/3rd_libs/${ENV_PLATFORM}/lib)
# 添加依赖库
set(FOUNDATION_LIBRARIES
admdebug
cjson
easylogger
iniparser
mosquitto_static
sqlite3
${FOUNDATION_LIBRARIES}
)
elseif(${ENV_PLATFORM} MATCHES "arm")
# 设置arm平台 库查找路径
set(FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/common/3rd_libs/${ENV_PLATFORM}/lib)
# arm 平台需要添加模组商自身的库,以及跨平台的其它库
list(APPEND FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/common/oem/libs-lyqr)
list(APPEND FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/toolchain/linux64/usr/lib)
# 配置编译链接路径
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wl,-rpath-link,${CMAKE_SOURCE_DIR}/toolchain/linux64/usr/lib")
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wl,-rpath-link,${CMAKE_SOURCE_DIR}/toolchain/linux64/lib")
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wl,-rpath-link,${CMAKE_SOURCE_DIR}/common/oem/libs-lyqr")
# 添加arm 平台依赖库
set(FOUNDATION_LIBRARIES
admdebug
cjson
easylogger
iniparser
mosquitto_static
sqlite3
#lyqr
lynq_lib
${FOUNDATION_LIBRARIES}
)
else()
message(FATAL_ERROR "ENV_PLATFORM ERROR x86 arm")
endif()
# 逐层编译
## 1. 编译基础库
add_subdirectory(foundation)
## 2. 编译抽象层
add_subdirectory(abstract)
## 3. 编译业务层代码
add_subdirectory(application)
foundation/CMakeLists.txt
内容如下。理论上foundation目录下都是已经配置文件、动态库、头文件。是不需要编译的。但是由于我们需要兼容x86环境,需要自定义模组商接口,用于调试。
cmake_minimum_required(VERSION 3.10.0)
project(lynq_lib C CXX)
set(project_name lynq_lib)
# x86环境下,依赖接口编译
if("${ENV_PLATFORM}" STREQUAL "x86" )
file(GLOB engine_src
"oem/x86/src/*"
)
file(GLOB engine_inc
"oem/x86/inc"
"oem/x86/src"
)
endif()
add_library(${project_name} SHARED
${engine_src}
)
# 设置链接库路径,因为是底层foundation库,因此主要依赖交叉工具链
target_link_directories(${project_name} PRIVATE ${FOUNDATION_LIBDIR})
abstruct/CMakeLists.txt
内容如下:该层是对foundation的抽象,因此肯定会对foundation相关进行依赖。
cmake_minimum_required(VERSION 3.10.0)
project(engine C CXX)
set(project_name saEngine)
file(GLOB engine_src
#rpc
"rpc/src/*"
#network
"network/src/*"
#gnss
"gnss/src/*"
#se
"se/src/fdw/*"
#lpm
"lpm/src/*"
#sms
"sms/src/*"
#voice_call
"voice_call/src/*"
#添加其它抽象层代码
)
file(GLOB engine_inc
"*/inc"
"*/src"
)
message(STATUS "engine_inc = ${engine_inc}")
message(STATUS "engine_src = ${engine_src}")
# 生成目标动态库 libsaEngine.so
add_library(${project_name} SHARED
${engine_src}
)
# 设置头文件查找路径。因为抽象层是对否foundation的抽象,理论上它应该只依赖foundation才对。
target_include_directories(${project_name}
PRIVATE
${engine_inc}
${CMAKE_SOURCE_DIR}/foundation/3rd_libs/${ENV_PLATFORM}/include/
${CMAKE_SOURCE_DIR}/foundation/libs/include/
${CMAKE_SOURCE_DIR}/foundation/3rd_libs/${ENV_PLATFORM}/include/log/
${CMAKE_SOURCE_DIR}/foundation/oem/inc/lynq/
${CMAKE_SOURCE_DIR}/foundation/oem/inc/mbtk/
)
# 添加依赖库libFoundation.so
target_link_libraries(
${project_name}
PRIVATE
saFoundation
)
bussniss/basic/CMakeLists.txt
内容如下:同理bussniss/extend/CMakeLists.txt
也类似。
cmake_minimum_required(VERSION 3.10.0)
project(basic C CXX)
set(project_name basicApp)
# 设置目标文件名称
add_executable(${project_name}
main.c
saInitBasicModule.c
#其它服务源码
)
#添加头文件查找路径。理论上若abstruct层做的足够优秀,业务层是不会直接调用foundation层接口的。
include_directories(
${CMAKE_SOURCE_DIR}/abstract/inc/
)
# 设置库依赖
target_link_libraries(
${project_name}
PRIVATE
saFoundation
saEngine
)
#设置库查找路径
target_link_directories(${project_name} PRIVATE ${FOUNDATION_LIBDIR})
编译成功之后,就是需要构建整包了。package.sh
内容如下:
#!/bin/bash
export PROJECT_ROOT=$(cd "$(dirname "$0")";pwd)
# 创建输出目录
if [ ! -d $PROJECT_ROOT/package ];then
mkdir $PROJECT_ROOT/package
fi
# 生成 oem_data.ubi。build.sh 脚本会将项目生成物保存到out目录下
mkdir $PROJECT_ROOT/tmp
$PROJECT_ROOT/tools/mkfs.ubifs -m 2048 -e 126976 -c 507 -F --space-fixup --compr=zlib -o $PROJECT_ROOT/tmp/oem_data.ubifs -d $PROJECT_ROOT/out/
cd $PROJECT_ROOT/tmp/
$PROJECT_ROOT/tools/ubinize -m 2048 -p 131072 -s 2048 -o $PROJECT_ROOT/package/openwrt-mmp-asr1806-oem_data.ubi $PROJECT_ROOT/tools/ubinize-oem.cfg
cd $PROJECT_ROOT/
rm -rf $PROJECT_ROOT/tmp
# 生成 root.squashfs
mkdir $PROJECT_ROOT/tmp
cp -rf $PROJECT_ROOT/sdk-lynq/* $PROJECT_ROOT/tmp/
cp -rf $PROJECT_ROOT/sdk-shineauto/root-mmp/etc/init.d/mbtk_boot_last $PROJECT_ROOT/tmp/root-mmp/etc/init.d/mbtk_boot_last
$PROJECT_ROOT/tools/mksquashfs4 $PROJECT_ROOT/tmp/root-mmp $PROJECT_ROOT/package/openwrt-mmp-asr1806-root.squashfs -nopad -noappend -root-owned -no-exports -comp xz -Xpreset 8 -Xe -Xlc 0 -Xlp 2 -Xpb 2 -Xbcj arm -b 64k -p '/dev d 755 0 0' -p '/dev/console c 600 0 0 5 1' -no-xattrs
rm -rf $PROJECT_ROOT/tmp
# 生成整包
TIMESTAMP=$(date +'%Y%m%d')
GIT_COMMITID=$(git rev-parse --short HEAD)
echo $TIMESTAMP
echo $GIT_COMMITID
mkdir $PROJECT_ROOT/tmp
cp -rf $PROJECT_ROOT/wholePackage/* $PROJECT_ROOT/tmp
cp -rf $PROJECT_ROOT/package/openwrt-mmp-asr1806-oem_data.ubi $PROJECT_ROOT/tmp
cp -rf $PROJECT_ROOT/package/openwrt-mmp-asr1806-root.squashfs $PROJECT_ROOT/tmp
# 构建fota包
$PROJECT_ROOT/tools/mkotafbf -f $PROJECT_ROOT/tmp/asr1806_p301_QSPINAND_Trusted_SDTIM_LPDDR2_OTA_BLF -o $PROJECT_ROOT/package/shineauto_$TIMESTAMP\_$GIT_COMMITID.bin -v "$TIMESTAMP\_$GIT_COMMITID"
$PROJECT_ROOT/tools/ota_update -f $PROJECT_ROOT/package/shineauto_$TIMESTAMP\_$GIT_COMMITID.bin -v $PROJECT_ROOT/tmp/
rm -rf $PROJECT_ROOT/tmp
总结
本文介绍了如何通过软件架构构建工程架构,并使用CMake进行项目管理。以T-BOX项目为例,详细分析了其软件架构,包括分层结构、业务层、抽象层和基础层。还探讨了如何管理开源库、剥离外部依赖、集成程序到模组中以及如何管理模组商的SDK。希望思路能够帮助到需要的朋友
若我的内容对您有所帮助,还请关注我的公众号。不定期分享干活,剖析案例,也可以一起讨论分享。
我的宗旨:
踩完您工作中的所有坑并分享给您,让你的工作无bug,人生尽是坦途