aws codebuild 自定义构建环境和本地构建

news2024/11/6 9:28:44

参考资料

  • Extending AWS CodeBuild with Custom Build Environments

  • Docker in custom image sample for CodeBuild

codebuild自定义构建环境

在创建codebuild项目的时候发现

在这里插入图片描述

构建环境是 Docker 映像，其中包含构建和测试项目所需的所有内容的完整文件系统

用rust写一个简单的helloworld，添加一段单元测试

#[derive(Debug)]
struct Rectangle {
    width: u32,
    height: u32,
}

impl Rectangle {
    fn can_hold(&self, other: &Rectangle) -> bool {
        self.width > other.width && self.height > other.height
    }
}

pub fn add_tow(a: i32) -> i32 {
    a + 2
}

#[cfg(test)]
mod tests {
    use super::*;

    #[test]
    fn larger_can_hold_smaller() {
        let larger = Rectangle { width: 8, height: 7 };
        let smaller = Rectangle { width: 5, height: 1 };

        assert!(larger.can_hold(&smaller));
    }

    use crate::add_tow;

    #[test]
    fn if_add_twos() {
        assert_eq!(4, add_tow(2));
    }
    
    #[test]
    fn if_add_twos_info() {
        let result =  add_tow(2);
        // assert!(5 == result,"failed to add two for 3, get wrong value {}",result);
        assert_eq!(5,result,"failed to add two for 3, get wrong value {}",result);
    }
}

创建buildspec.yml配置

version: 0.2

phases:
  install:
    commands:
      - echo "install stage"
  pre_build:
    commands:
      - echo "pre_build stage"
      - cargo version
  build:
    commands:
      - echo "build stage"
      - cargo build
  post_build:
  	commands:
      - echo "post_build test stage"
      - cargo test
artifacts:
  files:
    - target/release/rustdemo
  discard-paths: yes

创建codebuild项目如下

$ aws codebuild create-project --cli-input-json file://buildfile.json
// buildfile.json
{
    "name": "test-codebuild-rust",
    "source": {
        "type": "CODECOMMIT",
        "location": "https://git-codecommit.cn-north-1.amazonaws.com.cn/v1/repos/test-codebuild-rust",
        "gitCloneDepth": 1,
        "gitSubmodulesConfig": {
            "fetchSubmodules": false
        },
        "insecureSsl": false
    },
    "sourceVersion": "refs/heads/master^{8f5b871be5bf92ef70155801b2f35e4af0779632}",
    "artifacts": {
        "type": "S3",
        "location": "zhaojiew-test",
        "path": "",
        "namespaceType": "NONE",
        "name": "rustdemo",
        "packaging": "ZIP",
        "overrideArtifactName": false,
        "encryptionDisabled": false
    },
    "environment": {
        "type": "LINUX_CONTAINER",
        "image": "xxxxxxxxx.dkr.ecr.cn-north-1.amazonaws.com.cn/myrust:latest",
        "computeType": "BUILD_GENERAL1_SMALL",
        "environmentVariables": [],
        "privilegedMode": false,
        "imagePullCredentialsType": "CODEBUILD"
    },
    "serviceRole": "arn:aws-cn:iam::xxxxxxxxx:role/service-role/codebuild-test-codebuild-rust-service-role",
    "timeoutInMinutes": 60,
    "queuedTimeoutInMinutes": 480,
    "encryptionKey": "arn:aws-cn:kms:cn-north-1:xxxxxxxxx:alias/aws/s3",
    "logsConfig": {
        "cloudWatchLogs": {
            "status": "ENABLED"
        },
        "s3Logs": {
            "status": "DISABLED",
            "encryptionDisabled": false
        }
    }
}

开始构建

aws codebuild start-build --project-name test-codebuild-rust

第一次在PROVISIONING阶段报错，由于指定仓库为ecr，需要给codebuild-test-codebuild-rust-service-role权限拉取ecr镜像

BUILD_CONTAINER_UNABLE_TO_PULL_IMAGE: Unable to pull customer's container image. CannotPullContainerError: Error response from daemon: pull access denied for xxxxxxx.dkr.ecr.cn-north-1.amazonaws.com.cn/myrust, repository does not exist or may require 'docker login': denied: User: CodeBuild

第二次出现POST_BUILD预期错误，即测试失败

COMMAND_EXECUTION_ERROR: Error while executing command: cargo test. Reason: exit status 101

第三次成功build

此外，在选择build角色的时候，可以选择两个不同的角色

在这里插入图片描述

这两个角色的区别在于一个是自动创建的servicerole，另一个是该项目的servicerole

测试过程中使用默认servicerole，即使权限足够也会出现以下报错

BUILD_CONTAINER_UNABLE_TO_PULL_IMAGE: Unable to pull customer's container image. CannotPullContainerError: Error response from daemon: pull access denied for 037047667284.dkr.ecr.cn-north-1.amazonaws.com.cn/myrust, repository does not exist or may require 'docker login': denied: User: CodeBuild

codebuild本地构建

https://docs.aws.amazon.com/codebuild/latest/userguide/use-codebuild-agent.html

本地构建意味着虽然codebuild项目仍旧在aws环境中托管，但是实际的构建环境转移到本地

先决条件

  • 安装git和docker
  • 安装codebuild代理

设置build的环境镜像，可以直接使用托管的ecr或手动按需build，构建环境中支持的命令和环境可以参考dockerbuild内容

aws codebuild doceker image

codebuild托管的构建环境镜像有以下

  • standard 4.0
  • standard 5.0
  • standard 6.0
  • amazonlinux2-x86_64-standard:3.0
  • amazonlinux2-x86_64-standard:4.0
  • amazonlinux2-aarch64-standard:1.0
  • amazonlinux2-aarch64-standard:2.0
docker pull public.ecr.aws/codebuild/amazonlinux2-x86_64-standard:3.0

下载codebuild代理image（x86_64 版本），之后使用构建脚本启动，该代理为构建脚本的默认代理，如果没有会自动下载

docker pull public.ecr.aws/codebuild/local-builds:latest

下载构建脚本

构建脚本的具体内容，https://github.com/aws/aws-codebuild-docker-images/blob/master/local_builds/codebuild_build.sh

$ curl -O  https://raw.githubusercontent.com/aws/aws-codebuild-docker-images/master/local_builds/codebuild_build.sh
$ chmod +x codebuild_build.sh
$ ./codebuild_build.sh
The image name flag (-i) must be included for a build to run
The artifact directory (-a) must be included for a build to run
# -i 指定build的image环境
# -a 指定构建的输出目录
# -s 需要构建项目目录，默认为当前目录
# -l 覆盖默认的代理镜像

在本地新建maven项目并创建buildspec.yml

version: 0.2

phases:
  install:
    runtime-versions:
      java: corretto8
  pre_build:
    commands:
      - echo Initializing environment
  build:
    commands:
      - echo Build started on `date`
      - mvn compile
  post_build:
    commands:
      - echo Build completed on `date`
      - mvn package
artifacts:
  files:
    - appspec.yml
    - scripts/**/*
    - target/unicorn-web-project.war
  discard-paths: no

开始构建

./codebuild_build.sh -i public.ecr.aws/codebuild/amazonlinux2-x86_64-standard:3.0 -a artificats

构建输出如下

docker run -it -v /var/run/docker.sock:/var/run/docker.sock -e "IMAGE_NAME=public.ecr.aws/codebuild/amazonlinux2-x86_64-standard:3.0" -e "ARTIFACTS=/home/ec2-user/efs/test-build-javaweb/artificats" -e "SOURCE=/home/ec2-user/efs/test-build-javaweb" -e "INITIATOR=ec2-user" public.ecr.aws/codebuild/local-builds:latest

Removing network agent-resources_default
Removing volume agent-resources_source_volume
Removing volume agent-resources_user_volume
Creating network "agent-resources_default" with the default driver
Creating volume "agent-resources_source_volume" with local driver
Creating volume "agent-resources_user_volume" with local driver
Pulling agent (amazon/aws-codebuild-local:latest)...
latest: Pulling from amazon/aws-codebuild-local
Pulling build (public.ecr.aws/codebuild/amazonlinux2-x86_64-standard:3.0)...
3.0: Pulling from codebuild/amazonlinux2-x86_64-standard
Creating agent-resources_agent_1 ... done
Creating agent-resources_build_1 ... done
Attaching to agent-resources_agent_1, agent-resources_build_1
agent_1  | [Container] 2023/02/17 06:09:22 Waiting for agent ping
agent_1  | [Container] 2023/02/17 06:09:22 Waiting for DOWNLOAD_SOURCE
agent_1  | [Container] 2023/02/17 06:09:24 Phase is DOWNLOAD_SOURCE
agent_1  | [Container] 2023/02/17 06:09:24 CODEBUILD_SRC_DIR=/codebuild/output/src116956819/src
agent_1  | [Container] 2023/02/17 06:09:24 yamlDoc
agent_1  | [Container] 2023/02/17 06:09:24 YAML location is /codebuild/output/srcDownload/src/buildspec.yml
agent_1  | [Container] 2023/02/17 06:09:24 No commands found for phase name: install
agent_1  | [Container] 2023/02/17 06:09:24 Processing environment variables
agent_1  | [Container] 2023/02/17 06:09:24 Running command echo "Installing corretto(OpenJDK) version 8 ..."

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/352843.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

实现一个简易koa2（一）— 基础架构

实现一个简易koa2（一）— 基础架构

Koa 是一个新的 web 框架，由 Express 幕后的原班人马打造， 致力于成为 web 应用和 API 开发领域中的一个更小、更富有表现力、更健壮的基石。 通过利用 async 函数，Koa 帮你丢弃回调函数，并有力地增强错误处理。 Koa 并没有捆绑任…
阅读更多...
从一致性角度考虑推荐冷启动长尾推荐问题（一）

从一致性角度考虑推荐冷启动长尾推荐问题（一）

前言：目前中长尾推荐的方法有很多，主流的方法有几类比如:1)在没有项目ID嵌入的情况下提高推荐模型的鲁棒性，2)利用有限的交互数据提高学习效率，如使用元学习方法;3)利用物品侧面信息，便于物品ID嵌入的初始化&#xff0…
阅读更多...
如何将美国主机与电子邮件绑定

如何将美国主机与电子邮件绑定

对于使用美国主机的网站所有者来说，将电子邮件与其主机服务绑定非常重要。这是因为绑定电子邮件可以帮助网站所有者更好地管理他们的网站和维护网站的安全，便于接收网站通知和警报、通过电子邮件管理网站以及更好地保护网站的安全。本文将就美国主机如何…
阅读更多...
FileZilla Client(客户端)下载安装教程

FileZilla Client(客户端)下载安装教程

FileZilla Client(客户端)下载安装教程 目录FileZilla Client(客户端)下载安装教程一、下载1.官网下载地址2.点击 Download FileZilla Client3.点击Download二、安装1.双击安装包2.点击 I Agree3.选择 “Anyone who uses this computer”4.全选（勾选桌面图标&#x…
阅读更多...
javaEE 初阶 — 传输层 TCP 协议中的异常情况与面向字节流的粘包问题

javaEE 初阶 — 传输层 TCP 协议中的异常情况与面向字节流的粘包问题

文章目录1 粘包问题1.1 什么是粘包问题1.2 如何解决粘包问题2 异常情况TCP 的十个特性：确认应答机制 超时重传机制 连接管理机制 滑动窗口 流量控制与拥塞控制 延迟应答与捎带应答 1 粘包问题 1.1 什么是粘包问题 面向字节流引入了一个比较麻烦的粘包问题。 …
阅读更多...
BXC6332A第二代智能头盔方案助力电动车市场，为安全保驾护航

BXC6332A第二代智能头盔方案助力电动车市场，为安全保驾护航

随着2020年6月1日起，公安部交管局在全国开展“一盔一带”安全守护行动，摩托车、电动车驾驶人乘车人按照规定正确使用头盔，是保障司乘安全的一道重要屏障，据统计，摩托车、电动自行车驾乘人员死亡事故中约80%为颅脑损伤致…
阅读更多...
基于RK3588的嵌入式linux系统开发（三）——Uboot镜像文件合成

基于RK3588的嵌入式linux系统开发（三）——Uboot镜像文件合成

本章uboot镜像文件的合成包括官网必备文件rkbin下载和uboot镜像文件合成两部分内容，具体分别如下所述。 （一）下载rkbin文件包 以上uboot编译生成的uboot镜像不能直接烧录到板卡中运行，需要与atf、bl31、ddr配置文件等必备文件合成…
阅读更多...
自动化测试工具_Jmeter

自动化测试工具_Jmeter

【课程简介】 接口测试是测试系统组件间接口的一种测试,接口测试天生为高复杂性的平台带来高效的缺陷监测和质量监督能力,平台越复杂，系统越庞大，接口测试的效果越明显。在接口测试大行其道的今天,测试工具也愈发重要,Jmeter作为一款纯 Java 开发的测试…
阅读更多...
【刷题笔记】--二分查找binarysearch

【刷题笔记】--二分查找binarysearch

当给一个有序的数组，在其中查找某个数，可以考虑用二分查找。 题目1： 二分查找的思路： 设置left和right指针分别指向要查找的区间。mid指针指向这个区间的中间。比较mid指针所指的数与target。 如果mid所指的数小于target&…
阅读更多...
C语言——自定义类型：结构体，枚举，联合（详解）

C语言——自定义类型：结构体，枚举，联合（详解）

1.结构体 1.1结构体类型的基础知识 结构体类型是一些值的集合，这些值被称为成员变量，成员变量可以是不同类型的变量。 1.2结构体类型的声明 结构体的声明格式如下： struct tag//tag表示标签名 {member-list;//成员列表//由1或者多个成员组成…
阅读更多...
Hadoop01【尚硅谷】

Hadoop01【尚硅谷】

大数据学习笔记 大数据概念 大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储…
阅读更多...
iOS开发AppleDeveloper中给别人授权开发者权限后，对方一直显示不了我的开发账号team

iOS开发AppleDeveloper中给别人授权开发者权限后，对方一直显示不了我的开发账号team

在iOS开发经常出现多人协作开发的情况。这时我们通常要发邮件邀请别的用户为开发者或者app管理就可以开发我们自己的项目了。但是这次我给别人授权开发者权限后，发现别人权限中没有证书相关权限如图：并且别人登录该账号后，在xcode中只有一个看…
阅读更多...
【办公类-16-09】“2022下学期 大班运动场地分配表-跳过节日循环排序”（python 排班表系列）

【办公类-16-09】“2022下学期 大班运动场地分配表-跳过节日循环排序”（python 排班表系列）

样例展示：跳过节日的运动场地循环排序表（8个班级8组内容 下学期一共20周）背景需求：上学期做过一次大班运动场地安排，跳过节日。2023.2下学期运动场地排班（跳过节日）又来了。一、场地器械微调二、…
阅读更多...
雅利安人有多强悍？灭掉三个文明古国，为何败在殷商的脚下

雅利安人有多强悍？灭掉三个文明古国，为何败在殷商的脚下

转自：雅利安人有多强悍？灭掉三个文明古国，为何败在中国脚下 (baidu.com)这个民族民风彪悍；这个民族曾一度将四大文明古国中的三个——古埃及、古印度、古巴比伦尽数消灭；这个民族甚至被称为“文明粉碎机”；…
阅读更多...
EasyExcel的使用

EasyExcel的使用

这里写目录标题先导入依赖最简单的写最简单的读項目开发中的一些操作xml一定要默認放先导入依赖 <dependencies><dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>2.1.7</version><…
阅读更多...
lombok的原理 和 使用

lombok的原理 和 使用

原理Lombok能以简单的注解形式来简化java代码&#xff0c;提高开发人员的开发效率。其实并没有改变字节码文件的任何内容&#xff0c;只是简化的程序员编写代码的方式。不使用lombok&#xff1a;使用lombok&#xff1a;lombok常用注解Setter &#xff1a;注解在类或字段&#x…
阅读更多...
【面试总结】Linux篇·操作及原理篇

【面试总结】Linux篇·操作及原理篇

【面试总结】Linux篇原理篇1.介绍一下inode2.说一下Linux系统的目录结构3.说一下Linux系统的文件类型4.如何在Linux上配置一个IP地址5.Linux负载是什么&#xff1f;6.Linux中的软链接和硬链接有什么区别&#xff1f;1.介绍一下inode 硬盘的最小存储单位是扇区(Sector)&#xf…
阅读更多...
2自由度悬架LQR控制

2自由度悬架LQR控制

目录 1 悬架系统 1.1 悬架结构示意图 1.2 悬架数学模型 1.3 路面激励 2.仿真分析 2.1simulink模型 2.2 仿真结果 2.3 结论 3. 总结 1 悬架系统 1.1 悬架结构示意图 1.2 悬架数学模型 其中&#xff1a;x1为悬架动扰度&#xff0c;x2为车身加速度&#xff0c;x3为轮胎…
阅读更多...
红黑树的历史和由来。

红黑树的历史和由来。

一个数组&#xff0c;1,2,3,4,5,...n; 一共n个数字。1、直接查找想要查询第n个数字&#xff0c;直接搜索&#xff0c;就是n次查询。ps:那么问题来了&#xff0c;这样查询也太慢了&#xff0c;有什么改进的呢&#xff1f;2、二分查找这个时候&#xff0c;二分查找更快。不过就是…
阅读更多...
python中的.nc文件处理 | 04 利用矢量边界提取NC数据

python中的.nc文件处理 | 04 利用矢量边界提取NC数据

利用矢量边界提取.nc数据 import osimport numpy as np import pandas as pd import matplotlib.pyplot as plt import cartopy.crs as ccrs import cartopy.feature as cfeature import seaborn as sns import geopandas as gpd import earthpy as et import xarray as xr # …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023