spinnaker简介
Spinnaker 是一个开源、多云持续交付平台，它将强大而灵活的管道管理系统与主要云提供商的集成相结合。Spinnaker 提供应用程序管理和部署，帮助您快速、自信地发布软件变更。
Spinnaker 提供了两组核心的功能： 应用管理与应用程序部署。
Spinnaker 由 Netflix 创建，已经过数百个团队在生产中经过数百万次部署的实际考验。它将强大而灵活的管道管理系统与主要云提供商的集成相结合。
官方网站：https://spinnaker.io/
项目地址：https://github.com/spinnaker/spinnaker
安装和配置 Spinnaker
本篇文章介绍如何通过配置代理方式在kubernetes集群中安装和设置 Spinnaker，以便将其配置为在生产中使用。
安装要求：
- 用于安装 Halyard 的机器：可以是本地计算机或 VM（Ubuntu 18.04 或更高版本、Debian 10 或更高版本）。
- 用于安装 Spinnaker 本身的 Kubernetes 集群：建议集群中至少有 4 个核心和 16GB 可用 RAM。
安装完整的 Spinnaker 涉及以下步骤：
- 安装Halyard
- 选择云提供商
- 选择环境
- 选择存储服务
- 部署 Spinnaker
- 备份您的配置
节点清单如下：
| 节点IP | 节点角色 | OS版本 | CPU | 内存 | 组件版本 |
|---|---|---|---|---|---|
| 192.168.72.30 | halyard | ubuntu 22.04 LTS | 4C | 8G | halyard 1.62.2 |
| 192.168.72.40 | kubernetes-master spinnaker | ubuntu 22.04 LTS | 4C | 16G | kubernetes v1.27.7 spinnaker 1.32.2 |
说明：halyard也可以与kubernetes节点合并部署。
安装Halyard
Halyard 是一个命令行管理工具，用于管理 Spinnaker 部署的生命周期，包括编写和验证部署的配置、部署 Spinnaker 的每个微服务以及更新部署。
Spinnaker 的所有可生产部署都需要 Halyard 才能安装、配置和更新 Spinnaker。虽然可以在没有 Halyard 的情况下安装 Spinnaker，但不推荐这样做，如果遇到困难，官方只针对halyard的部署方式提供支持。
可以通过两种方式安装 Halyard：
-
本地 Debian/Ubuntu：这可以在台式机或笔记本电脑上，也可以在虚拟机上。
-
在 Docker 上：建议在至少具有 12GB RAM 的计算机上安装 Halyard。
这里以在 Ubuntu 虚拟机上直接安装halyard为例。
首先配置HTTP代理。
cat >/etc/profile.d/proxy.sh<<EOF
export http_proxy="http://192.168.72.1:7890"
export https_proxy="http://192.168.72.1:7890"
export no_proxy="localhost,127.0.0.0/8,10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,.svc,.cluster.local"
EOF
source /etc/profile.d/proxy.sh
从github获取最新版本的 Halyard 安装脚本：
curl -O \
https://raw.githubusercontent.com/spinnaker/halyard/master/install/debian/InstallHalyard.sh
查看执行脚本的命令帮助
bash InstallHalyard.sh --help
配置apt代理
cat >/etc/apt/apt.conf.d/proxy.conf<<EOF
Acquire::http::proxy "http://192.168.72.1:7890";
Acquire::https::proxy "http://192.168.72.1:7890";
EOF
安装halyard，默认会系统提示输入确认信息，这里使用 -y 参数避免交互式安装。
$ bash InstallHalyard.sh -y
或者安装指定版本，halyard版本可以在 github release 页面查询(可选)
bash InstallHalyard.sh --version 1.62.0
检查 Halyard 是否安装正确：
root@ubuntu:~# hal --version
1.62.0
确认halyard daemon服务是否ready，返回状态码0说明正常
hal --ready
或者使用curl进行测试
root@ubuntu:~# curl http://192.168.72.30:8064/health
{
"status" : "UP"
}root@ubuntu:~#
查看halyard安装位置及配置文件路径
root@ubuntu:~# ls /opt/halyard/bin/
hal hal.bat halyard halyard.bat
root@ubuntu:~# ls /opt/halyard/config/
halyard.yml
配置halyard的代理
修改/opt/halyard/bin/halyard文件(最后一定要给localhost和example.com设置不代理，其中example.com即为最终想要访问Spinnaker集群的域名。
$ vim /opt/halyard/bin/halyard
DEFAULT_JVM_OPTS='"-Djava.security.egd=file:/dev/./urandom" "-Dspring.config.import=optional:/opt/spinnaker/config/" \
"-Dhttp.proxyHost=192.168.72.1" "-Dhttp.proxyPort=7890" \
"-Dhttps.proxyHost=192.168.72.1" "-Dhttps.proxyPort=7890" \
"-Dhttp.nonProxyHosts=\"localhost|*.example.com\""'
或者单独创建/etc/default/spinnaker配置文件，无需手动编辑/opt/halyard/bin/halyard
mkdir -p /etc/default/
cat >/etc/default/spinnaker<<EOF
HALYARD_OPTS='"-Dhttp.proxyHost=192.168.72.1" "-Dhttp.proxyPort=7890" \
"-Dhttps.proxyHost=192.168.72.1" "-Dhttps.proxyPort=7890" \
"-Dhttp.nonProxyHosts=\"localhost|*.example.com\""'
EOF
修改配置后需要重启hal服务，任意hal命令启动服务。
hal shutdown && hal
查看当前hal版本支持的Spinnaker版本(能正常获取到Spinnaker版本说明正常)
root@ubuntu:~# hal version list
+ Get current deployment
Success
+ Get Spinnaker version
Success
+ Get released versions
Success
+ You are on version "", and the following are available:
- 1.30.4 (v1.30.4):
Changelog: https://spinnaker.io/changelogs/1.30.4-changelog/
Published: Sat Sep 09 05:14:15 CST 2023
(Requires Halyard >= 1.45)
- 1.31.2 (v1.31.2):
Changelog: https://spinnaker.io/changelogs/1.31.2-changelog/
Published: Sat Sep 09 01:49:51 CST 2023
(Requires Halyard >= 1.45)
- 1.32.2 (v1.32.2):
Changelog: https://spinnaker.io/changelogs/1.32.2-changelog/
Published: Thu Sep 21 04:55:55 CST 2023
(Requires Halyard >= 1.45)
注意：每个hal的版本都会对应一个可用的Spinnaker的版本列表。
或者查看spinnaker最新稳定版本
root@ubuntu:~# hal version latest -q
1.32.2
复制kubeconfig文件
安装kubectl
curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.27.7/bin/linux/amd64/kubectl
chmod +x ./kubectl
mv ./kubectl /usr/local/bin/kubectl
复制/root/.kube/config文件到spinnaker
mkdir -p /home/spinnaker/.kube
cp config /home/spinnaker/.kube/config
chown -R spinnaker:spinnaker /home/spinnaker/.kube/
切换到spinaker用户，并验证与远程集群连接是否正常
root@ubuntu:~# su - spinnaker
spinnaker@ubuntu:~$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
node40 Ready control-plane 11d v1.27.7
容器运行时配置代理
由于后续部署spinnaker时需要连接外网仓库拉取docker镜像，连接到kubernetes节点192.168.72.40，提前为containerd容器运行时配置代理。
mkdir -p /etc/systemd/system/containerd.service.d
cat >/etc/systemd/system/containerd.service.d/10-default-env.conf<<EOF
[Service]
Environment="HTTP_PROXY=http://192.168.72.1:7890"
Environment="HTTPS_PROXY=http://192.168.72.1:7890"
Environment=NO_PROXY=192.168.0.0/16,10.233.0.0/16,.cluster.local,.svc,127.0.0.1/8,localhost,master,node1,node2,.kubesphere.local
Environment="NO_PROXY=localhost,127.0.0.0/8,10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,.svc,.cluster.local"
EOF
systemctl daemon-reload
systemctl restart containerd
使用crictl命令测试是否能够拉取镜像
$ crictl pull us-docker.pkg.dev/spinnaker-community/docker/deck:3.15.1
Image is up to date for sha256:90ef47bcfda64698abe817f30b5d00da1baaa0a55ce8bfd14b3ce4305b8000cd
halyard配置spinnaker
后续所有操作切换到默认的spinnaker用户执行。
su - spinnaker
指定 Spinnaker 版本
列出当前halyard可用的spinnaker版本。
spinnaker@ubuntu:~$ hal version list
+ Get current deployment
Success
+ Get Spinnaker version
Success
+ Get released versions
Success
+ You are on version "", and the following are available:
- 1.30.4 (v1.30.4):
Changelog: https://spinnaker.io/changelogs/1.30.4-changelog/
Published: Sat Sep 09 05:14:15 CST 2023
(Requires Halyard >= 1.45)
- 1.31.2 (v1.31.2):
Changelog: https://spinnaker.io/changelogs/1.31.2-changelog/
Published: Sat Sep 09 01:49:51 CST 2023
(Requires Halyard >= 1.45)
- 1.32.2 (v1.32.2):
Changelog: https://spinnaker.io/changelogs/1.32.2-changelog/
Published: Thu Sep 21 04:55:55 CST 2023
(Requires Halyard >= 1.45)
选择一个版本，设置您要使用的版本：
hal config version edit --version 1.32.2
或者直接使用最新版本
hal config version edit --version $(hal version latest -q)
命令执行示例如下
spinnaker@ubuntu:~$ hal config version edit --version 1.32.2
+ Get current deployment
Success
+ Edit Spinnaker version
Success
+ Spinnaker has been configured to update/install version "1.32.2".
Deploy this version of Spinnaker with `hal deploy apply`.
此时在会生成.hal目录以及config配置文件，后续所有hal命令操作都会写入该config文件。
spinnaker@ubuntu:~$ cat .hal/config
添加spinnaker账户：
使用cluster-admin作为spinnaker账户
hal config provider kubernetes account add spinnaker-admin \
--context $(kubectl config current-context)
命令执行示例如下
spinnaker@ubuntu:~$ hal config provider kubernetes account add spinnaker-admin \
--context $(kubectl config current-context)
+ Get current deployment
Success
+ Add the spinnaker-admin account
Success
+ Successfully added account spinnaker-admin for provider
kubernetes.
设置时区
spinnaker@ubuntu:~$ hal config edit --timezone Asia/Shanghai
+ Get current deployment
Success
+ Get deployment configuration
Success
+ Edit deployment configuration
Success
Validation in default.stats:
- INFO Stats are currently ENABLED. Usage statistics are being
collected. Thank you! These stats inform improvements to the product, and that
helps the community. To disable, run `hal config stats disable`. To learn more
about what and how stats data is used, please see
https://spinnaker.io/docs/community/stay-informed/stats.
+ Successfully edited your deployment configuration
指定providers
在 Spinnaker 中，提供程序是与您部署应用程序的云平台的集成。
在本部分中，您将注册云平台的凭据。这些凭证在 Spinnaker 中称为帐户，Spinnaker 通过这些帐户部署您的应用程序。
Spinnaker 的所有抽象和功能都构建在其支持的云提供商之上。因此，要使 Spinnaker 执行任何操作，您必须至少启用一个提供商，并为其添加一个帐户。
根据需要添加任意数量的以下提供程序。
- AWS
- Kubernetes
- Azure
- Cloud Foundry
- DC/OS
- Docker Registry
- Google App Engine
- Google Compute Engine
- Oracle
配置提供程序，指定为kubernetes
spinnaker@ubuntu:~$ hal config provider kubernetes enable
+ Get current deployment
Success
+ Edit the kubernetes provider
Success
+ Successfully enabled kubernetes
选择安装环境
根据您的使用案例，选择您想要安装 Spinnaker 的方式。
在此步骤中，您将告诉 Halyard 在什么类型的环境中安装 Spinnaker。
推荐的路径是分布式安装到 Kubernetes 集群上，但所有这些方法都受支持：
-
Kubernetes 上的分布式安装
Halyard 单独部署 Spinnaker 的每个 微服务 。强烈建议在生产中使用。
-
Debian 软件包的本地安装
Spinnaker 部署在单台机器上。这对于较小的 Spinnaker 部署来说是可以的，但 Spinnaker 在更新时将不可用。
-
来自 GitHub 的本地 git 安装
这是为 Spinnaker 项目做出贡献的开发人员提供的。如果您是一名贡献者，您可能会拥有两个独立的安装 - 一个用于在生产中使用 Spinnaker 的分布式安装，另一个用于开发 Spinnaker 贡献的本地 Git 安装。
分布式安装适用于资源占用量较大的开发组织，以及那些无法承受 Spinnaker 更新期间停机的情况。
Spinnaker 部署到远程云，每个 微服务 独立部署。Halyard 创建了一个更小的无头 Spinnaker 来更新 Spinnaker 及其微服务，确保零停机更新。
$ACCOUNT使用您在配置提供程序时创建的名称运行以下命令：
spinnaker@ubuntu:~$ hal config deploy edit --type distributed --account-name spinnaker-admin
+ Get current deployment
Success
+ Get the deployment environment
Success
+ Edit the deployment environment
Success
+ Successfully updated your deployment environment.
指定外置储存
Spinnaker 需要外部存储提供商来保存您的应用程序设置和配置的管道。由于这些数据非常敏感，并且丢失的代价可能会很高，因此我们建议您使用您有信心的托管存储解决方案。
Spinnaker 支持下列存储提供商。无论您选择哪个选项，都不会影响您对云提供商的选择。也就是说，您可以使用 Google Cloud Storage 作为存储源，但仍部署到 Microsoft Azure。
支持的存储解决方案,通过选择以下选项之一为您的 Spinnaker 实例设置持久存储。
- Azure Storage
- Google Cloud Storage
- Minio
- Redis (Not recommended for production environments)
- S3
- Oracle Object Storage
Minio
Spinnaker 支持使用 Minio 来保存您的应用程序设置和配置的管道。
警告：丢失 Minio 的数据将意味着丢失所有 Spinnaker 应用程序元数据和配置的管道。
Minio 是一个与 S3 兼容的对象存储，您可以自行托管。当您不想依赖云提供商来托管 Spinnaker 数据时，这是我们推荐的持久存储解决方案。
先决条件
按照 Minio 主页上的说明安装 Minio，确保其在 Spinnaker 可访问的端点上运行。记录以下值：
ENDPOINT：完全限定的端点 Minio 是可访问的。如果 Minio 与 Spinnaker 在同一台计算机上运行，则这可能是http://127.0.0.1:9001（请注意，使用localhost而不是127.0.0.1不起作用，因为 AWS 开发工具包将然后尝试连接到 http://.localhost:9001）。MINIO_ACCESS_KEY、MINIO_SECRET_KEY：您配置 Minio 的访问/秘密密钥对。这些环境变量需要对 Minio 进程可见才能工作。
记录值如下
export ENDPOINT="http://minio.minio:9000"
export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=minio123
编辑您的存储设置
鉴于 Minio 不支持版本控制对象，我们需要在 Spinnaker 中禁用它。将以下行添加到 ~/.hal/$DEPLOYMENT/profiles/front50-local.yml ：
DEPLOYMENT=default
mkdir -p ~/.hal/$DEPLOYMENT/profiles
echo "spinnaker.s3.versioning: false" > ~/.hal/$DEPLOYMENT/profiles/front50-local.yml
$DEPLOYMENT 通常是 default 。在这里here内容。如果该文件不存在，则可能需要创建它。
运行以下命令（请注意，我们选择 S3 作为存储类型，因为 Minio 实现了 S3 API）：
Ubuntu安装
echo $MINIO_SECRET_KEY | hal config storage s3 edit --path-style-access=true \
--endpoint $ENDPOINT \
--access-key-id $MINIO_ACCESS_KEY \
--secret-access-key
hal config storage edit --type s3
示例命令如下
spinnaker@ubuntu:~$ echo $MINIO_SECRET_KEY | hal config storage s3 edit --path-style-access=true \
--endpoint $ENDPOINT \
--access-key-id $MINIO_ACCESS_KEY \
--secret-access-key
hal config storage edit --type s3
+ Get current deployment
Success
+ Get persistent store
Success
Generated bucket name: spin-ef45eb85-4a52-4825-a989-ccab7623e704
+ Edit persistent store
Success
Validation in default.persistentStorage:
- WARNING Your deployment will most likely fail until you configure
and enable a persistent store.
+ Successfully edited persistent store "s3".
+ Get current deployment
Success
+ Get persistent storage settings
Success
+ Edit persistent storage settings
Success
+ Successfully edited persistent storage.
警告: 除非您已将 Minio 配置为支持虚拟主机样式请求，否则您需要启用路径样式访问模式： hal config storage s3 edit --path-style-access true 。否则，Front50 将失败并出现 java.net.UnknownHostException: $BUCKET_NAME.localhost 异常。
配置UI
修改Spinnaker Deck和Gate的域名配置
hal config security ui edit --override-base-url http://spinnaker.example.com
hal config security api edit --override-base-url http://spinnaker.example.com/api/v1
修改gate组件配置，与override-base-url和ingress规则一致
mkdir -p /home/spinnaker/.hal/default/profiles
cat >/home/spinnaker/.hal/default/profiles/gate-local.yml<<EOF
server:
servlet:
context-path: /api/v1
EOF
mkdir -p /home/spinnaker/.hal/default/service-settings
cat >/home/spinnaker/.hal/default/service-settings/gate.yml<<EOF
healthEndpoint: /api/v1/health
EOF
部署 Spinnaker
完成 Spinnaker 配置后，将其部署并连接到 Deck（即 Spinnaker UI）。
现在我们已经启用了一个或多个云提供商、选择了部署环境并配置了持久存储，我们准备好选择 Spinnaker 的一个版本、部署它并连接到它。
部署Spinnaker
hal deploy apply
示例输出结果如下：
spinnaker@ubuntu:~$ hal deploy apply
+ Get current deployment
Success
+ Prep deployment
Success
Validation in default.stats:
- INFO Stats are currently ENABLED. Usage statistics are being
collected. Thank you! These stats inform improvements to the product, and that
helps the community. To disable, run `hal config stats disable`. To learn more
about what and how stats data is used, please see
https://spinnaker.io/docs/community/stay-informed/stats.
+ Preparation complete... deploying Spinnaker
+ Get current deployment
Success
+ Apply deployment
Success
+ Deploy spin-redis
Success
+ Deploy spin-clouddriver
Success
+ Deploy spin-front50
Success
+ Deploy spin-orca
Success
+ Deploy spin-deck
Success
+ Deploy spin-echo
Success
+ Deploy spin-gate
Success
+ Deploy spin-rosco
Success
+ Run `hal deploy connect` to connect to Spinnaker.
查看创建的pods
root@ubuntu:~# kubectl -n spinnaker get pods
NAME READY STATUS RESTARTS AGE
spin-clouddriver-654cb6c4d5-zq8m6 1/1 Running 0 16m
spin-deck-79f4b7967-85hdx 1/1 Running 0 16m
spin-echo-77fd648ff9-bgd85 1/1 Running 0 16m
spin-front50-7fcb6777b6-bcrrp 1/1 Running 0 16m
spin-gate-5dddccf759-85mx7 1/1 Running 0 16m
spin-igor-7f8fc7f6cf-n2scq 1/1 Running 0 16m
spin-orca-8ddb6cf89-j648t 1/1 Running 0 16m
spin-redis-f4b9686d9-p28wd 1/1 Running 0 96m
spin-rosco-56547f965d-nfr2m 1/1 Running 0 16m
查看创建的service
root@ubuntu:~# kubectl -n spinnaker get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
spin-clouddriver ClusterIP 10.96.3.24 <none> 7002/TCP 4h38m
spin-deck ClusterIP 10.96.3.182 <none> 9000/TCP 4h38m
spin-echo ClusterIP 10.96.3.176 <none> 8089/TCP 4h38m
spin-front50 ClusterIP 10.96.1.117 <none> 8080/TCP 4h38m
spin-gate ClusterIP 10.96.3.20 <none> 8084/TCP 4h38m
spin-igor ClusterIP 10.96.1.10 <none> 8088/TCP 4h38m
spin-orca ClusterIP 10.96.0.105 <none> 8083/TCP 4h38m
spin-redis ClusterIP 10.96.3.162 <none> 6379/TCP 4h38m
spin-rosco ClusterIP 10.96.1.165 <none> 8087/TCP 4h38m
连接到 Spinnaker UI
浏览器必须能够与 Gate 端点通信，此端点默认为 http://localhost:8084 ，但可以自定义。如果通过默认的 http://localhost:9000 访问 Spinnaker，请检查您是否已将 Gate 的端口（默认为 8084）转发到运行浏览器的计算机。
如果您通过自定义 URL 访问 Spinnaker，请确保已为 UI (Deck) 和 API (Gate) 服务设置 override-base-url ，如下面的问题所述。这些设置将在您的 Gate 和 Deck 端点之间配置跨域资源共享 (CORS)；如果配置不正确，您的浏览器将拒绝来自 Deck to Gate 的请求。
使用ingress连接spinnaker UI
部署ingress-nginx以及metallb，创建Ingress规则
# spinnakerIngress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: spin-deck
namespace: spinnaker
spec:
rules:
- host: spinnaker.example.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: spin-deck
port:
number: 9000
- host: spin-gate.example.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: spin-gate
port:
number: 8084
本地配置hosts解析，其中 192.168.72.250 为ingress服务绑定的 EXTERNAL-IP
192.168.72.250 spinnaker.example.com
浏览器访问spinnaker
http://spinnaker.spinbook.local
卸载halyard及spinnaker
从 Debian/Ubuntu 卸载 Halyard
重要提示：卸载 Halyard 会删除 ~/.hal 目录的全部内容。除非您准备好丢失配置，否则不要这样做。
如果您使用 Halyard 部署 Spinnaker，并且想要清除该部署，请运行以下命令：
hal deploy clean -q
然后可以安全地卸载 Halyard：
sudo ~/.hal/uninstall.sh
