Docker 安全及日志管理(包含SSL证书)

一、Docker 存在的安全问题

二、Docker 架构缺陷与安全机制

三、Docker 安全基线标准

四、容器相关的常用安全配置方法

五、限制流量流向

六、镜像安全

七、DockerClient 端与 DockerDaemon 的通信安全

https的单向认证流程

https的双向认证流程

八、DockerClient 端与Nginx的通信安全

1）创建CA私钥和证书

2）创建服务端证书自签名请求文件

3）创建服务端证书

一、Docker 存在的安全问题

1.Docker 自身漏洞

作为一款应用 Docker 本身实现上会有代码缺陷。CVE 官方记录 Docker 历史版本共有超过 20 项漏洞，可参见 Docker 官方网站。
黑客常用的攻击手段主要有代码执行、权限提升、信息泄露、权限绕过等。目前 Docker 版本更迭非常快，Docker 用户可将 Docker 升级为最新版本。

2.Docker 源码问题

Docker 提供了 Docker hub，可以让用户上传创建的镜像，以便其他用户下载，快速搭建环境。但同时也带来了一些安全问题。
例如下面三种方式：

（1）黑客上传恶意镜像

如果有黑客在制作的镜像中植入木马、后门等恶意软件，那么环境从一开始就已经不安全了，后续更没有什么安全可言。

（2）镜像使用有漏洞的软件

DockerHub上能下载的镜像里面，75%的镜像都安装了有漏洞的软件。所以下载镜像后，需要检查里面软件的版本信息，对应的版本是否存在漏洞，并及时更新打上补丁。

（3）中间人攻击篡改镜像

镜像在传输过程中可能被篡改，目前新版本的 Docker 已经提供了相应的校验机制来预防这个问题。

二、Docker 架构缺陷与安全机制

Docker本身的架构与机制就可能产生问题，例如这样一种攻击场景，黑客已经控制了宿主机上的一些容器，或者获得了通过在公有云上建立容器的方式，然后对宿主机或其他容器发起攻击。

1. 容器之间的局域网攻击

主机上的容器之间可以构成局域网，因此针对局域网的ARP欺骗、端口扫描、广播风暴等攻击方式便可以用上。
所以，在一个主机上部署多个容器需要合理的配置网络安全，比如设置 iptables 规则。

2. DDoS 攻击耗尽资源

Cgroups 安全机制就是要防止此类攻击的，不要为单一的容器分配过多的资源即可避免此类问题。

3. 有漏洞的系统调用

Docker 与虚拟机的一个重要的区别就是 Docker 与宿主机共用一个操作系统内核。
一旦宿主内核存在可以越权或者提权漏洞，尽管Docker使用普通用户执行，在容器被入侵时，攻击者还可以利用内核漏洞跳到宿主机做更多的事情。

4. 共享root用户权限

如果以 root 用户权限运行容器（docker run --privileged），容器内的 root 用户也就拥有了宿主机的root权限。

三、Docker 安全基线标准

下面从内核、主机、网络、镜像、容器以及其它等 6 个方面总结 Docker 安全基线标准。

1. 内核级别

（1）及时更新内核。
（2）User NameSpace（容器内的 root 权限在容器之外处于非高权限状态）。
（3）Cgroups（对资源的配额和度量），设置CPU、内存、磁盘 IO等资源限制。
（4）通过启用 SELinux（控制文件访问权限）适当的强化系统来增加额外的安全性。
（5）Capability（权限划分），比如划分指定的CPU给容器。
（6）Seccomp（限定系统调用），限制不必要的系统调用。
（7）禁止将容器的命名空间与宿主机进程命名空间共享，比如 host 网络模式。

2. 主机级别

（1）为容器创建独立分区，比如创建在分布式文件系统上。
（2）仅运行必要的服务，注意尽量避免在容器中运行 ssh 服务。
（3）禁止将宿主机上敏感目录映射到容器，-v创建数据卷时需要注意。
（4）对 Docker 守护进程、相关文件和目录进行审计，防止有病毒或木马文件生成。
（5）设置适当的默认文件描述符数。
（6）用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限。
（7）周期性检查每个主机的容器清单，并清理不必要的容器。

3. 网络级别

（1）通过 iptables 设定规则实现禁止或允许容器之间网络流量。
（2）允许 Docker 修改 iptables。
（3）禁止将 Docker 绑定到其他已使用的 IP/Port 或者 Unix Socket。
（4）禁止在容器上映射特权端口。
（5）容器上只开放所需要的端口。
（6）禁止在容器上使用 host 网络模式。
（7）若宿主机有多个网卡，将容器进入流量绑定到特定的主机网卡上。

docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1"  mynetwork
docker run -itd --net mynetwork --ip 172.18.0.100 centos:7 /bin/bash
iptables -t nat -A POSTROUTING -s 172.18.0.100 -o ens36 -j SNAT --to-source 192.168.80.10

4. 镜像级别

（1）创建本地私有镜像仓库服务器。
（2）镜像中软件都为最新版本，建议根据实际情况使用对应版本，业务稳定优先。
（3）使用可信镜像文件，并通过安全通道下载。
（4）重新构建镜像而非对容器和镜像打补丁，销毁异常容器重新构建。
（5）合理管理镜像标签，及时移除不再使用的镜像。
（6）使用镜像扫描。
（7）使用镜像签名。

5. 容器级别

（1）容器最小化，操作系统镜像最小集。
（2）容器以单一主进程的方式运行。
（3）禁止 --privileged 标记使用特权容器。
（4）禁止在容器上运行 ssh 服务，尽量使用 docker exec 进入容器。
（5）以只读的方式挂载容器的根目录系统，-v 宿主机目录:容器目录:ro。
（6）明确定义属于容器的数据盘符。
（7）通过设置 on-failure 限制容器尝试重启的次数，容器反复重启容易丢失数据，--restart=on-failure:3。
（8）限制在容器中可用的进程数，docker run -m 限制内存的使用，以防止 fork 炸弹。（fork炸弹，迅速增长子进程，耗尽系统进程数量）.(){.|.&};.

6. 其他设置

（1）定期对宿主机系统及容器进行安全审计。
（2）使用最少资源和最低权限运行容器，此为 Docker 容器安全的核心思想。
（3）避免在同一宿主机上部署大量容器，维持在一个能够管理的数量。
（4）监控 Docker 容器的使用，性能以及其他各项指标，比如 zabbix。
（5）增加实时威胁检测和事件报警响应功能，比如 zabbix。
（6）使用中心和远程日志收集服务，比如 ELK 。

由于安全属于非常具体的技术，这里不再赘述，可直接参阅 Docker 官方文档，https://docs.docker.com/engine/security/

docker容器使用的安全注意点：
尽量别做的事：

尽量不用 --privileged 运行容器（授权容器root用户拥有宿主机的root权限）
尽量不用 --network host 运行容器（容器共享宿主机的网络命名空间）
尽量不在容器中运行 ssh 服务
尽量不把宿主机的关键敏感目录挂载到容器中

尽量要做的事：

尽量使用较小体积的镜像运行容器
尽量以单一应用进程运行容器
尽量从官方仓库中拉取镜像
尽量保证容器中的应用是最新稳定版本
尽量安装使用最新稳定版本的docker程序
尽量以最低权限运行容器
尽量给docker目录（默认/var/lib/docker/）分配独立的文件系统
尽量以资源限制的方式运行容器 -m --memory-swap --cpu-quota --cpuset-cpus --device-write-bps
尽量以只读的方式挂载宿主机目录到容器数据卷中，持久化容器数据时除外 -v 宿主机目录:容器数据卷目录:ro
尽量设置容器的重启策略和次数 --restart always|on-failure:N

总结：使用最少资源和最小权限运行容器，此为 docker 容器安全的核心思想。

四、容器相关的常用安全配置方法

1. 容器最小化
如果仅在容器中运行必要的服务，像 SSH 等服务是不能轻易开启去连接容器的。通常使用以下方式来进入容器。

docker exec -it a661258f6bfe bash

2. Docker 远程 API 访问控制
Docker 的远程调用API 接口存在未授权访问漏洞，至少应限制外网访问。建议使用 Socket 方式访问。

//在 docker 服务配置文件指定监听内网 ip

vim /usr/lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://192.168.80.10:2375

（2）重启 Docker

systemctl daemon-reload
systemctl restart docker
netstat -natp | grep 2375

（3）在宿主机的 firewalld 上做 IP 访问控制，source address 指定的是客户端地址

firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.80.15" port protocol="tcp" port="2375" accept"
firewall-cmd --reload
或
iptables -t filter -A INPUT -s 192.168.80.15 -p tcp --dport 2375 -j ACCEPT

（4）在客户端上实现远程授权访问

docker -H tcp://192.168.80.10 images

五、限制流量流向

//使用防火墙过滤器限制 Docker 容器的源 IP 地址范围与外界通讯。

firewall-cmd --permanent --zone=public --add-rich-rule="rule family="ipv4" source address="192.168.80.0/24" reject"
iptables -t filter -A INPUT -s 192.168.80.0/24 -j REJECT

//生产环境中的大量问题是因为 Docker 容器端口外放引起的漏洞，除了操作系统账户权限控制上的问题，更在于对 Docker Daemon 的进程管理上存在隐患。
目前常用的 Docker 版本都支持 Docker Daemon 管理宿主机 iptables 的，而且一旦启动进程加上 -p host_port:guest_port 的端口映射，Docker Daemon 会直接增加对应的 FORWARD Chain 并且 -j ACCEPT，而默认的 DROP 规则是在 INPUT 链做的，对 docker 没法限制，这就留下了很严重的安全隐患。因此建议：

（1）不在有外网 ip 的机器上使用 Docker 服务。
（2）使用 k8s 等 docker 编排系统管理 Docker 容器。
（3）宿主机上 Docker daemon 启动命令加一个 --iptables=false，然后把常用 iptables 规则写进文件里，再用 iptables-restore 重定向输入去刷新规则。

六、镜像安全

一般情况下，要确保只从受信任的库中获取镜像，推荐使用 harbor 私有仓库。
如果公司使用的不是自己的镜像源，需要使用 Docker 镜像安全扫描工具 Clair，对下载的镜像进行检查。通过与 CVE 数据库同步扫描镜像，验证镜像的 md5 等特征值，确认一致后再基于镜像进一步构建。一旦发现漏洞则通知用户处理，或者直接阻止镜像继续构建。

避免Docker 容器中信息泄露

近几年 Github 上大量泄露个人或企业各种账号密码，出现这种问题一般都使用 dockerfile 或者 docker-compose 文件创建容器。如果这些文件中存在账号密码等认证信息，一旦 Docker 容器对外开放，则这些宿主机上的敏感信息也会随之泄露。

七、DockerClient 端与 DockerDaemon 的通信安全

为了防止链路劫持、会话劫持等问题导致 Docker 通信时被中间人攻击，c/s 两端应该通过 TLS 加密方式通讯。

通过在服务端上创建tls密钥证书，再下发给客户端，客户端通过私钥访问容器，这样就保证的docker通讯的安全性。

https的单向认证流程

0）服务端会事先通过CA签发服务端证书和私钥文件
1）客户端发送https请求给服务端
2）服务端会先返回一个包含公钥、证书有效期、CA机构信息等的服务端证书给客户端
3）客户端收到服务端证书后，会先用本地的CA证书校验证书的有效性，如果证书有效，则继续下一步操作，证书无效则显示告警信息
4）客户端继续发送自己可支持的对称加密方案给服务端
5）服务端会选择加密程度最高的加密方案，并通过明文方式发送给客户端
6）客户端使用选择的加密方案生成随机的会话密钥，并使用服务端证书中的公钥进行加密会话密钥，再发送给服务端
7）服务端使用私钥解密获取客户端发来的会话密钥，并使用这个会话密钥加密要返回的https响应报文给客户端
8）客户端也使用会话密钥解密返回的加密数据，获取https响应报文。之后双方继续使用这个会话密钥实现密文通信直到会话结束。

https的双向认证流程

0）服务端和客户端都会事先通过CA签发证书和私钥文件
1）客户端发送https请求给服务端
2）服务端会先返回一个包含公钥、证书有效期、CA机构信息等的服务端证书给客户端
3）客户端收到服务端证书后，会先用本地的CA证书校验证书的有效性，如果证书有效，则继续下一步操作，证书无效则显示告警信息
4）客户端继续发送包含公钥的客户端证书和自己可支持的对称加密方案给服务端
5）服务端收到客户端证书后会先校验证书的有效性，通过验证后，服务端会选择加密程度最高的加密方案，并使用客户端证书中的公钥加密后发送给客户端
6）客户端使用私钥解密获取选择的加密方案，并使用选择的加密方案生成随机的会话密钥，再使用服务端证书中的公钥进行加密会话密钥，发送给服务端
7）服务端使用私钥解密获取客户端发来的会话密钥，并使用这个会话密钥加密要返回的https响应报文给客户端
8）客户端也使用会话密钥解密返回的加密数据，获取https响应报文。之后双方继续使用这个会话密钥实现密文通信直到会话结束。

首先创建ca证书，ca证书只是一个官方认证的证书，接下来要创建server、client节点的证书。
此时创建证书有三步：
（1）设置私钥，确保安全加密
（2）使用私钥签名，确保身份真实不可抵赖
（3）使用ca证书制作证书

master    192.168.80.10    docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce
client    192.168.80.15    docker-ce-cli-20.10.5-3.el7.x86_64 docker-ce

注：由于 20.10.9 版本的 docker 客户端用的 go 版本是 go1.16.8，而 go1.15 以后的版本不支持私有 CA 生成的证书，所以这里 docker 客户端仍使用 docker-ce-cli-20.10.5-3.el7.x86_64 安装的版本。

//首先创建一个存放目录

mkdir /tls
cd /tls/

//生成ca证书
（1）创建ca私钥

openssl genrsa -aes256 -out ca-key.pem 4096            #输入123123

----------------------------------------------------------------------------------------------------------
genrsa：使用RSA算法产生私钥
-aes256：使用256位密钥的AES算法对私钥进行加密，这样每次使用私钥文件都将输入密码，可省略
-out：输出文件的路径，若未指定输出文件，则为标准输出
4096：指定私钥长度，默认为1024。该项必须为命令行的最后一项参数
----------------------------------------------------------------------------------------------------------

（2）创建ca证书

openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem            #输入123123

----------------------------------------------------------------------------------------------------------

req：执行证书签发命令
-new：新证书签发请求
-x509：生成x509格式证书，专用于创建私有CA时使用
-days：证书的有效时长,单位是天
-key：指定私钥路径
-sha256：证书摘要采用sha256算法
-subj：证书相关的用户信息(subject的缩写)
-out：输出文件的路径

----------------------------------------------------------------------------------------------------------

//用 ca 证书签发 server 端证书
（3）创建服务器私钥

openssl genrsa -out server-key.pem 4096

（4）生成证书签名请求文件（csr文件）

openssl req -new -key server-key.pem -sha256 -subj "/CN=*" -out server.csr

（5）使用ca 证书与私钥证书签发服务端签名证书，输入 123123，（需要签名请求文件，ca 证书，ca 密钥）

openssl x509 -req -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -days 1000 -out server-cert.pem

----------------------------------------------------------------------------------------------------------
x509：生成x509格式证书
-req：输入csr文件
-in：要输入的csr文件
-CA：指定ca证书的路径
-CAkey：指定ca证书的私钥路径
-CAcreateserial：表示创建证书序列号文件，创建的序列号文件默认名称为ca.srl
----------------------------------------------------------------------------------------------------------

//用ca证书签发client端证书
（6）生成客户端私钥

openssl genrsa -out client-key.pem 4096

（7）生成证书签名请求文件

openssl req -new -key client-key.pem -subj "/CN=client" -out client.csr

（8）创建扩展配置文件，使秘钥适合客户端身份验证

echo extendedKeyUsage=clientAuth > extfile.cnf

（9）使用 ca 证书签发客户端签名证书，输入 123123，（需要签名请求文件，ca 证书，ca 密钥）

openssl x509 -req -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -extfile extfile.cnf -days 1000 -out client-cert.pem

//删除两个证书签名请求文件和扩展配置文件

rm -rf ca.srl client.csr extfile.cnf server.csr

//配置docker服务配置文件

vim /lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock

//重启docker服务

systemctl daemon-reload
systemctl restart docker
netstat -natp | grep 2376
setenforce 0

//将 /tls 目录中的 ca.pem、client-cert.pem、client-key.pem 三个文件复制到另一台主机

scp ca.pem root@192.168.80.10:/etc/docker/
scp client-cert.pem root@192.168.80.10:/etc/docker/
scp client-key.pem root@192.168.80.10:/etc/docker/

//本地验证，使用证书访问时要用主机名连接，docker 不支持使用 IP 进行证书访问

hostnamectl set-hostname master
su

vim /etc/hosts    
127.0.0.1   master

docker --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --tlskey=server-key.pem -H tcp://master:2376 images

//在客户端上操作

hostnamectl set-hostname client
su

vim /etc/hosts
192.168.80.10   master

cd /etc/docker/
docker --tlsverify --tlscacert=ca.pem --tlscert=client-cert.pem --tlskey=client-key.pem -H tcp://master:2376 images

八、DockerClient 端与Nginx的通信安全

如何获取证书？

1）从证书颁发机构(CA)如 Let's Encrypt、DigiCert 或云服务商购买或者申请免费证书（免费证书的有限期一般为一年以内）
2）在本地使用 openssl、mkcert、cfssl 等工具生成自签名证书

openssl创建证书的步骤：证书文件和私钥文件

1）创建CA私钥和证书

openssl genrsa -out ca.key 2048                                     #创建CA私钥文件（通常是 .crt 或 .pem 扩展名）
openssl req -new -x509 -days 3650 -key ca.key -out ca.pem           #基于CA私钥创建CA证书文件（通常是 .key 扩展名）

2）创建服务端证书自签名请求文件

openssl genrsa -out server.key 2048                                 #创建服务端私钥文件
openssl req -new -key server.key -out server.csr                    #基于服务端私钥创建服务端证书自签名请求文件

3）创建服务端证书

openssl x509 -req -days 3650 -in server.csr -CA ca.pem -CAkey ca.key  -CAcreateserial -out server.pem    #基于CA私钥、CA证书和服务端证书自签名请求文件签发服务端证书文件

配置nginx支持https
1）安装时需要添加 --with-http_ssl_module 模块（启用SSL功能）

2）修改配置文件，添加ssl配置

    server {
        listen       443 ssl;                     #设置ssl访问端口为 443
        server_name  www.xy101.com;               #设置绑定证书的域名

        ssl_certificate /etc/nginx/ssl/server.pem;          #设置服务端证书文件路径
        ssl_certificate_key /etc/nginx/ssl/server.key;      #设置服务端私钥文件路径

        #其它ssl配置参数
        ssl_session_cache   shared:SSL:1m;                                         #设置ssl缓存
        ssl_session_timeout 5m;                                                    #设置客户端连接可复用ssl缓存的有效时间
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2;                                       #设置支持的ssl协议版本
        ssl_ciphers ECDH:AESGCM:HIGH:!RC4:!DH:!MD5:!aNULL:!eNULL;                  #设置支持的加密套件
        ssl_prefer_server_ciphers on;                                              #设置优先使用服务端的加密套件

        ....
    }