Thinking more…

網址：https://github.com/Shopify/kubeaudit

可以用來稽核 kubernetes 叢集的工具，檢查的項目有

• 確保容器以非 root 身份執行
• 確保容器的根目錄是唯讀
• 移除有危險的 capability
• 不執行 privileged
• 陸續增加中

安裝

直接從 github release 下載二進位檔案，然後放到 /usr/local/bin 就可以了。

使用

有三種模式

• Manifest mode
• Local mode
• Cluster mode

Manifest mode

Manifest mode 就是掃檔案，意思是如果你有寫好的 yaml 檔案，kubeaudit 可以直接掃 yaml 檔案

kubeaudit all -f "/path/to/manifest.yml"

掃完會輸出掃描結果。

需要修正的話，可以用 autofix 來自動修正。

kubeaudit autofix -f "/path/to/manifest.yml"

怕改爛的話，可以輸出到另外一個檔案

kubeaudit autofix -f "/path/to/manifest.yml" -o "/path/to/fixed"

Cluster mode

Cluster mode 就是掃描當前的 Kubernetes 叢集，不要加上 -f 參數就可以

kubeaudit all

Local mode

Local mode 是在你管理多座 kubernetes 叢集時，可以指定 kubeconfig 跟 context，例如

kubeaudit all --kubeconfig "/path/to/config" --context my_cluster

設定

大部份掃描工具都會提供設定，讓開發者可以決定要掃描哪些項目，kubeaudit 也有，格式是 yaml 。

enabledAuditors:
  # Auditors are enabled by default if they are not explicitly set to "false"
  apparmor: false
  asat: false
  capabilities: true
  deprecatedapis: true
  hostns: true
  image: true
  limits: true
  mounts: true
  netpols: true
  nonroot: true
  privesc: true
  privileged: true
  rootfs: true
  seccomp: true
auditors:
  capabilities:
    # add capabilities needed to the add list, so kubeaudit won't report errors
    allowAddList: ['AUDIT_WRITE', 'CHOWN']
  deprecatedapis:
    # If no versions are specified and the'deprecatedapis' auditor is enabled, WARN
    # results will be genereted for the resources defined with a deprecated API.
    currentVersion: '1.22'
    targetedVersion: '1.25'
  image:
    # If no image is specified and the 'image' auditor is enabled, WARN results
    # will be generated for containers which use an image without a tag
    image: 'myimage:mytag'
  limits:
    # If no limits are specified and the 'limits' auditor is enabled, WARN results
    # will be generated for containers which have no cpu or memory limits specified
    cpu: '750m'
    memory: '500m'

• enabledAuditors 是要啟用的稽核項目
• auditors 下方則是每個稽核項目的設定

總結

透過使用 kubeaudit 這個工具，可以稽核 kubernetes 叢集，避免放上有危險的設定，是很實用的工具。

Trivy 是 AquaSecurity 開發的工具，它可以掃描漏洞與有問題的設定檔，而且這工具有開源出來，真的是很佛心。

Trivy 有提供 CLI ，可以搭配 CI 作映像檔掃描，它也有提供 Operator ，可以安裝到 Kubernetes/OpenShift 裡，在佈署容器以後，他會自動的掃描，並產出漏洞報告。

安裝

安裝相當簡單，這邊使用 helm 來安裝，主要是因為這樣好管理。安裝步驟是參考這份文件：Helm – Trivy Operator

加入 helm repository

helm repo add aqua https://aquasecurity.github.io/helm-charts/
helm repo update

安裝

helm install trivy-operator aqua/trivy-operator \
  --namespace trivy-system \
  --create-namespace \
  --set="trivy.ignoreUnfixed=true" \
  --version 0.10.1

檢查

helm list -n trivy-system
kubectl get deployment -n trivy-system

應該會看到以下的輸出

$ helm list -n trivy-system
NAME                 NAMESPACE           REVISION    UPDATED                                 STATUS      CHART                       APP VERSION
trivy-operator   trivy-system    1           2021-01-27 20:09:53.158961 +0100 CET    deployed    trivy-operator-0.10.1   0.10.1

$ kubectl get deployment -n trivy-system
NAME                 READY   UP-TO-DATE   AVAILABLE   AGE
trivy-operator   1/1     1            1           11m

使用

安裝完成以後，Trivy 會自動開始對所有 deployment/daemonset/pod 等的 image 去做掃描。

可以用以下指令去看掃描報告的列表，報告有兩種，一種是安全漏洞的 (vulnerabilityreports) ，一種是稽核的 (configauditreports)

kubectl get vulnerabilityreports -A -o wide
kubectl get configauditreports -A -o wide

後續佈署上去的，也會自動掃描。

要看報告內容，可以用 get/describe 來察看

kubectl get vulnerabilityreport replicaset-nginx-5fbc65fff-nginx -o yaml
kubectl describe configauditreport replicaset-nginx-5fbc65fff

報告預設是 24 小時後刪除，然後重新掃描，如果要調整，可以修改 trivy-operator 這個 deployment 裡的 OPERATOR_SCANNER_REPORT_TTL 環境變數。

後續

後續延伸的議題是 trivy 的掃描依據是什麼呢？若在封閉的環境下，能否使用？若可以使用，又該如何更新呢？

結論

感謝 AquaSecurity 提供的這個工具，讓容器平台能更安全。