Điều gì sẽ xảy ra với các nhóm bị đuổi khỏi kubernetes?

Tôi vừa thấy một số nhóm của mình bị kubernetes đuổi ra khỏi nhà. Điều gì sẽ xảy ra với họ? chỉ quanh quẩn như vậy hay tôi phải xóa chúng theo cách thủ công?

Một cách giải quyết nhanh chóng mà tôi sử dụng là xóa tất cả các nhóm bị đuổi theo cách thủ công sau khi xảy ra sự cố. Bạn có thể sử dụng lệnh này:

kubectl get pods --all-namespaces -o json | jq '.items[] | select(.status.reason!=null) | select(.status.reason | contains("Evicted")) | "kubectl delete pods \(.metadata.name) -n \(.metadata.namespace)"' | xargs -n 1 bash -c

Để xóa các nhóm ở trạng thái Không thành công trong không gian tên default

kubectl -n default delete pods --field-selector=status.phase=Failed

Các nhóm bị loại bỏ phải được xóa theo cách thủ công. Bạn có thể sử dụng lệnh sau để xóa tất cả các nhóm ở Errortrạng thái.

kubectl get pods --all-namespaces --field-selector 'status.phase==Failed' -o json | kubectl delete -f -

Tùy thuộc vào việc đáp ứng ngưỡng loại bỏ mềm hay cứng , các Vùng chứa trong Pod sẽ bị chấm dứt có hoặc không có thời gian gia hạn, PodPhasesẽ được đánh dấu là Failedvà Pod bị xóa. Nếu Ứng dụng của bạn chạy như một phần của Triển khai, chẳng hạn, sẽ có một Pod khác được tạo và lập lịch bởi Kubernetes - có thể là trên một Node khác không vượt quá ngưỡng loại bỏ của nó.

Lưu ý rằng việc loại bỏ không nhất thiết phải do ngưỡng gây ra mà còn có thể được gọi thông qua kubectl drainđể làm trống một nút hoặc theo cách thủ công thông qua Kubernetes API .

Trong trường hợp bạn có các nhóm có Completedtrạng thái mà bạn muốn giữ lại:

kubectl get pods --all-namespaces --field-selector 'status.phase==Failed' -o json | kubectl delete -f -

Kube-controller-managertồn tại theo mặc định với cài đặt K8s đang hoạt động. Có vẻ như mặc định là tối đa 12500 nhóm kết thúc trước khi GC hoạt động.

Trực tiếp từ tài liệu K8s: https://kubernetes.io/docs/reference/command-line-tools-reference/kube-controller-manager/#kube-controller-manager

--termina-pod-gc-ngưỡng int32 Mặc định: 12500
Số lượng nhóm đã kết thúc có thể tồn tại trước khi bộ thu gom rác của nhóm bị kết thúc bắt đầu xóa các nhóm đã kết thúc. Nếu <= 0, bộ thu gom nhóm rác đã kết thúc bị vô hiệu hóa.

Chỉ trong trường hợp ai đó muốn tự động xóa tất cả các nhóm bị đuổi khỏi tất cả các không gian tên:

• Powershell

    Foreach( $x in (kubectl get po --all-namespaces --field-selector=status.phase=Failed --no-headers -o custom-columns=:metadata.name)) {kubectl delete po $x --all-namespaces }

• Bash

kubectl get po --all-namespaces --field-selector=status.phase=Failed --no-headers -o custom-columns=:metadata.name | xargs kubectl delete po --all-namespaces

OpenShift tương đương với lệnh của Kalvin để xóa tất cả các nhóm 'Đã loại bỏ':

eval "$(oc get pods --all-namespaces -o json | jq -r '.items[] | select(.status.phase == "Failed" and .status.reason == "Evicted") | "oc delete pod --namespace " + .metadata.namespace + " " + .metadata.name')"

Thêm một lệnh bash để xóa các nhóm bị đuổi

kubectl get pods | grep Evicted | awk '{print $1}' | xargs kubectl delete pod

Để xóa tất cả các nhóm Evictedbằng lực lượng, bạn có thể thử lệnh một dòng sau:

$ kubectl get pod -A | sed -nr '/Evicted/s/(^\S+)\s+(\S+).*/kubectl -n \1 delete pod \2 --force --grace-period=0/e'

Mẹo: sử dụng công cụ psửa đổi của slệnh sedthay vì esẽ chỉ in lệnh thực để thực hiện công việc xóa:

$ kubectl get pod -A | sed -nr '/Evicted/s/(^\S+)\s+(\S+).*/kubectl -n \1 delete pod \2 --force --grace-period=0/p'

Đây là hướng dẫn 'chính thức' về cách mã hóa ngưỡng cứng (nếu bạn không muốn thấy quá nhiều nhóm bị loại bỏ): kube-Controlll-manager

Nhưng một vấn đề đã biết là làm thế nào để cài đặt kube-control-manager ...

Một cách khác vẫn với awk .

Để tránh bất kỳ lỗi nào của con người có thể khiến tôi phát điên (xóa các nhóm mong muốn), tôi kiểm tra trước kết quả của get podslệnh:

kubectl -n my-ns get pods --no-headers --field-selector=status.phase=Failed     

Nếu điều đó có vẻ tốt, chúng ta bắt đầu:

kubectl -n my-ns get pods --no-headers --field-selector=status.phase=Failed | \
awk '{system("kubectl -n my-ns delete pods " $1)}'

Lệnh dưới đây xóa tất cả các nhóm bị lỗi khỏi tất cả các không gian tên

kubectl get pods -A | grep Evicted | awk '{print $2 " -n " $1}' | xargs -n 3 kubectl delete pod

lệnh dưới đây sẽ lấy tất cả các nhóm bị đuổi khỏi vùng tên mặc định và xóa chúng

kubectl get pods | grep Evicted | awk '{print$1}' | xargs -I {} kubectl delete pods/{}