Pods bị kẹt trong trạng thái Chấm dứt

Tôi đã cố gắng xóa một ReplicationControllervới 12 nhóm và tôi có thể thấy rằng một số nhóm bị kẹt trong Terminatingtrạng thái.

Cụm Kubernetes của tôi bao gồm một nút mặt phẳng điều khiển và ba nút worker được cài đặt trên các máy ảo Ubuntu.

Điều gì có thể là lý do cho vấn đề này?

NAME        READY     STATUS        RESTARTS   AGE
pod-186o2   1/1       Terminating   0          2h
pod-4b6qc   1/1       Terminating   0          2h
pod-8xl86   1/1       Terminating   0          1h
pod-d6htc   1/1       Terminating   0          1h
pod-vlzov   1/1       Terminating   0          1h

Bạn có thể sử dụng lệnh sau để xóa POD mạnh mẽ.

kubectl delete pod <PODNAME> --grace-period=0 --force --namespace <NAMESPACE>

Buộc xóa nhóm:

kubectl delete pod --grace-period=0 --force --namespace <NAMESPACE> <PODNAME>

Các --forcelá cờ là bắt buộc.

Xóa khối quyết toán khỏi tài nguyên (nhóm, triển khai, DS, v.v.) yaml:

"finalizers": [
  "foregroundDeletion"
]

Câu trả lời thực tế - bạn luôn có thể xóa một nhóm kết thúc bằng cách chạy:

kubectl delete pod NAME --grace-period=0

Câu trả lời lịch sử - Có một vấn đề trong phiên bản 1.1 khi đôi khi các nhóm bị mắc kẹt trong trạng thái Chấm dứt nếu các nút của chúng bị xóa không rõ ràng khỏi cụm.

Tôi thấy lệnh này đơn giản hơn:

for p in $(kubectl get pods | grep Terminating | awk '{print $1}'); do kubectl delete pod $p --grace-period=0 --force;done

Nó sẽ xóa tất cả các nhóm trong trạng thái Kết thúc trong không gian tên mặc định.

Trong trường hợp của tôi, --forcetùy chọn không hoạt động tốt. Tôi vẫn có thể nhìn thấy cái kén! Nó bị kẹt trong chế độ Chấm dứt / Không xác định. Vì vậy, sau khi chạy

kubectl delete pods <pod> -n redis --grace-period=0 --force

Tôi đã chạy

kubectl patch pod <pod> -p '{"metadata":{"finalizers":null}}'

Nếu --grace-period=0không hoạt động thì bạn có thể làm:

kubectl delete pods <pod> --grace-period=0 --force

Tôi đã vấp phải điều này gần đây khi loại bỏ không gian tên ceph rook - nó bị kẹt trong trạng thái Chấm dứt.

Điều duy nhất đã giúp là loại bỏ kubernetes cuối cùng bằng cách gọi trực tiếp api k8s với curl như đề xuất ở đây .

• kubectl get namespace rook-ceph -o json > tmp.json
• xóa bộ hoàn thiện kubernetes trong tmp.json(để lại mảng trống "finalizers": [])
• chạy kubectl proxytrong một thiết bị đầu cuối khác cho mục đích xác thực và chạy theo yêu cầu curl đến cổng được trả lại
• curl -k -H "Content-Type: application/json" -X PUT --data-binary @tmp.json 127.0.0.1:8001/k8s/clusters/c-mzplp/api/v1/namespaces/rook-ceph/finalize
• không gian tên đã biến mất

Chi tiết rook ceph rách đây .

Câu hỏi ban đầu là " Lý do cho vấn đề này là gì? " Và câu trả lời được thảo luận tại https://github.com/kubernetes/kubernetes/issues/51835 & https://github.com/kubernetes/kubernetes/issues / 65569 và xem https://www.bountysource.com/issues/33241128-unable-to-remove-a-stopped-container-device-or-resource-busy

Nó gây ra bởi docker mount bị rò rỉ vào một số không gian tên khác.

Bạn có thể đăng nhập vào máy chủ pod để điều tra.

minikube ssh
docker container ps | grep <id>
docker container stop <id> 

Tôi tình cờ phát hiện ra điều này gần đây để giải phóng tài nguyên trong cụm của tôi. Đây là lệnh để xóa tất cả.

kubectl get pods --all-namespaces | grep Terminating | while read line; do 
pod_name=$(echo $line | awk '{print $2}' ) name_space=$(echo $line | awk 
'{print $1}' ); kubectl delete pods $pod_name -n $name_space --grace-period=0 --force; 
done

hy vọng điều này sẽ giúp những người đọc nó