Những lỗi ImagePullBackOff thường gặp trong Kubernetes

Ngày đăng

Dec 3, 2022 10:38 AM

Tác giả

Quân Huỳnh

Lỗi ImagePullBackOff là gì?

ImagePullBackOff là lỗi Kubernetes Container Runtime không thể tải Image từ Container Registry xuống khi tạo Pod. Một số lý do phổ biến của lỗi này:

• Image không tồn tại hoặc sai tên
• Image Tag không chính xác
• Registry không chính xác
• Chưa có chứng thực khi cần tải từ Private Registry
• Vấn đề về mạng
• Container Registry có giới hạn lượt tải

Image không tồn tại

Đây là lý do phổ biến nhất khiến ta gặp lỗi ImagePullBackOff, là bạn dùng một Image không tồn tại để tạo Pod. Ví dụ thay vì dùng nginx ta lại dùng ngix:

kubectl run err-pod --image=ngix

pod/err-pod created

Kiểm tra.

kubectl get pod

NAME      READY   STATUS             RESTARTS   AGE
err-pod   0/1     ImagePullBackOff   0          60s

Bây giờ ta đã thấy lỗi ImagePullBackOff và để xác định chính xác lỗi do đâu thì ta dùng câu lệnh describe.

kubectl describe pod err-pod

Ở phần Events ta sẽ thấy được lỗi.

Image Tag không chính xác

Lý do phổ biến thứ hai là ta chỉ định Image Tag không chính xác. Ví dụ thay vì dùng latest ta lại chỉ định lasted:

kubectl run nginx --image=nginx:lasted

pod/nginx created

Kiểm tra.

kubectl get pod

NAME    READY   STATUS             RESTARTS   AGE
nginx   0/1     ImagePullBackOff   0          31s

Dùng describe để kiểm tra lỗi.

kubectl describe pod nginx

Ta sẽ thấy được dòng thông báo lỗi chính xác là do đâu.

Failed to pull image "nginx:lasted": rpc error: code = Unknown desc = Error response from daemon: manifest for nginx:lasted not found: manifest unknown: manifest unknown

Registry không chính xác

Lý do phổ biến thứ ba là ta chỉ định tên của Registry không chính xác khi tạo Pod, lỗi này hay gặp với các bạn dùng Registry không phải là Docker Hub, ví dụ với Gitlab thì tên của Registry thường là registry.gitlab.com/<account>/<repo>.

Ta có một Image được để trên Gitlab với tên là registry.gitlab.com/hoalongnatsu/microservice, nhưng khi tạo Pod ta lại bỏ phần Registry đi.

kubectl run microservice --image=hoalongnatsu/microservice

pod/microservice created

Kiểm tra.

kubectl get pod

NAME           READY   STATUS             RESTARTS   AGE
microservice   0/1     ImagePullBackOff   0          81s

Dùng describe để xem lỗi.

Ta sẽ thấy lỗi là repository does not exist. Để sửa thì khi chạy các bạn chỉ định thêm tên của Registry là được.

kubectl delete pod microservice

kubectl run microservice --image=registry.gitlab.com/hoalongnatsu/microservice

pod/microservice created

Kiểm tra.

kubectl get pod

NAME           READY   STATUS             RESTARTS   AGE
microservice   0/1     ImagePullBackOff   0          31s

Ủa??? Nó vẫn báo lỗi??? Đây là lỗi phổ biến tiếp theo ta hay gặp phải.

Chưa có chứng thực khi cần tải từ Private Registry

Các bạn dùng câu lệnh describe để kiểm tra lỗi.

kubectl describe pod microservice

Ta thấy lỗi là.

Failed to pull image "registry.gitlab.com/hoalongnatsu/microservice": rpc error: code = Unknown desc = Error response from daemon: Head "https://registry.gitlab.com/v2/hoalongnatsu/microservice/manifests/latest": denied: access forbidden

Đây là lỗi ta chỉ định Image từ Private Registry mà chưa có chứng thực vào Registry đó. Để sửa lỗi này thì ta cần đăng nhập vào Registry, ở trong Kubernetes ta làm việc đó bằng cách dùng Secret.

kubectl create secret docker-registry dockersecret --docker-server=<your-registry-server> --docker-username=<your-name> --docker-password=<your-pword> --docker-email=<your-email>

Ở trên ta tạo Secret tên là dockersecret, sau đó ta chỉ định nó vào trường imagePullSecrets khi tạo Pod.

apiVersion: v1
kind: Pod
metadata:
  name: microservice
spec:
  containers:
  - name: microservice
    image: registry.gitlab.com/hoalongnatsu/microservice
  imagePullSecrets:
  - name: dockersecret

Vấn đề về mạng

Nếu máy chủ của ta có cấu hình proxy, tường lửa hoặc một số thứ khác liên quan tới tầng mạng thì khi ta tạo Pod sẽ gặp lỗi như sau.

Failed to pull image "nginx:latest": rpc error: code = Unknown desc = failed to pull and unpack image "docker.io/library/nginx:latest": failed to resolve reference "docker.io/library/nginx:latest": failed to do request: Head https://registry-1.docker.io/v2/library/nginx/manifests/latest: dial tcp: lookup registry-1.docker.io on 192.168.64.1:53: server misbehaving

Để sửa lỗi này thì tùy vào các máy chủ của các bạn đang cấu hình proxy như thế nào.

Container Registry có giới hạn lượt tải

Vấn đề này xảy ra khi ta sử dụng Docker Hub, nếu bạn không xài bản Docker có phí thì mặc định Docker Hub chỉ cho phép ta tải 100 ~ 200 Image trong vòng 6 tiếng.

Nên khi làm việc ở môi trường Production ta thường sẽ tự hosting một Registry riêng hoặc là xài của những thằng khác không có giới hạn.

Kết luận

Ở trên là một số lỗi ImagePullBackOff ta thường gặp và cách khắc phục, vấn đề sai tên của Image và Tag tuy đơn giản nhưng lại hay xảy ra nhất, nên ta nhớ để ý tên của Image thật chính xác trước khi tạo Pod để tránh lỗi.

First AI Journey for DevOps:

1. PromptOps: From YAML to AI
2. The DevOps AI Advantage
3. The AIOps Book

Bài viết liên quan

Làm thế nào để tránh ổ đĩa bị đầy khi xài Docker?

Làm thế nào để tránh ổ đĩa bị đầy khi xài Docker?

Khi nào thì ta không nên sử dụng Kubernetes?

Khi nào thì ta không nên sử dụng Kubernetes?

Tự xây dựng Container với Go

Tự xây dựng Container với Go

Kubernetes làm việc với Container như thế nào?

Kubernetes làm việc với Container như thế nào?

Tìm hiểu sâu hơn về Container - Container Runtime là gì?

Tìm hiểu sâu hơn về Container - Container Runtime là gì?

Linux Namespaces và Cgroups: Container được xây dựng từ gì?

Linux Namespaces và Cgroups: Container được xây dựng từ gì?

Liệt kê tài nguyên requests, limits trong Kubernetes một cách dễ dàng với kube-capacity CLI

Liệt kê tài nguyên requests, limits trong Kubernetes một cách dễ dàng với kube-capacity CLI

Tự động đồng bộ Kubernetes ConfigMaps và Secrets qua các Namespaces khác với Reflector

Tự động đồng bộ Kubernetes ConfigMaps và Secrets qua các Namespaces khác với Reflector

Sử dụng SSH Port Forwarding để kết nối tới tài nguyên bị chặn

Sử dụng SSH Port Forwarding để kết nối tới tài nguyên bị chặn

SSL hoạt động như thế nào?

SSL hoạt động như thế nào?

Những cuốn sách nên đọc để học Kubernetes cho người mới bắt đầu

Những cuốn sách nên đọc để học Kubernetes cho người mới bắt đầu

Những cuốn sách nên đọc để trở thành DevOps cho người mới bắt đầu

Những cuốn sách nên đọc để trở thành DevOps cho người mới bắt đầu

Di chuyển dữ liệu từ on-premises lên Cloud

Di chuyển dữ liệu từ on-premises lên Cloud

Common Network Problem

Common Network Problem

Nginx subdirectory as root for React

Nginx subdirectory as root for React

Kubernetes Logging: Fluent Bit to Grafana Loki

Kubernetes Logging: Fluent Bit to Grafana Loki

Tính toán CPU và Memory cho 10K Requests per Second

Tính toán CPU và Memory cho 10K Requests per Second

Tính toán chi phí Cloud CDN và Storage cho 30 triệu request trên tháng

Tính toán chi phí Cloud CDN và Storage cho 30 triệu request trên tháng

Cài đặt Docker lên Linux với một câu lệnh

Cài đặt Docker lên Linux với một câu lệnh

Copy Elasticsearch Data to Remote Server

Copy Elasticsearch Data to Remote Server

Podman - Công cụ thay thế Docker

Podman - Công cụ thay thế Docker

GitOps là gì?

GitOps là gì?

Vai trò của DevOps trong công ty

Vai trò của DevOps trong công ty

Viết lại Linux Shell với Go

Viết lại Linux Shell với Go

Sử dụng ChatGPT cho DevOps

Sử dụng ChatGPT cho DevOps

Xây dựng Load Balancer đơn giản với Go

Xây dựng Load Balancer đơn giản với Go

Làm thế nào để trở thành DevOps Engineer?

Làm thế nào để trở thành DevOps Engineer?

CI/CD là gì - Công cụ Continuous Integration

CI/CD là gì - Công cụ Continuous Integration

Nomad - Công cụ thay thế Kubernetes

Nomad - Công cụ thay thế Kubernetes

Bật nhắc lệnh cho kubectl trên Linux

Bật nhắc lệnh cho kubectl trên Linux

Những lỗi ImagePullBackOff thường gặp trong Kubernetes

Những lỗi ImagePullBackOff thường gặp trong Kubernetes