Tôi đang cố gắng chạy một cronjob bên trong một container docker gọi ra một kịch bản shell.

Hôm qua tôi đã tìm kiếm trên tất cả các trang web và ngăn xếp tràn, nhưng tôi thực sự không thể tìm thấy một giải pháp hoạt động.
Tôi có thể làm cái này như thế nào?

BIÊN TẬP:

Tôi đã tạo một kho lưu trữ github (đã nhận xét) với bộ chứa cron docker hoạt động để gọi tập lệnh shell trong khoảng thời gian nhất định.

Bạn có thể sao chép crontab của bạn vào một hình ảnh, để container được khởi chạy từ hình ảnh đã nói để chạy công việc.

Xem " Chạy một công việc định kỳ với Docker " từ Julien Boulay trong Ekito/docker-cron:

Hãy tạo một tệp mới gọi là " hello-cron" để mô tả công việc của chúng tôi.

* * * * * echo "Hello world" >> /var/log/cron.log 2>&1
# An empty line is required at the end of this file for a valid cron file.

Dockerfile sau đây mô tả tất cả các bước để xây dựng hình ảnh của bạn

FROM ubuntu:latest
MAINTAINER docker@ekito.fr

RUN apt-get update && apt-get -y install cron

# Copy hello-cron file to the cron.d directory
COPY hello-cron /etc/cron.d/hello-cron

# Give execution rights on the cron job
RUN chmod 0644 /etc/cron.d/hello-cron

# Apply cron job
RUN crontab /etc/cron.d/hello-cron

# Create the log file to be able to run tail
RUN touch /var/log/cron.log

# Run the command on container startup
CMD cron && tail -f /var/log/cron.log

(xem bình luận của Gaafar và Làm cách nào để cài đặt ít ồn hơn ? : cũng có thể hoạt động)apt-get
apt-get -y install -qq --force-yes cron

Theo ghi nhận của Nathan Lloyd trong các bình luận :

Ghi chú nhanh về một gotcha:
Nếu bạn đang thêm tệp tập lệnh và yêu cầu cron chạy nó, hãy nhớ Cron thất bại trong âm thầm nếu bạn quên .
RUN chmod 0744 /the_script

HOẶC, đảm bảo rằng công việc của bạn tự chuyển hướng trực tiếp đến thiết bị xuất chuẩn / stderr thay vì tệp nhật ký, như được mô tả trong câu trả lời của hugoShaka :

 * * * * * root echo hello > /proc/1/fd/1 2>/proc/1/fd/2

Thay thế dòng Dockerfile cuối cùng bằng

CMD ["cron", "-f"]

Xem thêm (về cron -f, nghĩa là cron "foreground") " docker ubfox cron -fkhông hoạt động "

Xây dựng và chạy nó:

sudo docker build --rm -t ekito/cron-example .
sudo docker run -t -i ekito/cron-example

Hãy kiên nhẫn, đợi trong 2 phút và dòng lệnh của bạn sẽ hiển thị:

Hello world
Hello world

Eric thêm vào trong các ý kiến :

Lưu ý rằng tailcó thể không hiển thị tệp chính xác nếu nó được tạo trong quá trình xây dựng hình ảnh.
Nếu đó là trường hợp, bạn cần tạo hoặc chạm vào tệp trong thời gian chạy bộ chứa để đuôi để chọn đúng tệp.

Xem " Đầu ra tail -fở cuối docker CMDkhông hiển thị ".

Các giải pháp được thông qua có thể nguy hiểm trong một môi trường sản xuất .

Trong docker, bạn chỉ nên thực hiện một quy trình cho mỗi container bởi vì nếu bạn không, quá trình rẽ nhánh và đi nền không được giám sát và có thể dừng lại mà bạn không biết.

Khi bạn sử dụng CMD cron && tail -f /var/log/cron.logquy trình cron về cơ bản ngã ba để thực thi crontrong nền, quy trình chính sẽ thoát và cho phép bạn thực hiện tailfở phía trước. Quá trình cron nền có thể dừng hoặc thất bại mà bạn không nhận thấy, container của bạn sẽ vẫn chạy một cách im lặng và công cụ điều phối của bạn sẽ không khởi động lại nó.

Bạn có thể tránh điều đó bằng cách chuyển hướng trực tiếp đầu ra lệnh của cron vào docker của bạn stdoutvà stderrđược đặt tương ứng trong /proc/1/fd/1và /proc/1/fd/2.

Sử dụng chuyển hướng shell cơ bản, bạn có thể muốn làm một cái gì đó như thế này:

* * * * * root echo hello > /proc/1/fd/1 2>/proc/1/fd/2

Và CMD của bạn sẽ là: CMD ["cron", "-f"]

Đối với những người muốn sử dụng một hình ảnh đơn giản và nhẹ:

FROM alpine:3.6

# copy crontabs for root user
COPY config/cronjobs /etc/crontabs/root

# start crond with log level 8 in foreground, output to stderr
CMD ["crond", "-f", "-d", "8"]

Trong đó cronjobs là tệp chứa cronjobs của bạn, ở dạng này:

* * * * * echo "hello stackoverflow" >> /test_file 2>&1
# remember to end this file with an empty new line

Những gì @VonC đã đề xuất là tốt nhưng tôi thích thực hiện tất cả cấu hình công việc định kỳ trong một dòng. Điều này sẽ tránh các vấn đề đa nền tảng như vị trí cronjob và bạn không cần một tệp cron riêng.

FROM ubuntu:latest

# Install cron
RUN apt-get -y install cron

# Create the log file to be able to run tail
RUN touch /var/log/cron.log

# Setup cron job
RUN (crontab -l ; echo "* * * * * echo "Hello world" >> /var/log/cron.log") | crontab

# Run the command on container startup
CMD cron && tail -f /var/log/cron.log

Sau khi chạy bộ chứa docker của bạn, bạn có thể chắc chắn rằng dịch vụ cron có hoạt động không:

# To check if the job is scheduled
docker exec -ti <your-container-id> bash -c "crontab -l"
# To check if the cron service is running
docker exec -ti <your-container-id> bash -c "pgrep cron"

Nếu bạn muốn có ENTRYPOINT thay vì CMD, thì bạn có thể thay thế CMD ở trên bằng

ENTRYPOINT cron start && tail -f /var/log/cron.log

Có một cách khác để làm điều đó, đó là sử dụng Tasker , một trình chạy tác vụ có hỗ trợ cron (bộ lập lịch).

Tại sao ? Đôi khi để chạy một công việc định kỳ, bạn phải trộn, hình ảnh cơ sở của bạn (python, java, nodejs, ruby) với crond. Điều đó có nghĩa là một hình ảnh khác để duy trì. Tác nhân tránh điều đó bằng cách tách rời crond và bạn chứa. Bạn chỉ có thể tập trung vào hình ảnh mà bạn muốn thực hiện các lệnh của mình và định cấu hình Tác vụ để sử dụng nó.

Đây là một docker-compose.ymltập tin, sẽ chạy một số nhiệm vụ cho bạn

version: "2"

services:
    tasker:
        image: strm/tasker
        volumes:
            - "/var/run/docker.sock:/var/run/docker.sock"
        environment:
            configuration: |
                logging:
                    level:
                        ROOT: WARN
                        org.springframework.web: WARN
                        sh.strm: DEBUG
                schedule:
                    - every: minute
                      task: hello
                    - every: minute
                      task: helloFromPython
                    - every: minute
                      task: helloFromNode
                tasks:
                    docker:
                        - name: hello
                          image: debian:jessie
                          script:
                              - echo Hello world from Tasker
                        - name: helloFromPython
                          image: python:3-slim
                          script:
                              - python -c 'print("Hello world from python")'
                        - name: helloFromNode
                          image: node:8
                          script:
                              - node -e 'console.log("Hello from node")'

Có 3 nhiệm vụ ở đó, tất cả chúng sẽ chạy mỗi phút ( every: minute) và mỗi tác vụ sẽ thực thi scriptmã, bên trong hình ảnh được xác định trong imagephần.

Chỉ cần chạy docker-compose up, và thấy nó hoạt động. Dưới đây là repo tác vụ với tài liệu đầy đủ:

http://github.com/opsxcq/tasker

Câu trả lời của VonC khá kỹ lưỡng. Ngoài ra, tôi muốn thêm một điều đã giúp tôi. Nếu bạn chỉ muốn chạy một công việc định kỳ mà không theo đuôi một tập tin, bạn sẽ bị loại bỏ && tail -f /var/log/cron.logkhỏi lệnh cron.

Tuy nhiên, điều này sẽ khiến bộ chứa Docker thoát ra ngay sau khi chạy vì khi lệnh cron hoàn thành, Docker nghĩ rằng lệnh cuối cùng đã thoát và do đó sẽ giết chết container. Điều này có thể tránh được bằng cách chạy cron ở nền trước thông qua cron -f.

Mặc dù điều này nhằm mục đích chạy các công việc bên cạnh một quy trình đang chạy trong một container thông qua execgiao diện của Docker , nhưng điều này có thể khiến bạn quan tâm.

Tôi đã viết một daemon quan sát các container và lên lịch các công việc, được xác định trong siêu dữ liệu của chúng, trên chúng. Thí dụ:

version: '2'

services:
  wordpress:
    image: wordpress
  mysql:
    image: mariadb
    volumes:
      - ./database_dumps:/dumps
    labels:
      deck-chores.dump.command: sh -c "mysqldump --all-databases > /dumps/dump-$$(date -Idate)"
      deck-chores.dump.interval: daily

'Cổ điển', cấu hình giống như cron cũng có thể.

Dưới đây là các tài liệu , đây là kho lưu trữ hình ảnh .

Tôi đã tạo một hình ảnh Docker dựa trên các câu trả lời khác, có thể được sử dụng như

docker run -v "/path/to/cron:/etc/cron.d/crontab" gaafar/cron

trong đó /path/to/cron: đường dẫn tuyệt đối đến tệp crontab hoặc bạn có thể sử dụng nó làm cơ sở trong Dockerfile:

FROM gaafar/cron

# COPY crontab file in the cron directory
COPY crontab /etc/cron.d/crontab

# Add your commands here

Để tham khảo, hình ảnh ở đây .

Khi bạn triển khai container của mình trên một máy chủ khác, chỉ cần lưu ý rằng nó sẽ không tự động bắt đầu bất kỳ quy trình nào. Bạn cần đảm bảo rằng dịch vụ 'cron' đang chạy bên trong container của bạn. Trong trường hợp của chúng tôi, tôi đang sử dụng Giám sát với các dịch vụ khác để bắt đầu dịch vụ định kỳ.

[program:misc]
command=/etc/init.d/cron restart
user=root
autostart=true
autorestart=true
stderr_logfile=/var/log/misc-cron.err.log
stdout_logfile=/var/log/misc-cron.out.log
priority=998

Xác định cronjob trong một thùng chứa chuyên dụng chạy lệnh thông qua docker exec đến dịch vụ của bạn.

Đây là sự gắn kết cao hơn và tập lệnh đang chạy sẽ có quyền truy cập vào các biến môi trường mà bạn đã xác định cho dịch vụ của mình.

#docker-compose.yml
version: "3.3"
services:
    myservice:
      environment:
        MSG: i'm being cronjobbed, every minute!
      image: alpine
      container_name: myservice
      command: tail -f /dev/null

    cronjobber:
     image: docker:edge
     volumes:
      - /var/run/docker.sock:/var/run/docker.sock
     container_name: cronjobber
     command: >
          sh -c "
          echo '* * * * * docker exec myservice printenv | grep MSG' > /etc/crontabs/root
          && crond -f"

Nếu bạn đang sử dụng docker cho windows, hãy nhớ rằng bạn phải thay đổi định dạng kết thúc dòng của mình từ CRLF sang LF (nghĩa là từ dos sang unix) nếu bạn có ý định nhập tệp crontab từ windows vào thùng chứa ub Ubuntu của bạn. Nếu không, công việc định kỳ của bạn sẽ không hoạt động. Đây là một ví dụ hoạt động:

FROM ubuntu:latest

RUN apt-get update && apt-get -y install cron
RUN apt-get update && apt-get install -y dos2unix

# Add crontab file (from your windows host) to the cron directory
ADD cron/hello-cron /etc/cron.d/hello-cron

# Change line ending format to LF
RUN dos2unix /etc/cron.d/hello-cron

# Give execution rights on the cron job
RUN chmod 0644 /etc/cron.d/hello-cron

# Apply cron job
RUN crontab /etc/cron.d/hello-cron

# Create the log file to be able to run tail
RUN touch /var/log/hello-cron.log

# Run the command on container startup
CMD cron && tail -f /var/log/hello-cron.log

Điều này thực sự khiến tôi mất hàng giờ để tìm ra, vì việc gỡ lỗi các công việc định kỳ trong các container docker là một công việc tẻ nhạt. Hy vọng nó sẽ giúp bất cứ ai khác ngoài đó không thể làm cho mã của họ hoạt động!

Từ các ví dụ trên tôi đã tạo ra sự kết hợp này:

Hình ảnh & Chỉnh sửa bằng cách sử dụng Crontab trong Nano (Tôi ghét vi)

FROM alpine

RUN apk update
RUN apk add curl nano

ENV EDITOR=/usr/bin/nano 

# start crond with log level 8 in foreground, output to stderr
CMD ["crond", "-f", "-d", "8"]

# Shell Access
# docker exec -it <CONTAINERID> /bin/sh

# Example Cron Entry
# crontab -e
# * * * * * echo hello > /proc/1/fd/1 2>/proc/1/fd/2
# DATE/TIME WILL BE IN UTC

Thiết lập cron song song với công việc một lần

Tạo một tệp script, giả sử run.sh, với công việc được cho là chạy định kỳ.

#!/bin/bash
timestamp=`date +%Y/%m/%d-%H:%M:%S`
echo "System path is $PATH at $timestamp"

Lưu và thoát.

Sử dụng Entrypoint thay vì CMD

Nếu bạn có nhiều công việc để khởi động trong quá trình chứa docker, hãy sử dụng tệp entrypoint để chạy tất cả.

Tệp nhập điểm là một tệp kịch bản có hiệu lực khi lệnh chạy docker được ban hành. Vì vậy, tất cả các bước mà chúng tôi muốn chạy có thể được đặt trong tệp tập lệnh này.

Chẳng hạn, chúng tôi có 2 công việc để chạy:

Chạy một lần công việc : echo container Docker container đã được khởi động

Chạy công việc định kỳ : run.sh

Tạo entrypoint.sh

#!/bin/bash

# Start the run once job.
echo "Docker container has been started"

# Setup a cron schedule
echo "* * * * * /run.sh >> /var/log/cron.log 2>&1
# This extra line makes it a valid cron" > scheduler.txt

crontab scheduler.txt
cron -f

Hãy hiểu crontab đã được thiết lập trong tệp

* * * * *: Lịch trình cron; công việc phải chạy mỗi phút. Bạn có thể cập nhật lịch trình dựa trên yêu cầu của bạn.

/run.sh: Đường dẫn đến tệp script sẽ được chạy định kỳ

/var/log/cron.log: Tên tệp để lưu đầu ra của công việc định kỳ theo lịch trình.

2>&1: Nhật ký lỗi (nếu có) cũng sẽ được chuyển hướng đến cùng một tệp đầu ra được sử dụng ở trên.

Lưu ý : Đừng quên thêm một dòng mới, vì nó làm cho nó trở thành một cron hợp lệ. Scheduler.txt: thiết lập cron hoàn chỉnh sẽ được chuyển hướng đến một tệp.

Sử dụng các biến môi trường cụ thể của Hệ thống / Người dùng trong cron

Công việc định kỳ thực tế của tôi đã mong đợi hầu hết các đối số khi các biến môi trường được truyền cho lệnh chạy docker. Nhưng, với bash, tôi không thể sử dụng bất kỳ biến môi trường nào thuộc về hệ thống hoặc bộ chứa docker.

Sau đó, đây là một giải pháp cho vấn đề này:

1. Thêm dòng sau vào entrypoint.sh

declare -p | grep -Ev 'BASHOPTS|BASH_VERSINFO|EUID|PPID|SHELLOPTS|UID' > /container.env

2. Cập nhật thiết lập cron và chỉ định-

SHELL=/bin/bash
BASH_ENV=/container.env

Cuối cùng, bạn entrypoint.shsẽ trông giống như

#!/bin/bash

# Start the run once job.
echo "Docker container has been started"

declare -p | grep -Ev 'BASHOPTS|BASH_VERSINFO|EUID|PPID|SHELLOPTS|UID' > /container.env

# Setup a cron schedule
echo "SHELL=/bin/bash
BASH_ENV=/container.env
* * * * * /run.sh >> /var/log/cron.log 2>&1
# This extra line makes it a valid cron" > scheduler.txt

crontab scheduler.txt
cron -f

Cuối cùng nhưng không kém phần quan trọng: Tạo Dockerfile

FROM ubuntu:16.04
MAINTAINER Himanshu Gupta

# Install cron
RUN apt-get update && apt-get install -y cron

# Add files
ADD run.sh /run.sh
ADD entrypoint.sh /entrypoint.sh

RUN chmod +x /run.sh /entrypoint.sh

ENTRYPOINT /entrypoint.sh

Đó là nó. Xây dựng và chạy hình ảnh Docker!

Các công việc cron được lưu trữ trong / var / spool / cron / crontabs (Vị trí phổ biến trong tất cả các bản phân phối tôi biết). BTW, Bạn có thể tạo tab cron trong bash bằng cách sử dụng cái gì đó như thế:

crontab -l > cronexample
echo "00 09 * * 1-5 echo hello" >> cronexample
crontab cronexample
rm cronexample

Điều này sẽ tạo một tệp tạm thời với tác vụ cron, sau đó lập trình nó bằng crontab. Dòng cuối cùng loại bỏ tập tin tạm thời.

Khi chạy trên một số hình ảnh được cắt bớt hạn chế quyền truy cập root, tôi đã phải thêm người dùng của mình vào sudoers và chạy như sudo cron

FROM node:8.6.0
RUN apt-get update && apt-get install -y cron sudo

COPY crontab /etc/cron.d/my-cron
RUN chmod 0644 /etc/cron.d/my-cron
RUN touch /var/log/cron.log

# Allow node user to start cron daemon with sudo
RUN echo 'node ALL=NOPASSWD: /usr/sbin/cron' >>/etc/sudoers

ENTRYPOINT sudo cron && tail -f /var/log/cron.log

Có lẽ điều đó giúp được ai đó

Vì vậy, vấn đề của tôi là như vậy. Cách khắc phục là thay đổi phần lệnh trong docker-compose.yml.

Từ

lệnh: crontab / etc / crontab && tail -f / etc / crontab

Đến

lệnh: crontab / etc / crontab

lệnh: đuôi -f / etc / crontab

Các vấn đề là '&&' giữa các lệnh. Sau khi xóa điều này, tất cả đều ổn.

Cách mạnh mẽ nhất mà tôi tìm thấy cho đến nay là chạy một bộ chứa cron độc lập - cài đặt máy khách docker và liên kết gắn kết docker sock để bạn có thể nói chuyện với máy chủ docker trên máy chủ.

Sau đó, chỉ cần sử dụng vv env cho mỗi công việc định kỳ và tập lệnh nhập điểm để tạo / etc / crontab

Đây là một hình ảnh mà tôi đã tạo ra bằng cách sử dụng nguyên tắc này và sử dụng nó trong sản xuất trong 3-4 năm qua.

https://www.vip-consult.solutions/post/better-docker-cron#content

Hãy thử sử dụng đá quý đồng hồ để lên lịch các nhiệm vụ. Thực hiện theo các bước được cung cấp trong liên kết này.

http://fuzzyblog.io/blog/rails/2017/05/11/adding-cron-to-a-dockerized-rails-application-USE-clockwork.html

Bạn có thể gọi tác vụ cào trong tệp lib / clock.rb như bên dưới.

every(1.day, 'Import large data from csv files', :at => '5:00') do |job|
  `rake 'portal:import_data_from_csv'`
end

Tạo một thùng chứa riêng trong tệp soạn thảo docker và chạy lệnh bên dưới bên trong thùng chứa.

command: bundle exec clockwork lib/clock.rb