Cron và virtualenv

Tôi đang cố gắng để chạy một lệnh quản lý Django từ cron. Tôi đang sử dụng virtualenv để giữ cho dự án của tôi được sandbox.

Tôi đã thấy các ví dụ ở đây và các nơi khác hiển thị các lệnh quản lý đang chạy trong virtualenv như:

0 3 * * * source /home/user/project/env/bin/activate && /home/user/project/manage.py command arg

Tuy nhiên, mặc dù syslog hiển thị một mục khi tác vụ nên bắt đầu, tác vụ này không bao giờ thực sự chạy (tệp nhật ký cho tập lệnh trống). Nếu tôi chạy dòng thủ công từ shell, nó hoạt động như mong đợi.

Cách duy nhất hiện tại tôi có thể nhận lệnh để chạy qua cron, là phá vỡ các lệnh và đưa chúng vào một tập lệnh bao bọc bash câm:

#!/bin/sh
source /home/user/project/env/bin/activate
cd /home/user/project/
./manage.py command arg

BIÊN TẬP:

ars đã đưa ra một sự kết hợp làm việc của các lệnh:

0 3 * * * cd /home/user/project && /home/user/project/env/bin/python /home/user/project/manage.py command arg

Ít nhất trong trường hợp của tôi, việc gọi kịch bản kích hoạt cho virtualenv không làm gì cả. Điều này làm việc, như vậy với chương trình.

Bạn sẽ có thể làm điều này bằng cách sử dụng pythontrong môi trường ảo của bạn:

/home/my/virtual/bin/python /home/my/project/manage.py command arg

EDIT: Nếu dự án django của bạn không nằm trong PYTHONPATH, thì bạn sẽ cần chuyển sang thư mục bên phải:

cd /home/my/project && /home/my/virtual/bin/python ...

Bạn cũng có thể thử đăng nhập thất bại từ cron:

cd /home/my/project && /home/my/virtual/bin/python /home/my/project/manage.py > /tmp/cronlog.txt 2>&1

Một điều khác để thử là tạo ra sự thay đổi tương tự trong manage.pykịch bản của bạn ở trên cùng:

#!/home/my/virtual/bin/python

Chạy sourcetừ một cronfile sẽ không hoạt động như cron sử dụng /bin/shlàm vỏ mặc định của nó, không hỗ trợ source. Bạn cần đặt biến môi trường SHELL thành /bin/bash:

SHELL=/bin/bash
*/10 * * * * root source /path/to/virtualenv/bin/activate && /path/to/build/manage.py some_command > /dev/null

Thật khó để phát hiện tại sao điều này thất bại vì /var/log/syslogkhông ghi lại các chi tiết lỗi. Tốt nhất để bí danh chính mình để root để bạn nhận được email với bất kỳ lỗi cron. Đơn giản chỉ cần thêm bản thân /etc/aliasesvà chạy sendmail -bi.

Thêm thông tin ở đây: http://codeinthehole.com/archives/43-Rasty-django-cronjobs-within-a-virtualenv.html

liên kết ở trên được thay đổi thành: https://codeinthehole.com/tips/rasty-django-cronjobs-within-a-virtualenv/

Đừng tìm đâu xa:

0 3 * * * /usr/bin/env bash -c 'cd /home/user/project && source /home/user/project/env/bin/activate && ./manage.py command arg' > /dev/null 2>&1

Cách tiếp cận chung:

* * * * * /usr/bin/env bash -c 'YOUR_COMMAND_HERE' > /dev/null 2>&1

Cái hay của việc này là bạn KHÔNG cần thay đổi SHELLbiến cho crontab từ shsangbash

Cách chính xác duy nhất để chạy các công việc cron python khi sử dụng virtualenv là kích hoạt môi trường và sau đó thực thi python của môi trường để chạy mã của bạn.

Một cách để làm điều này là sử dụng virtualenv activate_thistrong tập lệnh python của bạn, xem: http://virtualenv.readthedocs.org/en/latest/userguide.html#USE-virtualenv-without-bin-python

Một giải pháp khác là lặp lại lệnh hoàn chỉnh bao gồm kích hoạt môi trường và dẫn nó vào /bin/bash. Hãy xem xét điều này cho bạn /etc/crontab:

***** root echo 'source /env/bin/activate; python /your/script' | /bin/bash

Thay vì mấp máy xung quanh với các shebang dành riêng cho virtualenv, chỉ cần trả trước PATHvào crontab.

Từ một virtualenv được kích hoạt, hãy chạy ba lệnh này và các kịch bản python sẽ hoạt động:

$ echo "PATH=$PATH" > myserver.cron
$ crontab -l >> myserver.cron
$ crontab myserver.cron

Dòng đầu tiên của crontab sẽ trông như thế này:

PATH=/home/me/virtualenv/bin:/usr/bin:/bin:  # [etc...]

Giải pháp tốt nhất cho tôi là cả hai

• sử dụng nhị phân python trong thư mục venv bin /
• đặt đường dẫn python để bao gồm thư mục mô-đun venv.

man pythonđề cập đến việc sửa đổi đường dẫn trong shell tại $PYTHONPATHhoặc trong python vớisys.path

Các câu trả lời khác đề cập đến ý tưởng để làm điều này bằng cách sử dụng vỏ. Từ python, việc thêm các dòng sau vào tập lệnh của tôi cho phép tôi chạy thành công trực tiếp từ cron.

import sys
sys.path.insert(0,'/path/to/venv/lib/python3.3/site-packages');

Đây là giao diện của nó trong phiên tương tác -

Python 3.3.2+ (default, Feb 28 2014, 00:52:16) 
[GCC 4.8.1] on linux
Type "help", "copyright", "credits" or "license" for more information.

>>> import sys

>>> sys.path
['', '/usr/lib/python3.3', '/usr/lib/python3.3/plat-x86_64-linux-gnu', '/usr/lib/python3.3/lib-dynload']

>>> import requests
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named 'requests'   

>>> sys.path.insert(0,'/path/to/venv/modules/');

>>> import requests
>>>

Tôi muốn thêm điều này vì tôi đã dành thời gian giải quyết vấn đề và không tìm thấy câu trả lời ở đây cho sự kết hợp sử dụng biến trong cron và virtualenv. Vì vậy, có lẽ nó sẽ giúp được ai đó.

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DIR_SMTH="cd /smth"
VENV=". venv/bin/activate"
CMD="some_python_bin do_something"
# m h  dom mon dow   command
0 * * * * $DIR_SMTH && $VENV && $CMD -k2 some_target >> /tmp/crontest.log 2>&1

Nó không hoạt động tốt khi được cấu hình như

DIR_SMTH = "cd / smth &&. Venv / bin / kích hoạt"

Cảm ơn @davidwinterbottom , @ reed-sandberg và @mkb đã đưa ra hướng đi đúng đắn. Câu trả lời được chấp nhận thực sự hoạt động tốt cho đến khi python của bạn cần chạy một kịch bản phải chạy một nhị phân python khác từ thư mục venv / bin.

Đây là một giải pháp đã làm việc tốt cho tôi.

source /root/miniconda3/etc/profile.d/conda.sh && \
conda activate <your_env> && \
python <your_application> &

Tôi đang sử dụng miniconda với phiên bản Conda 4.7.12 trên Ubuntu 18.04.3 LTS.

Tôi có thể đặt ở trên trong một kịch bản và chạy nó thông qua crontab mà không gặp rắc rối.

kịch bản trăn

from datetime import datetime                                                                                                                                                                
import boto   # check wheather its taking the virtualenv or not                                                                                                                                                                        
import sys                                                                                                                                                                                   
param1=sys.argv[1]     #Param                                                                                                                                                                                                                                                                                                                                                                    
myFile = open('appendtxt.txt', 'a')                                                                                                                                                      
myFile.write('\nAccessed on ' + param1+str(datetime.now())) 

Lệnh cron

 */1 * * * *  cd /Workspace/testcron/ && /Workspace/testcron/venvcron/bin/python3  /Workspace/testcron/testcronwithparam.py param  

Trong lệnh trên

• * / 1 * * * * - Thực hiện mỗi một minte
• cd / Workspace / testcron / - Đường dẫn của tập lệnh python
• / Workspace / testcron / venvcron / bin / python3 - Đường dẫn Virtualenv
• Không gian làm việc / testcron / testcronwithparam.py - Đường dẫn tệp
• param - Thông số