Làm thế nào để kiểm tra trạng thái nhiệm vụ trong Celery?

Làm cách nào để kiểm tra xem một tác vụ có đang chạy trong cần tây hay không (cụ thể là tôi đang sử dụng celery-django)?

Tôi đã đọc tài liệu và tôi đã truy cập vào Google, nhưng tôi không thể thấy một cuộc gọi như:

my_example_task.state() == RUNNING

Trường hợp sử dụng của tôi là tôi có một dịch vụ bên ngoài (java) để chuyển mã. Khi tôi gửi một tài liệu cần chuyển mã, tôi muốn kiểm tra xem tác vụ chạy dịch vụ đó có đang chạy hay không và nếu không, hãy (lại) khởi động nó.

Tôi tin rằng tôi đang sử dụng các phiên bản ổn định hiện tại - 2.4.

Trả lại task_id (được cung cấp từ .delay ()) và hỏi phiên bản celery sau đó về trạng thái:

x = method.delay(1,2)
print x.task_id

Khi yêu cầu, hãy nhận AsyncResult mới bằng cách sử dụng task_id này:

from celery.result import AsyncResult
res = AsyncResult("your-task-id")
res.ready()

Tạo một AsyncResultđối tượng từ id nhiệm vụ là cách được đề xuất trong Câu hỏi thường gặp để có được trạng thái nhiệm vụ khi thứ duy nhất bạn có là id nhiệm vụ.

Tuy nhiên, đối với Celery 3.x, có những lưu ý đáng kể là có thể cắn người nếu họ không chú ý đến chúng. Nó thực sự phụ thuộc vào từng trường hợp sử dụng cụ thể.

Theo mặc định, Celery không ghi lại trạng thái "đang chạy".

Để Celery ghi lại rằng một tác vụ đang chạy, bạn phải đặt task_track_startedthành True. Đây là một nhiệm vụ đơn giản kiểm tra điều này:

@app.task(bind=True)
def test(self):
    print self.AsyncResult(self.request.id).state

Khi task_track_startedlà False, đó là mặc định, chương trình nhà nước là PENDINGmặc dù nhiệm vụ đã bắt đầu. Nếu bạn đặt task_track_startedthành True, thì trạng thái sẽ là STARTED.

Trạng thái PENDINGcó nghĩa là "Tôi không biết."

An AsyncResultvới bang PENDINGkhông có ý nghĩa gì hơn là Celery không biết tình trạng của nhiệm vụ. Điều này có thể là do bất kỳ lý do nào.

Đối với một điều, AsyncResultcó thể được xây dựng với id nhiệm vụ không hợp lệ. Những "nhiệm vụ" như vậy sẽ được Celery coi là đang chờ xử lý:

>>> task.AsyncResult("invalid").status
'PENDING'

Ok, vì vậy không ai sẽ cung cấp các id rõ ràng không hợp lệ cho AsyncResult. Công bằng, nhưng nó cũng có hiệu lực mà AsyncResultcũng sẽ coi một nhiệm vụ đã chạy thành công nhưng Celery đó đã quên như hiện tại PENDING. Một lần nữa, trong một số trường hợp sử dụng, điều này có thể là một vấn đề. Một phần của vấn đề xoay quanh cách Celery được cấu hình để giữ kết quả của các nhiệm vụ, vì nó phụ thuộc vào tính khả dụng của "bia mộ" trong phần phụ trợ kết quả. ("Tombstone" là thuật ngữ sử dụng trong tài liệu Celery cho các phần dữ liệu ghi lại cách nhiệm vụ đã kết thúc.) Việc sử dụng AsyncResultsẽ không hoạt động nếu task_ignore_resultcó True. Một vấn đề khó chịu hơn là Celery sẽ hết hạn sử dụng bia mộ theo mặc định. Cácresult_expirescài đặt theo mặc định được đặt thành 24 giờ. Vì vậy, nếu bạn khởi chạy một tác vụ và ghi lại id trong bộ nhớ lâu dài và hơn 24 giờ sau, bạn tạo một tác vụ AsyncResultvới nó, trạng thái sẽ là PENDING.

Tất cả các "nhiệm vụ thực" bắt đầu ở PENDINGtrạng thái. Vì vậy, nhận PENDINGmột nhiệm vụ có thể có nghĩa là nhiệm vụ đã được yêu cầu nhưng không bao giờ tiến triển hơn mức này (vì bất kỳ lý do gì). Hoặc nó có thể có nghĩa là nhiệm vụ đã chạy nhưng Celery quên trạng thái của nó.

Ôi chao! AsyncResultsẽ không hiệu quả với tôi. Tôi có thể làm gì nữa?

Tôi thích theo dõi các mục tiêu hơn là theo dõi các nhiệm vụ . Tôi giữ một số thông tin nhiệm vụ nhưng nó thực sự là thứ yếu để theo dõi các mục tiêu. Các mục tiêu được lưu trữ trong bộ lưu trữ độc lập với Celery. Khi một yêu cầu cần thực hiện tính toán phụ thuộc vào một số mục tiêu đã đạt được, nó sẽ kiểm tra xem mục tiêu đã đạt được chưa, nếu có, thì nó sẽ sử dụng mục tiêu được lưu trong bộ nhớ cache này, nếu không, nó sẽ bắt đầu tác vụ sẽ thực hiện mục tiêu và gửi đến máy khách đã thực hiện yêu cầu HTTP một phản hồi cho biết nó sẽ đợi kết quả.

Các tên biến và siêu liên kết ở trên dành cho Celery 4.x. Trong 3.x các biến tương ứng và siêu liên kết là: CELERY_TRACK_STARTED, CELERY_IGNORE_RESULT, CELERY_TASK_RESULT_EXPIRES.

Mọi Taskđối tượng đều có một thuộc .requesttính, chứa AsyncRequestđối tượng đó . Theo đó, dòng sau cung cấp trạng thái của một Nhiệm vụ task:

task.AsyncResult(task.request.id).state

Bạn cũng có thể tạo các trạng thái tùy chỉnh và cập nhật việc thực thi tác vụ định tuyến giá trị của nó. Ví dụ này là từ tài liệu:

@app.task(bind=True)
def upload_files(self, filenames):
    for i, file in enumerate(filenames):
        if not self.request.called_directly:
            self.update_state(state='PROGRESS',
                meta={'current': i, 'total': len(filenames)})

http://celery.readthedocs.org/en/latest/userguide/tasks.html#custom-states

Câu hỏi cũ nhưng gần đây tôi đã gặp phải vấn đề này.

Nếu bạn đang cố gắng nhận task_id, bạn có thể làm như sau:

import celery
from celery_app import add
from celery import uuid

task_id = uuid()
result = add.apply_async((2, 2), task_id=task_id)

Bây giờ bạn biết chính xác task_id là gì và bây giờ có thể sử dụng nó để lấy AsyncResult:

# grab the AsyncResult 
result = celery.result.AsyncResult(task_id)

# print the task id
print result.task_id
09dad9cf-c9fa-4aee-933f-ff54dae39bdf

# print the AsyncResult's status
print result.status
SUCCESS

# print the result returned 
print result.result
4

Chỉ cần sử dụng API này từ Câu hỏi thường gặp về cần tây

result = app.AsyncResult(task_id)

Điều này hoạt động tốt.

Câu trả lời của năm 2020:

#### tasks.py
@celery.task()
def mytask(arg1):
    print(arg1)

#### blueprint.py
@bp.route("/args/arg1=<arg1>")
def sleeper(arg1):
    process = mytask.apply_async(args=(arg1,)) #mytask.delay(arg1)
    state = process.state
    return f"Thanks for your patience, your job {process.task_id} \
             is being processed. Status {state}"

Thử:

task.AsyncResult(task.request.id).state

điều này sẽ cung cấp trạng thái Nhiệm vụ Cần tây. Nếu Celery Task đã ở trạng thái FAILURE, nó sẽ đưa ra một Exception:

raised unexpected: KeyError('exc_type',)

đối với các tác vụ đơn giản, chúng tôi có thể sử dụng http://flower.readthedocs.io/en/latest/screenshots.html và http://policystat.github.io/jobtastic/ để giám sát.

và đối với các nhiệm vụ phức tạp, hãy nói một nhiệm vụ liên quan đến rất nhiều mô-đun khác. Chúng tôi khuyên bạn nên ghi lại tiến trình và thông báo theo cách thủ công trên đơn vị tác vụ cụ thể.

Tôi tìm thấy thông tin hữu ích trong

Hướng dẫn Công nhân Dự án Cần tây

Đối với trường hợp của tôi, tôi đang kiểm tra xem Celery có đang chạy hay không.

inspect_workers = task.app.control.inspect()
if inspect_workers.registered() is None:
    state = 'FAILURE'
else:
    state = str(task.state) 

Bạn có thể chơi với thanh tra để có được nhu cầu của bạn.

• Đầu tiên ， trong ứng dụng cần tây của bạn ：

vi my_celery_apps / app1.py

app = Celery(worker_name)

• và tiếp theo, chuyển sang ứng dụng nhập tệp tác vụ từ mô-đun ứng dụng cần tây của bạn.

vi nhiệm vụ / task1.py

from my_celery_apps.app1 import app

app.AsyncResult(taskid)

try:
   if task.state.lower() != "success":
        return
except:
    """ do something """

Ngoài cách tiếp cận theo chương trình ở trên Sử dụng trạng thái Tác vụ Hoa có thể dễ dàng thấy.

Giám sát thời gian thực bằng Sự kiện cần tây. Flower là một công cụ dựa trên web để theo dõi và quản lý các cụm Cần tây.

1. Tiến độ và lịch sử công việc
2. Khả năng hiển thị chi tiết nhiệm vụ (đối số, thời gian bắt đầu, thời gian chạy và hơn thế nữa)
3. Đồ thị và thống kê

Tài liệu chính thức: Công cụ giám sát Hoa - Cần tây

Cài đặt:

$ pip install flower

Sử dụng:

http://localhost:5555

res = method.delay()
    
print(f"id={res.id}, state={res.state}, status={res.status} ")

print(res.get())