Làm cách nào để kích hoạt tác vụ Airflow chỉ khi phân vùng / dữ liệu mới có sẵn trong bảng athena AWS sử dụng DAG trong python?

Tôi có một scenerio như dưới đây:

1. Kích hoạt a Task 1và Task 2chỉ khi dữ liệu mới có sẵn cho chúng trong bảng nguồn (Athena). Kích hoạt cho Task1 và Task2 sẽ xảy ra khi một liên kết dữ liệu mới trong một ngày.
2. Task 3Chỉ kích hoạt khi hoàn thành Task 1vàTask 2
3. Task 4Chỉ kích hoạt hoàn thànhTask 3

Mã của tôi

from airflow import DAG

from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor
from datetime import datetime, timedelta

from airflow.operators.postgres_operator import PostgresOperator
from utils import FAILURE_EMAILS

yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time())

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': yesterday,
    'email': FAILURE_EMAILS,
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG('Trigger_Job', default_args=default_args, schedule_interval='@daily')

Athena_Trigger_for_Task1 = AwsGlueCatalogPartitionSensor(
    task_id='athena_wait_for_Task1_partition_exists',
    database_name='DB',
    table_name='Table1',
    expression='load_date={{ ds_nodash }}',
    timeout=60,
    dag=dag)

Athena_Trigger_for_Task2 = AwsGlueCatalogPartitionSensor(
    task_id='athena_wait_for_Task2_partition_exists',
    database_name='DB',
    table_name='Table2',
    expression='load_date={{ ds_nodash }}',
    timeout=60,
    dag=dag)

execute_Task1 = PostgresOperator(
    task_id='Task1',
    postgres_conn_id='REDSHIFT_CONN',
    sql="/sql/flow/Task1.sql",
    params={'limit': '50'},
    trigger_rule='all_success',
    dag=dag
)

execute_Task2 = PostgresOperator(
    task_id='Task2',
    postgres_conn_id='REDSHIFT_CONN',
    sql="/sql/flow/Task2.sql",
    params={'limit': '50'},
    trigger_rule='all_success',
    dag=dag
)



execute_Task3 = PostgresOperator(
    task_id='Task3',
    postgres_conn_id='REDSHIFT_CONN',
    sql="/sql/flow/Task3.sql",
    params={'limit': '50'},
    trigger_rule='all_success',
    dag=dag
)

execute_Task4 = PostgresOperator(
    task_id='Task4',
    postgres_conn_id='REDSHIFT_CONN',
    sql="/sql/flow/Task4",
    params={'limit': '50'},
    dag=dag
)



execute_Task1.set_upstream(Athena_Trigger_for_Task1)
execute_Task2.set_upstream(Athena_Trigger_for_Task2)

execute_Task3.set_upstream(execute_Task1)
execute_Task3.set_upstream(execute_Task2)

execute_Task4.set_upstream(execute_Task3)

Cách tối ưu tốt nhất để đạt được nó là gì?

Tôi tin rằng câu hỏi của bạn giải quyết hai vấn đề chính:

1. quên cấu hình schedule_intervalmột cách rõ ràng để @daily đang thiết lập một cái gì đó bạn không mong đợi.
2. Cách kích hoạt và thử lại đúng cách thực hiện dag khi bạn phụ thuộc vào một sự kiện bên ngoài để hoàn thành việc thực hiện

câu trả lời ngắn: đặt rõ ràng lịch trình_interval của bạn với định dạng công việc định kỳ và sử dụng toán tử cảm biến để kiểm tra theo thời gian

default_args={
        'retries': (endtime - starttime)*60/poke_time
}
dag = DAG('Trigger_Job', default_args=default_args, schedule_interval='0 10 * * *')
Athena_Trigger_for_Task1 = AwsGlueCatalogPartitionSensor(
     ....
    poke_time= 60*5 #<---- set a poke_time in seconds
    dag=dag)

nơi startimelà mấy giờ nhiệm vụ hàng ngày của bạn sẽ bắt đầu, endtimelần cuối cùng trong ngày bạn nên kiểm tra nếu một sự kiện đã được thực hiện trước khi suy giảm như thất bại và là những gì poke_timelà khoảng thời gian của bạn sensor_operatorsẽ kiểm tra nếu sự kiện đã xảy ra.

Làm thế nào để giải quyết công việc định kỳ một cách rõ ràng bất cứ khi nào bạn đặt dag của bạn@dailygiống như bạn đã làm:

dag = DAG('Trigger_Job', default_args=default_args, schedule_interval='@daily')

từ các tài liệu , bạn có thể thấy bạn đang thực sự làm: @daily - Run once a day at midnight

Điều này có nghĩa là tại sao bạn gặp lỗi hết thời gian và thất bại sau 5 phút vì bạn đã đặt 'retries': 1và 'retry_delay': timedelta(minutes=5). Vì vậy, nó cố gắng chạy dag vào nửa đêm, nó thất bại. thử lại 5 phút sau và thất bại lần nữa, vì vậy nó đánh dấu là thất bại.

Vì vậy, về cơ bản @daily chạy đang thiết lập một công việc định kỳ ngầm của:

@daily -> Run once a day at midnight -> 0 0 * * *

Định dạng công việc định kỳ có định dạng bên dưới và bạn đặt giá trị thành *bất cứ khi nào bạn muốn nói "tất cả".

Minute Hour Day_of_Month Month Day_of_Week

Vì vậy, @daily về cơ bản nói rằng hãy chạy cái này mỗi phút: phút 0 giờ 0 của tất cả các ngày_of_month của tất cả các tháng của tất cả các ngày_of_week

Vì vậy, trường hợp của bạn được chạy này mỗi phút: phút 0 giờ 10 của tất cả các ngày_of_month của all_months của tất cả các ngày_of_week. Bản dịch này ở định dạng công việc định kỳ sang:

0 10 * * *

Cách kích hoạt và thử lại đúng cách thực hiện dag khi bạn phụ thuộc vào một sự kiện bên ngoài để hoàn thành việc thực hiện

1. bạn có thể kích hoạt luồng gió từ một sự kiện bên ngoài bằng cách sử dụng lệnh airflow trigger_dag. điều này có thể xảy ra nếu một số cách bạn có thể kích hoạt tập lệnh lambda / tập lệnh python để nhắm mục tiêu luồng không khí của bạn.

2. Nếu bạn không thể kích hoạt dag bên ngoài, thì hãy sử dụng toán tử cảm biến như OP đã làm, đặt poke_time cho nó và đặt số lần thử lại cao hợp lý.