DAGs. Ауа ағынында DAG – немесе бағытталған циклдік график – сіз орындағыңыз келетін барлық тапсырмалардың жиынтығы, олардың қарым-қатынастары мен тәуелділіктерін көрсететіндей ұйымдастырылған.
Ауа ағынында DAG қалай жасауға болады?
Ауа ағынында DAG жасау үшін әрдайым DAG класын импорттау керек DAG класынан кейін Операторлардың импорты келеді. Негізінде, сіз пайдаланғыңыз келетін әрбір Оператор үшін сәйкес импортты жасауыңыз керек. Мысалы, Python функциясын орындағыңыз келсе, PythonOperator импорттауыңыз керек.
Airflow DAGs қайдан іздейді?
Airflow жаһандық аттар кеңістігінде DAG нысандары бар модульдер үшін сіздің DAGS_FOLDER ішінен қарайды және DagBag ішінен тапқан нысандарды қосады.
Airflow DAG-терді қалай сақтайды?
Apache Airflow метадеректер базасы:
Метадеректер дерекқоры конфигурацияларды сақтайды, айнымалылар мен қосылымдар Сондай-ақ ол пайдаланушы ақпаратын, рөлдерді және саясаттарды сақтайды. Соңында, Жоспарлағыш барлық DAG-ларды талдайды және кесте аралықтары, әрбір іске қосу статистикасы және олардың тапсырмалары сияқты сәйкес метадеректерді сақтайды.
Airflow ETL құралы ма?
Ауа ағыны өздігінен ETL құралы емес. Бірақ ол Бағытталған циклдік Графиктер (DAGs) деп аталатын нәрсені пайдаланып, ETL құбырларын басқарады, құрылымдайды және ұйымдастырады. … Метадеректер дерекқоры жұмыс процестерін/тапсырмаларды (DAG) сақтайды.
