본문 바로가기

Programming/Tip&Informaion

[Airflow] Airflow 버전업을 하면서 발생한 문제들 정리

  1. http.py 라는 파일명이 있었는데 airflow 내의 라이브러리와 겹쳐서 문제 발생 http_request.py 로 파일명 변경
    1. 이런 비슷하게 파일명이나 폴더명이 겹쳐서 문제가 발생하는 경우가 있음
  2. sensor 라이브러리를 airflow.sensors.external_task 로 변경
  3. sensor 폴더 오류 → 폴더명 sensors로 변경
  4. apply_defaults 는 2.1.0 부터 없어진 듯 → import 및 사용하는 부분 삭제
  5. import 시 plugins. 폴더 제거 (하위부터 인식함) from pluings. 부분 삭제
  6. slack 사용법 변경
    1. import 변경 from airflow.providers.slack.hooks.slack_webhook import SlackWebhookHook
    2. execute 대신 send_text 사용
  7. airflow sensor retries 가 반영 안 됨 → default time 변경
  8. execution_date 을 logical_date로 변경 (excution_date_fn 등 일부 예외 있음)
  9. postresql max_connection 100 → 1000 변경 (이건 버전업 문제는 아니고 기본 설정 문제)
  10. shortCircuitOperator 등에서 provide_context=False 삭제