#Airflow

6件の記事

Tips2025年11月28日

Airflowでdatetime.now()はNG？コンテキストから正しい実行時刻を取得する方法

この記事では、Airflowでの実行時刻取得のアンチパターンとその解決策について解説しています。特に、datetime.now()の誤用事例や、Airflowのコンテキストから正しく時刻を取得する方法について詳しく説明しています。

中村卓矢

Tips2025年2月25日

Cloud Composer (Airflow) のタスクグループ内でタスクを分岐させる

Cloud Composer(Airflow)でタスクグループとタスクの分岐を組み合わせる際の方法とハマりポイントを解説しています。これによって、タスクの整理と柔軟なワークフローを実現することができるようになります。

中村卓矢

データ関連2024年8月23日

Cloud Composer(Airflow)のon_failure_callbackの位置には注意が必要

Cloud Composer(Airflow)のようなワークフロー管理ツールにおいては基本的にエラーが発生したときにはメール通知やSlack通知などのためのコールバックの仕組みが用意されているものですが、Cloud Composerの場合はその書く位置によって機能がかわることに注意が必要です。本記事ではその内容について解説します

伴拓也

データ関連2024年6月19日

Airflow REST APIでCloud ComposerのDAGを実行する

Airflow(Cloud Composer)ではDAGをスケジュール設定なしで作成することもできますが、その場合はなんらかの手段で実行することが必要になります。GUIから実行するのも一つの手ですが、今回はCLIベースで手軽に実行できるREST APIの呼び出しによる実行方法についてまとめます。

伴拓也

Tips2024年6月3日

AirflowでGCSのオブジェクト検知にワイルドカードを利用する

AirflowでGCS内の名前に規則性がないオブジェクトを検知する方法を紹介します。具体的には、GCSObjectExistenceSensorでuse_globパラメータを指定することで、特定のパターンを持つオブジェクトを検知できます。

中村卓矢

データ関連2023年9月7日

Cloud ComposerでSecret変数を使う

本記事では、フルマネージドでワークフローを管理出来る、Cloud ComposerでSecret変数を使う方法について説明しています。Google Cloudで提供されているSecret Managerを使うことで秘匿すべき情報をSecret変数としてスムーズに受け渡すことができます。

伴拓也