#Cloud Composer

10件の記事

Tips2025年11月28日

Airflowでdatetime.now()はNG？コンテキストから正しい実行時刻を取得する方法

この記事では、Airflowでの実行時刻取得のアンチパターンとその解決策について解説しています。特に、datetime.now()の誤用事例や、Airflowのコンテキストから正しく時刻を取得する方法について詳しく説明しています。

中村卓矢

Tips2025年2月25日

Cloud Composer (Airflow) のタスクグループ内でタスクを分岐させる

Cloud Composer(Airflow)でタスクグループとタスクの分岐を組み合わせる際の方法とハマりポイントを解説しています。これによって、タスクの整理と柔軟なワークフローを実現することができるようになります。

中村卓矢

データ関連2024年9月27日

Cloud Composer のローカル開発環境を構成するための勘所

Cloud Composerのようなデータ基盤を構成するためのツールにおいてはやはりローカル開発環境は欠かせません。本記事では、Cloud Composerにおけるローカル開発環境を構築するためのツールと、それらを使用する上での注意点についてまとめています。

伴拓也

データ関連2024年8月30日

Cloud Composer の運用には Secret Manager を組み合わせるのがオススメ

Cloud ComposerはAirflowのマネージドサービスですが、ただのマネージドサービスではなく、Google Cloud内のサービスと組み合わせることでより便利に使えます。今回はその中でもSecret Managerと組み合わせた運用について解説します。

伴拓也

データ関連2024年8月23日

Cloud Composer(Airflow)のon_failure_callbackの位置には注意が必要

Cloud Composer(Airflow)のようなワークフロー管理ツールにおいては基本的にエラーが発生したときにはメール通知やSlack通知などのためのコールバックの仕組みが用意されているものですが、Cloud Composerの場合はその書く位置によって機能がかわることに注意が必要です。本記事ではその内容について解説します

伴拓也

データ関連2024年6月19日

Airflow REST APIでCloud ComposerのDAGを実行する

Airflow(Cloud Composer)ではDAGをスケジュール設定なしで作成することもできますが、その場合はなんらかの手段で実行することが必要になります。GUIから実行するのも一つの手ですが、今回はCLIベースで手軽に実行できるREST APIの呼び出しによる実行方法についてまとめます。

伴拓也

Tips2024年6月3日

AirflowでGCSのオブジェクト検知にワイルドカードを利用する

AirflowでGCS内の名前に規則性がないオブジェクトを検知する方法を紹介します。具体的には、GCSObjectExistenceSensorでuse_globパラメータを指定することで、特定のパターンを持つオブジェクトを検知できます。

中村卓矢

データ関連2024年3月7日

Cloud Composerの環境アップグレード機能を使うときの注意点

Cloud Composerではプレビュー版ながらアップデート機能が提供されています。今回はそのアップデート機能を使う際の注意点やハマったときの対応方法についてまとめてみます。機能追加もあるので、可能な限り定期的に時間をとってアップデートを実施しておきたいところです。

伴拓也

データ関連2024年2月16日

Cloud ComposerにSentryを導入する方法

主にソフトウェアを対象とするエラー監視ツールであるSentryを、Cloud Composerに導入する方法についてまとめました。Cloud ComposerはAirflowのマネージドサービスですが、Airflowへの導入方法はたくさん情報があるものの、Cloud Composerへの導入方法はあまり見かけなかったので参考になれば幸いです。

伴拓也

データ関連2023年9月7日

Cloud ComposerでSecret変数を使う

本記事では、フルマネージドでワークフローを管理出来る、Cloud ComposerでSecret変数を使う方法について説明しています。Google Cloudで提供されているSecret Managerを使うことで秘匿すべき情報をSecret変数としてスムーズに受け渡すことができます。

伴拓也