データ関連
Cloud Composer の運用には Secret Manager を組み合わせるのがオススメ
Cloud ComposerはAirflowのマネージドサービスですが、ただのマネージドサービスではなく、Google Cloud内のサービスと組み合わせることでより便利に使えます。今回はその中でもSecret Managerと組み合わせた運用について解説します。
伴拓也
データ
データ基盤・分析・可視化に関する取り組み
データ関連
Cloud Composer(Airflow)のon_failure_callbackの位置には注意が必要
Cloud Composer(Airflow)のようなワークフロー管理ツールにおいては基本的にエラーが発生したときにはメール通知やSlack通知などのためのコールバックの仕組みが用意されているものですが、Cloud Composerの場合はその書く位置によって機能がかわることに注意が必要です。本記事ではその内容について解説します
伴拓也
Tips
LookMLで意図しないviewのオーバーライドを防ぐ方法
LookMLのRefinements機能を活用することで、既存のviewやExploreを編集せずに内容をオーバーライドできます。さらに、finalパラメータを利用して、予期せぬオーバーライドを防ぐことができます。
中村卓矢
セキュリティ
Snowflake アカウント管理のベストプラクティスが更新されたので設定する
新たに Snowflake アカウント全体に MFA 設定を強制できるようになりました。これに合わせて Snowflake から公開されているベストプラクティスを参考にポリシーを見直しました。
山野悠
データ関連
Google Analytics 4(GA4)のmanual_系パラメータはUTMパラメータだけじゃない
Google Analytics 4のデータには「manual_source」というものがありますが、
伴拓也
データ関連
AWS Glue のローカル開発環境から BigQuery に接続する
ETL 処理に便利な AWS Glue のローカル開発環境構築方法についてまとめました。特に、BigQuery との接続について具体的な方法を記載しています。
山野悠
データ関連
Airflow REST APIでCloud ComposerのDAGを実行する
Airflow(Cloud Composer)ではDAGをスケジュール設定なしで作成することもできますが、その場合はなんらかの手段で実行することが必要になります。GUIから実行するのも一つの手ですが、今回はCLIベースで手軽に実行できるREST APIの呼び出しによる実行方法についてまとめます。
伴拓也
データ関連
ベン図・オイラー図とは？違いや作成方法を解説
ベン図とオイラー図は集合の関係を表す図で、ベン図は全ての組み合わせを、オイラー図は実在する関係のみを表現します。手描きでは正確な図を作るのが難しいですが、eulerrという無料Webサービスを使えば、集合の要素数を入力するだけで簡単に面積比例のベン図・オイラー図が作成できます。より複雑な場合はアップセット図が有効です。
石田直之
Tips
AirflowでGCSのオブジェクト検知にワイルドカードを利用する
AirflowでGCS内の名前に規則性がないオブジェクトを検知する方法を紹介します。具体的には、GCSObjectExistenceSensorでuse_globパラメータを指定することで、特定のパターンを持つオブジェクトを検知できます。
中村卓矢
データ関連
DataformとGitHubリポジトリをSSH接続する手順とハマったところ
データ基盤を管理するときに出てくる選択肢はdbtかDataformか…といったところかと思いますが、今回はそのDataformでまず最初に行うであろうリポジトリとの繋ぎ込みのSSHによる方法でのハマりポイントについて解説します。
伴拓也
データ関連
Google スプレッドシートのデータをBigQueryに取り込みたくなったら
今回はGoogle スプレッドシートのデータをBigQueryに取り込む場合の方法について扱います。基本的には直接BigQueryから外部データとして参照するか、別途整形加工を行うかの2択になると思いますので、それぞれのメリット・デメリットを整理します。
伴拓也
レポート
Google Cloud Next ’24 @Las Vegas Day 2&3の所感
本日までラスベガスで開催されていたGoogle Cloud Next ’24に参加してきました！1日目の記事に続き、2日目・3日目での会場の雰囲気等と、3日間通して気になったものを感想としてまとめた記事です。雰囲気を味わいたい方にぜひ届けられればと思っています。
伴拓也