データ関連
Airflow REST APIでCloud ComposerのDAGを実行する
Airflow(Cloud Composer)ではDAGをスケジュール設定なしで作成することもできますが、その場合はなんらかの手段で実行することが必要になります。GUIから実行するのも一つの手ですが、今回はCLIベースで手軽に実行できるREST APIの呼び出しによる実行方法についてまとめます。
伴拓也
データ関連
50件の記事
データ関連
ベン図・オイラー図とは？違いや作成方法を解説
ベン図とオイラー図は集合の関係を表す図で、ベン図は全ての組み合わせを、オイラー図は実在する関係のみを表現します。手描きでは正確な図を作るのが難しいですが、eulerrという無料Webサービスを使えば、集合の要素数を入力するだけで簡単に面積比例のベン図・オイラー図が作成できます。より複雑な場合はアップセット図が有効です。
石田直之
データ関連
DataformとGitHubリポジトリをSSH接続する手順とハマったところ
データ基盤を管理するときに出てくる選択肢はdbtかDataformか…といったところかと思いますが、今回はそのDataformでまず最初に行うであろうリポジトリとの繋ぎ込みのSSHによる方法でのハマりポイントについて解説します。
伴拓也
データ関連
Google スプレッドシートのデータをBigQueryに取り込みたくなったら
今回はGoogle スプレッドシートのデータをBigQueryに取り込む場合の方法について扱います。基本的には直接BigQueryから外部データとして参照するか、別途整形加工を行うかの2択になると思いますので、それぞれのメリット・デメリットを整理します。
伴拓也
データ関連
Looker Studio レポートの自動配信 Proと無料版の違いを検証
Looker Studioにおけるレポートのスケジュール配信について、Proユーザーと通常ユーザーの機能や挙動の違いを確認・検証しました。
石田直之
データ関連
Looker Studio Proの運用で意識しているポイント
Data PortalがLooker Studioに改名されると同時に発表されたLooker Studio Proは、組織でBIツールを活用する上で必要な属人化回避やガバナンス管理のための仕組みが備わっています。そのうえで、我々が特にどのようなところを意識してLooker Studio Proを運用しているかについて今回はまとめてみます。
伴拓也
データ関連
Looker StudioでOR条件でのテーブル結合を実現したいときのワークアラウンド
Google Looker Studioの統合機能では、複数の結合キーを用いたOR条件でのテーブル結合は現状直接サポートされていません。しかし、複数のJOINを使用するワークアラウンドを採用することでOR条件で結合したときと同様の結果を得る方法を紹介しています。
石田直之
データ関連
Snowflakeでクラスタリングしてみたら大幅コスト削減できた話
Snowflakeのクラスタリング機能により、クエリのパフォーマンスが改善され、クエリにかかるコストが大幅に削減されました。設定から確認まで実践した内容を具体的に紹介します。
山野悠
データ関連
Cloud Composerの環境アップグレード機能を使うときの注意点
Cloud Composerではプレビュー版ながらアップデート機能が提供されています。今回はそのアップデート機能を使う際の注意点やハマったときの対応方法についてまとめてみます。機能追加もあるので、可能な限り定期的に時間をとってアップデートを実施しておきたいところです。
伴拓也
データ関連
Cloud ComposerにSentryを導入する方法
主にソフトウェアを対象とするエラー監視ツールであるSentryを、Cloud Composerに導入する方法についてまとめました。Cloud ComposerはAirflowのマネージドサービスですが、Airflowへの導入方法はたくさん情報があるものの、Cloud Composerへの導入方法はあまり見かけなかったので参考になれば幸いです。
伴拓也
データ関連
Safari 17がサイト分析や広告効果測定へ与える影響
2023年9月のiOSやmacOSのアップデートでSafari 17に追加されたプライバシー保護機能により、プライベートブラウジングモードでGoogle Analytics 4（GA4）やGoogle Tag Manager（GTM）のタグがブロックされ、アクセスログや広告のコンバージョンログが計測できなくなっていることが確認されました。データアナリストやマーケティング担当者はタグのブロックによる影響を深く理解し、サイト分析や広告効果測定の戦略を見直す必要があります。
石田直之
データ関連
BigQueryでJSONを読み込むときにinsert_rows_jsonを使うと404が出るのなぁぜなぁぜ？
新年一発目の記事はBigQueryでJSONファイルを読み込むときにinsert_rows_jsonをはじめとするストリーミング挿入を行うとハマりかねない罠についての記事です。BigQueryのストリーミング挿入には注意点が多いので、そこを意識した上で使う必要があります。
伴拓也