データ関連
Lookerの前期比(PoP)メジャーがPreviewになったので試してみた
Looker待望のPoP分析用Measureの登場で期間比較の実装がぐっと楽に！細かな課題はあれど、今後のアップデートで更なる進化に期待が膨らみます！
石田直之
データ関連
50件の記事
データ関連
Supabase の DB と BigQuery を Datastream を使って連携させる
オープンソースの BaaS として最近利用事例も増えてきた Supabase 内のDBの内容を分析等の目的で BigQuery にコピーする方法として、Google Cloudのマネージドサービスである Datastream を利用する場合のポイントについて解説しています
伴拓也
データ関連
BigQueryで日付変更時間を0時じゃなくしたいときどうするべきかを考える
BigQueryでデータ分析をしている際に、0時で日付が変わるのではなく3時や5時といった早朝時間帯に日付を変えて分析したい、というシチュエーションはよくあるかと思います。本記事ではそういったときにクエリ上でどのように対応すれば良いかをまとめています。
伴拓也
データ関連
え！BigQuery UtilsのUDFってもう全世界公開されていてリージョン気にせず使えるってほんと？
BigQuery UtilsにはBigQueryで処理をする上で便利なUDF(ユーザー定義関数)が多数含まれています。これまではUSリージョンでのみ公開されていたため、なかなか東京リージョンなどでは使いにくい状況が続いていましたが、今年の6月に実はもう全世界公開されていたのでその使い方を紹介します。
伴拓也
データ関連
AuroraからS3への定期的なエクスポートのための手順とLambdaコードサンプル
色々な基盤においてAmazon Auroraは便利に使われているDBサービスかと思いますが、そのデータを用いて分析等を行いたい場合にはエクスポートを行う必要があります。本記事では、定期的なエクスポートのための具体的な手順をサンプルコードつきで紹介しています。
伴拓也
データ関連
LookerでGA4のエンゲージメント時間を可読性良く可視化する方法
Google Analytics 4（GA4）のエンゲージメント時間データをLookerでより見やすく可視化するための方法を紹介しています。value_formatパラメータを活用して、ミリ秒単位のデータを人間が理解しやすい「時間:分:秒」形式に変換することで、データの可読性を大幅に向上させることができます。
石田直之
データ関連
Cloud Composer のローカル開発環境を構成するための勘所
Cloud Composerのようなデータ基盤を構成するためのツールにおいてはやはりローカル開発環境は欠かせません。本記事では、Cloud Composerにおけるローカル開発環境を構築するためのツールと、それらを使用する上での注意点についてまとめています。
伴拓也
データ関連
BigQueryのパーティション数上限緩和を享受できないこともある
BigQueryのパーティション数上限の緩和が2024年5月29日に発表されましたが、それをそのまま簡単に適用しようと思うとできないパターンというのがあります。どういったパターンで簡単に上限緩和の恩恵を受けられないかということと、そもそもパーティション数の上限とは何か、といったところについて解説します。
伴拓也
データ関連
Cloud Composer の運用には Secret Manager を組み合わせるのがオススメ
Cloud ComposerはAirflowのマネージドサービスですが、ただのマネージドサービスではなく、Google Cloud内のサービスと組み合わせることでより便利に使えます。今回はその中でもSecret Managerと組み合わせた運用について解説します。
伴拓也
データ関連
Cloud Composer(Airflow)のon_failure_callbackの位置には注意が必要
Cloud Composer(Airflow)のようなワークフロー管理ツールにおいては基本的にエラーが発生したときにはメール通知やSlack通知などのためのコールバックの仕組みが用意されているものですが、Cloud Composerの場合はその書く位置によって機能がかわることに注意が必要です。本記事ではその内容について解説します
伴拓也
データ関連
Google Analytics 4(GA4)のmanual_系パラメータはUTMパラメータだけじゃない
Google Analytics 4のデータには「manual_source」というものがありますが、
伴拓也
データ関連
AWS Glue のローカル開発環境から BigQuery に接続する
ETL 処理に便利な AWS Glue のローカル開発環境構築方法についてまとめました。特に、BigQuery との接続について具体的な方法を記載しています。
山野悠