QUALIFY句の使い方を知りWITH句を削る
今回はBigQueryやSnowflakeで使えるQUALIFY句の使い方についてまとめます。QUALIFY句は正しく使うことでWITH句を削ることが出来ることもあるなど、対応するDBを使用している場合はぜひ知っておきたい内容かと思います!

朝日放送グループホールディングス株式会社 デジタル・アーキテック局 データ戦略チーム
アプリケーションからインフラ、ネットワーク、データエンジニアリングまで幅広い守備範囲が売り。最近はデータ基盤の構築まわりに力を入れて取り組む。 主な実績として、M-1グランプリ敗者復活戦投票システムのマルチクラウド化等。
今回はBigQueryやSnowflakeで使えるQUALIFY句の使い方についてまとめます。QUALIFY句は正しく使うことでWITH句を削ることが出来ることもあるなど、対応するDBを使用している場合はぜひ知っておきたい内容かと思います!
Cloud ComposerはAirflowのマネージドサービスですが、ただのマネージドサービスではなく、Google Cloud内のサービスと組み合わせることでより便利に使えます。今回はその中でもSecret Managerと組み合わせた運用について解説します。
Cloud Composer(Airflow)のようなワークフロー管理ツールにおいては基本的にエラーが発生したときにはメール通知やSlack通知などのためのコールバックの仕組みが用意されているものですが、Cloud Composerの場合はその書く位置によって機能がかわることに注意が必要です。本記事ではその内容について解説します
2024年の夏の主役は生成AI?いやいや、ARMなWindowsでしょう。今回はSnapdragon X Elite搭載機で開発環境を構築した際にどのようなソフトウェアが動いてどのようなソフトウェアが動かないのか、そして実際に開発機として使えるのかどうかの感触を記事にまとめていきます。
SurfaceなどSnapdragon採用のWindowsが先月から続々と発売されていますが、ARMを採用している場合に問題になるのはやはりDocker周りです。普通にWSLで動かそうとすると amd64 用のコンテナイメージは動かないので、そのようなイメージをQEMUを使い強引に動かす方法についてまとめます。
Google Analytics 4のデータには「manual_source」というものがありますが、
Airflow(Cloud Composer)ではDAGをスケジュール設定なしで作成することもできますが、その場合はなんらかの手段で実行することが必要になります。GUIから実行するのも一つの手ですが、今回はCLIベースで手軽に実行できるREST APIの呼び出しによる実行方法についてまとめます。
朝日放送グループホールディングス株式会社では、今年(2024年)もABC DX Tech Internshipと称してインターンシップを8月末より4週間程度開催します。学生の皆さんの応募を心よりお待ちしております!
データ基盤を管理するときに出てくる選択肢はdbtかDataformか…といったところかと思いますが、今回はそのDataformでまず最初に行うであろうリポジトリとの繋ぎ込みのSSHによる方法でのハマりポイントについて解説します。
朝日放送グループホールディングス株式会社では、今年(2024年)もABC DX Tech Internshipと称してインターンシップを夏に開催します。募集は今月末から開始する予定ですので、ぜひ学生の皆様におかれましては参加するインターンシップの候補に加えていただけると幸いです。
今回はGoogle スプレッドシートのデータをBigQueryに取り込む場合の方法について扱います。基本的には直接BigQueryから外部データとして参照するか、別途整形加工を行うかの2択になると思いますので、それぞれのメリット・デメリットを整理します。
本日までラスベガスで開催されていたGoogle Cloud Next ’24に参加してきました!1日目の記事に続き、2日目・3日目での会場の雰囲気等と、3日間通して気になったものを感想としてまとめた記事です。雰囲気を味わいたい方にぜひ届けられればと思っています。