データ関連
dbt Projects on Snowflake x Terraform でデータ基盤を刷新
dbt Projects on Snowflake と Terraform を組み合わせてデータ基盤を刷新しました。視聴データというデータの特徴を踏まえた設計のポイントと刷新にあたっての苦労話を紹介します。
山野悠
#データ基盤
10件の記事
データ関連
dbt project on Snowflake 運用に向けて開発環境を整える
Snowflake上でのdbtプロジェクトの運用に向けた開発環境の整備に関する具体的な手順や設定方法について記載します。ローカル環境の構築、dbtプロジェクトの操作方法、CI/CDパイプラインの設定、これらに関する注意点にも触れます。
山野悠
データ関連
NULLも含めて正しく判定！「IS DISTINCT FROM」活用術
この記事では、SQLにおけるNULLの扱いに関する問題点と、IS DISTINCT FROMの活用法を紹介しています。この演算子はNULLを含む比較において、直感的な挙動を実現し、クエリの可読性と安全性を向上させる方法を解説しています。
中村卓矢
データ関連
Snowflake × GitHub Actions の OIDC 認証でハマった話
Snowflake と GitHub Actions とのOIDC 認証の実装中に遭遇したエラーについての記事です。 Snowflake CLI v3.11以降、OIDC の aud が固定化されていたことが原因でした。
山野悠
レポート
SNOWFLAKE WORLD TOUR TOKYO 視察レポート
SNOWFLAKE WORLD TOUR TOKYO に初参戦してきました。Snowflake社の最新機能紹介や顧客の事例を交えたセッションに加え、コミュニティの活発さも感じられた非常に楽しいイベントでした。今回はその視察レポートです。
山野悠
セキュリティ
Snowflake アカウント管理のベストプラクティスが更新されたので設定する
新たに Snowflake アカウント全体に MFA 設定を強制できるようになりました。これに合わせて Snowflake から公開されているベストプラクティスを参考にポリシーを見直しました。
山野悠
データ関連
Snowflakeでクラスタリングしてみたら大幅コスト削減できた話
Snowflakeのクラスタリング機能により、クエリのパフォーマンスが改善され、クエリにかかるコストが大幅に削減されました。設定から確認まで実践した内容を具体的に紹介します。
山野悠
データ関連
Snowpipeでデータ分析基盤Snowflakeへデータロードする方法
データ分析基盤として活用しているSnowflakeへのSnowpipeを利用したデータロード方法についてまとめました。
髙木衛
データ関連
Data FusionでのパイプラインのSlackエラー通知設定方法
Google CloudにおけるGUIベースのデータ統合パイプラインツールであるCloud Data FusionにおいてSlackエラー通知を実現している方法についてメモがてらまとめていきます。どのようなパイプラインでもエラー検知は必須かと思います。
伴拓也
データ関連
データ基盤にガバナンスを効かせるためのDataform概要調査
Google Cloudにて提供されているデータ変換パイプライン用サービスDataformを用いてデータ基盤にガバナンスを効かせていくことを目指して技術検証を進めた結果について、まずはその概要からまとめています。
伴拓也