データ関連
BigQueryのパーティショニングとシャーディングを改めて整理する
BigQueryユーザーでもたまに誤解されていることが多いパーティショニングとシャーディングのそれぞれの違いについて改めて念のため調べ直したのでその記録をまとめておきます。
伴拓也
データ関連
51件の記事
データ関連
Data FusionでのパイプラインのSlackエラー通知設定方法
Google CloudにおけるGUIベースのデータ統合パイプラインツールであるCloud Data FusionにおいてSlackエラー通知を実現している方法についてメモがてらまとめていきます。どのようなパイプラインでもエラー検知は必須かと思います。
伴拓也
データ関連
データ基盤にガバナンスを効かせるためのDataform概要調査
Google Cloudにて提供されているデータ変換パイプライン用サービスDataformを用いてデータ基盤にガバナンスを効かせていくことを目指して技術検証を進めた結果について、まずはその概要からまとめています。
伴拓也