データ関連
BigQueryのパーティション数上限緩和を享受できないこともある
BigQueryのパーティション数上限の緩和が2024年5月29日に発表されましたが、それをそのまま簡単に適用しようと思うとできないパターンというのがあります。どういったパターンで簡単に上限緩和の恩恵を受けられないかということと、そもそもパーティション数の上限とは何か、といったところについて解説します。
伴拓也
全記事一覧
223件の記事
Tips
BigQueryの全カラム選択はEXCEPTとREPLACEを使いこなしたい
SELECT文で基本的には全カラムを選択したいものの、特定のカラムは除きたいとき、通常のDBにおいては全カラム名を頑張って指定するしかないかと思いますが、BigQueryのSELECT文には EXCEPT という構文があり、これを利用することで簡単に特定の列を除外した上でSELECTを行うことが可能になります。本記事ではあわせて置き換えに使うREPLACEも紹介しています。
伴拓也
Tips
QUALIFY句の使い方を知りWITH句を削る
今回はBigQueryやSnowflakeで使えるQUALIFY句の使い方についてまとめます。QUALIFY句は正しく使うことでWITH句を削ることが出来ることもあるなど、対応するDBを使用している場合はぜひ知っておきたい内容かと思います！
伴拓也
データ関連
Cloud Composer の運用には Secret Manager を組み合わせるのがオススメ
Cloud ComposerはAirflowのマネージドサービスですが、ただのマネージドサービスではなく、Google Cloud内のサービスと組み合わせることでより便利に使えます。今回はその中でもSecret Managerと組み合わせた運用について解説します。
伴拓也
データ関連
Cloud Composer(Airflow)のon_failure_callbackの位置には注意が必要
Cloud Composer(Airflow)のようなワークフロー管理ツールにおいては基本的にエラーが発生したときにはメール通知やSlack通知などのためのコールバックの仕組みが用意されているものですが、Cloud Composerの場合はその書く位置によって機能がかわることに注意が必要です。本記事ではその内容について解説します
伴拓也
広報
東京大学メタバースラウンジで登壇した話
先日行われた東京大学メタバースラウンジにて発表したレポートです！なぜABCがメタバース空間制作ができたのか、どんな空間を制作したのかを紹介しています。
野﨑光
Tips
遅ればせながら Terraform 運用のベストプラクティスについて考える
インフラ管理の効率UPを目指し Terraform を導入したので、これまでの運用を振り返ってみました。環境差異の最小としつつ再利用可能なモジュールを設計することで汎用性の高い作りとしています。
山野悠
Tips
ARMなWindowsで開発したい人に捧ぐ！現状のARM機で動かないモノと動くモノ
2024年の夏の主役は生成AI？いやいや、ARMなWindowsでしょう。今回はSnapdragon X Elite搭載機で開発環境を構築した際にどのようなソフトウェアが動いてどのようなソフトウェアが動かないのか、そして実際に開発機として使えるのかどうかの感触を記事にまとめていきます。
伴拓也
Tips
LookMLで意図しないviewのオーバーライドを防ぐ方法
LookMLのRefinements機能を活用することで、既存のviewやExploreを編集せずに内容をオーバーライドできます。さらに、finalパラメータを利用して、予期せぬオーバーライドを防ぐことができます。
中村卓矢
セキュリティ
Snowflake アカウント管理のベストプラクティスが更新されたので設定する
新たに Snowflake アカウント全体に MFA 設定を強制できるようになりました。これに合わせて Snowflake から公開されているベストプラクティスを参考にポリシーを見直しました。
山野悠
Tips
ARMなWindowsのWSLでamd64なDockerイメージをQEMUで強引に動かす方法
SurfaceなどSnapdragon採用のWindowsが先月から続々と発売されていますが、ARMを採用している場合に問題になるのはやはりDocker周りです。普通にWSLで動かそうとすると amd64 用のコンテナイメージは動かないので、そのようなイメージをQEMUを使い強引に動かす方法についてまとめます。
伴拓也
データ関連
Google Analytics 4(GA4)のmanual_系パラメータはUTMパラメータだけじゃない
Google Analytics 4のデータには「manual_source」というものがありますが、
伴拓也