データ関連
Cloud Composer のローカル開発環境を構成するための勘所
Cloud Composerのようなデータ基盤を構成するためのツールにおいてはやはりローカル開発環境は欠かせません。本記事では、Cloud Composerにおけるローカル開発環境を構築するためのツールと、それらを使用する上での注意点についてまとめています。
伴拓也
#Google Cloud
48件の記事
データ関連
BigQueryのパーティション数上限緩和を享受できないこともある
BigQueryのパーティション数上限の緩和が2024年5月29日に発表されましたが、それをそのまま簡単に適用しようと思うとできないパターンというのがあります。どういったパターンで簡単に上限緩和の恩恵を受けられないかということと、そもそもパーティション数の上限とは何か、といったところについて解説します。
伴拓也
Tips
BigQueryの全カラム選択はEXCEPTとREPLACEを使いこなしたい
SELECT文で基本的には全カラムを選択したいものの、特定のカラムは除きたいとき、通常のDBにおいては全カラム名を頑張って指定するしかないかと思いますが、BigQueryのSELECT文には EXCEPT という構文があり、これを利用することで簡単に特定の列を除外した上でSELECTを行うことが可能になります。本記事ではあわせて置き換えに使うREPLACEも紹介しています。
伴拓也
データ関連
Cloud Composer の運用には Secret Manager を組み合わせるのがオススメ
Cloud ComposerはAirflowのマネージドサービスですが、ただのマネージドサービスではなく、Google Cloud内のサービスと組み合わせることでより便利に使えます。今回はその中でもSecret Managerと組み合わせた運用について解説します。
伴拓也
レポート
Google Cloud Next ’24 @Las Vegas Day 2&3の所感
本日までラスベガスで開催されていたGoogle Cloud Next ’24に参加してきました！1日目の記事に続き、2日目・3日目での会場の雰囲気等と、3日間通して気になったものを感想としてまとめた記事です。雰囲気を味わいたい方にぜひ届けられればと思っています。
伴拓也
レポート
Google Cloud Next ’24 @Las Vegas Day 1の所感
ラスベガスで開催されているGoogle Cloud Next ’24に参加しているので、1日目で個人的に目をつけたものや会場の雰囲気等を感想としてまとめた記事です。雰囲気を味わいたい方にぜひ届けられればと思っています。
伴拓也
データ関連
Cloud Composerの環境アップグレード機能を使うときの注意点
Cloud Composerではプレビュー版ながらアップデート機能が提供されています。今回はそのアップデート機能を使う際の注意点やハマったときの対応方法についてまとめてみます。機能追加もあるので、可能な限り定期的に時間をとってアップデートを実施しておきたいところです。
伴拓也
研究開発
Googleの最新AIモデルGemmaを使ってみた
Googleがオープンソースの大規模言語モデル「Gemma（ジェマ）」を公開しました。早速、Google CloudのVertex AIへのモデルのデプロイとGoogle ColabでGemmaにプロンプトを投げるチュートリアルを試してみました。
石田直之
Tips
ローカル開発時のGoogle Cloud認証情報はgcloud authコマンドでsetすると早い
今回はGoogle Cloudのローカル開発時の必須コマンドといっても過言では無い gcloud auth application-default loginコマンドについて紹介しています。サービスアカウントを新規に発行し、鍵ファイルを作成する方法に比べて漏洩リスクも抑えられるので、ぜひ抑えておきたいコマンドの一つだと思います。
伴拓也
データ関連
Cloud ComposerにSentryを導入する方法
主にソフトウェアを対象とするエラー監視ツールであるSentryを、Cloud Composerに導入する方法についてまとめました。Cloud ComposerはAirflowのマネージドサービスですが、Airflowへの導入方法はたくさん情報があるものの、Cloud Composerへの導入方法はあまり見かけなかったので参考になれば幸いです。
伴拓也
データ関連
BigQueryでJSONを読み込むときにinsert_rows_jsonを使うと404が出るのなぁぜなぁぜ？
新年一発目の記事はBigQueryでJSONファイルを読み込むときにinsert_rows_jsonをはじめとするストリーミング挿入を行うとハマりかねない罠についての記事です。BigQueryのストリーミング挿入には注意点が多いので、そこを意識した上で使う必要があります。
伴拓也
Tips
Google CloudでプロジェクトをまたいでNW接続するためのVPCピアリング
今回はVPCピアリングについての記事です。プロジェクト間の通信を実現する方法として、Google Cloudを例に挙げながら、VPCピアリングの基本的な概念や設定手順を紹介しています。VPCピアリングを活用することで、異なるプロジェクト間での通信やオンプレ等と直接接続されていないプロジェクトからの通信が可能となります。どのクラウドベンダでも使える知識です。
伴拓也