伴拓也

朝日放送グループホールディングス株式会社デジタル・アーキテック局データ戦略チーム

アプリケーションからインフラ、ネットワーク、データエンジニアリングまで幅広い守備範囲が売り。最近はデータ基盤の構築まわりに力を入れて取り組む。主な実績として、M-1グランプリ敗者復活戦投票システムのマルチクラウド化等。

記事 (98件)

データ関連2024年9月19日

BigQueryのパーティション数上限緩和を享受できないこともある

BigQueryのパーティション数上限の緩和が2024年5月29日に発表されましたが、それをそのまま簡単に適用しようと思うとできないパターンというのがあります。どういったパターンで簡単に上限緩和の恩恵を受けられないかということと、そもそもパーティション数の上限とは何か、といったところについて解説します。

伴拓也

Tips2024年9月13日

BigQueryの全カラム選択はEXCEPTとREPLACEを使いこなしたい

SELECT文で基本的には全カラムを選択したいものの、特定のカラムは除きたいとき、通常のDBにおいては全カラム名を頑張って指定するしかないかと思いますが、BigQueryのSELECT文には EXCEPT という構文があり、これを利用することで簡単に特定の列を除外した上でSELECTを行うことが可能になります。本記事ではあわせて置き換えに使うREPLACEも紹介しています。

伴拓也

Tips2024年9月5日

QUALIFY句の使い方を知りWITH句を削る

今回はBigQueryやSnowflakeで使えるQUALIFY句の使い方についてまとめます。QUALIFY句は正しく使うことでWITH句を削ることが出来ることもあるなど、対応するDBを使用している場合はぜひ知っておきたい内容かと思います！

伴拓也

データ関連2024年8月30日

Cloud Composer の運用には Secret Manager を組み合わせるのがオススメ

Cloud ComposerはAirflowのマネージドサービスですが、ただのマネージドサービスではなく、Google Cloud内のサービスと組み合わせることでより便利に使えます。今回はその中でもSecret Managerと組み合わせた運用について解説します。

伴拓也

データ関連2024年8月23日

Cloud Composer(Airflow)のon_failure_callbackの位置には注意が必要

Cloud Composer(Airflow)のようなワークフロー管理ツールにおいては基本的にエラーが発生したときにはメール通知やSlack通知などのためのコールバックの仕組みが用意されているものですが、Cloud Composerの場合はその書く位置によって機能がかわることに注意が必要です。本記事ではその内容について解説します

伴拓也

Tips2024年8月8日

ARMなWindowsで開発したい人に捧ぐ！現状のARM機で動かないモノと動くモノ

2024年の夏の主役は生成AI？いやいや、ARMなWindowsでしょう。今回はSnapdragon X Elite搭載機で開発環境を構築した際にどのようなソフトウェアが動いてどのようなソフトウェアが動かないのか、そして実際に開発機として使えるのかどうかの感触を記事にまとめていきます。

伴拓也

Tips2024年7月19日

ARMなWindowsのWSLでamd64なDockerイメージをQEMUで強引に動かす方法

SurfaceなどSnapdragon採用のWindowsが先月から続々と発売されていますが、ARMを採用している場合に問題になるのはやはりDocker周りです。普通にWSLで動かそうとすると amd64 用のコンテナイメージは動かないので、そのようなイメージをQEMUを使い強引に動かす方法についてまとめます。

伴拓也

データ関連2024年7月12日

Google Analytics 4(GA4)のmanual_系パラメータはUTMパラメータだけじゃない

Google Analytics 4のデータには「manual_source」というものがありますが、

伴拓也

データ関連2024年6月19日

Airflow REST APIでCloud ComposerのDAGを実行する

Airflow(Cloud Composer)ではDAGをスケジュール設定なしで作成することもできますが、その場合はなんらかの手段で実行することが必要になります。GUIから実行するのも一つの手ですが、今回はCLIベースで手軽に実行できるREST APIの呼び出しによる実行方法についてまとめます。

伴拓也

広報2024年5月31日

【締め切りました】専門活用型インターンシップ ABC DX Tech Internship 今年も募集開始！

朝日放送グループホールディングス株式会社では、今年(2024年)もABC DX Tech Internshipと称してインターンシップを8月末より4週間程度開催します。学生の皆さんの応募を心よりお待ちしております！

伴拓也

データ関連2024年5月23日

DataformとGitHubリポジトリをSSH接続する手順とハマったところ

データ基盤を管理するときに出てくる選択肢はdbtかDataformか…といったところかと思いますが、今回はそのDataformでまず最初に行うであろうリポジトリとの繋ぎ込みのSSHによる方法でのハマりポイントについて解説します。

伴拓也

広報2024年5月15日

【予告】今年もABC DX Tech Internshipを実施します！！

朝日放送グループホールディングス株式会社では、今年(2024年)もABC DX Tech Internshipと称してインターンシップを夏に開催します。募集は今月末から開始する予定ですので、ぜひ学生の皆様におかれましては参加するインターンシップの候補に加えていただけると幸いです。

伴拓也

伴 拓也