AWS Glue のローカル開発環境から BigQuery に接続する
ETL 処理に便利な AWS Glue のローカル開発環境構築方法についてまとめました。特に、BigQuery との接続について具体的な方法を記載しています。

朝日放送グループホールディングス株式会社 デジタル・アーキテック局 R&Dチーム
動画配信・災害情報・データ放送など社内の運用負荷軽減のためのCMS開発に従事。 プロジェクトの規模に応じて、ディレクション業務からアプリケーション開発、サーバ設計までを担当。 デスクワークによる運動不足解消のため、日々ウエイトトレーニングに励む。
ETL 処理に便利な AWS Glue のローカル開発環境構築方法についてまとめました。特に、BigQuery との接続について具体的な方法を記載しています。
DXメディアデザイン局では業務効率UPのため充実したデスク環境が用意されており、デスクの配置や使用機器、周辺用品に各メンバーの個性が表れています。本記事からリレー形式で一部メンバーのデスクを順次紹介していきます。
Snowflakeのクラスタリング機能により、クエリのパフォーマンスが改善され、クエリにかかるコストが大幅に削減されました。設定から確認まで実践した内容を具体的に紹介します。
GitHubActionsとNotion APIを活用して、GitHub IssueとNotionページを連携することで、サーバのタスクをNotion上に一元管理する方法を考えてみました。
『データサイエンティスト スキルチェックリスト ver.5』に引き続き、2023年10月30日に公開された『データサイエンティスト スキルチェックリスト ver.4』を読んでみました。当該資料の内容を筆者の感想と共にまとめています。
2023年10月20日開催の「データサイエンティスト協会10thシンポジウム」内で公開された、『データサイエンティスト スキルチェックリスト ver.5』を読んでみました。当該資料の内容を筆者の感想と共にまとめています。
2023年10月17日(火)~20日(金)に開催された、CEATEC 2023に視察に行ってきました。今回の記事は視察内容の報告です。