AWSサービス 分類 サービス詳細 対応GCPサービス 備考 S3 ストレージ Cloud Strage Amazon EMR ETL Dataproc AWS Glue ETL DataprocData CatalogComposer(Airflow)Data FusionDataprep Glueはバッチ/ストリーミングに対応 Amazon Kinesis Data Analytics デ…

データセットの管理 データセットを作成する プロジェクトの全データセット名をリスト表示 データセットの削除 テーブルの管理 テーブルの作成 テーブルのメタデータの表示 テーブルの削除 テーブルの外部エクスポート ネストされた列と繰り返し列を含むテー…

1. IAM管理画面からサービスアカウントを作成する（付与ロール例: BigQuery編集者) 2. サービスアカウントのキーを作成し、秘密鍵(.json)をダウンロードする 3. ダウンロードした秘密鍵のパスを環境変数名 GOOGLE_APPLICATION_CREDENTIALS として保存する (…

概要 BigQuery用のSQLワークフローの開発、テスト、バージョン管理、スケジュール設定ができるサービス 具体的に何ができるの？ テーブル定義や集計処理を、SQLXというSQLの拡張言語で記述することで、テーブル間の依存関係を元にワークフローを実行できる。…

データ分析基盤勉強中。知識共有用。間違えている箇所あったら、そっとご指摘ください。 Dataflowとは？ Apache Beam(以下Beam)で記述されたデータ処理パイプラインを実行できる、Google Cloudのサーバーレスの分散処理サービスのこと。 Beamとはパイプライ…