chisataki’s blog

リコリス・リコイルじゃありません

AWS↔️GCPサービス比較【機械学習/AIまわり】

機械学習 GCP AWS

AWSサービス 分類 サービス詳細 対応GCPサービス 備考
S3 ストレージ   Cloud Strage  
Amazon EMR ETL   Dataproc  
AWS Glue ETL   Dataproc
Data Catalog
Composer(Airflow)
Data Fusion
Dataprep		 Glueはバッチ/ストリーミングに対応
Amazon Kinesis Data Analytics データ分析 ストリーミングデータをリアルタイムで変換および分析 Dataflow Kinesis Data Analytics：Apache Flink使用。ストリームデータのみ
Dataflow：Apache Beam使用。バッチ・ストリーム両対応
Amazon EMR データ分析   Dataproc  
Amazon Athena データ分析 データレイクへのクエリ BigQuery Athena：SQLを使用してS3から直で検索
BigQuery：外部テーブル使用でgcsから検索
Amazon Redshift データ分析   BigQuery
(Bigtable)		 Bigtable：NoSQL. 金融データ向き
IoT Analytics データ分析 デバイスの分析 -  
Lake Formation データレイク管理   - Glue + IAM + S3 + etc
Amazon Kinesis ストリームデータ ストリームデータをリアルタイムで収集、処理、分析 PubSub  
Amazon MSK ストリームデータ フルマネージドApache Kafkaサービス Confluent Cloud? MSKとConfluent Cloud比較
AWS IoT Core ストリームデータ   Cloud IoT Core
Leverege Connect		 Cloud IoT Coreは2023年8月16日で廃止→Leverage Connectへ
Elemental MediaLive コンテンツ配信   LiveStreamAPI ライブ動画のエンコード
Amazon CloudFront コンテンツ配信   Cloud CDN
Media CDN		 Cloud CDN: webアプリ用
Media CDN: 動画・ライブ配信用
Amazon Personalize 機械学習/AI レコメンド Recommendations AI  
Amazon Polly 機械学習/AI テキスト→音声 Text-to-Speech  
Amazon Rekogniton 機械学習/AI 画像認識/分析 Vision AI  
Amazon SageMaker 機械学習/AI モデル構築用統合プラットフォーム Vertex AI  
Amazon SageMaker Autopilot 機械学習/AI 表形式データからモデルを自動的に構築 AutoML tables
BigQueryML		 ・BigQueryMLは自動ではモデルを選択してくれない
・AutoML tablesは2024年1月でVertex AIに統合予定
Amazon SageMaker Camvas 機械学習/AI ノーコードでモデルを構築 AutoML AutoML：Vertex AIの一部
Amazon SageMaker Clarify 機械学習/AI バイアス検出、モデルの説明 Vertex Explainable AI  
Amazon SageMaker Datawrangler 機械学習/AI データ前処理 Vertex AI Vizier Vertex Ai Vizier：パラメータ最適化のみ
Amazon SageMaker Debugger 機械学習/AI トレーニング監視、最適化    
Amazon SageMaker Edge 機械学習/AI IoTデバイスの機械学習    
Amazon SageMaker Feature Store 機械学習/AI 特徴量を保存、共有、管理 Vertex AI Feature Store  
Amazon SageMaker Data Labeling (GroundTruth) 機械学習/AI データの自動ラベリング Vertex AI Data Labeling Service COVID-19の緊急事態が発生したため、Data Labeling Service は通知があるまで制限されるか、利用できません。(2023/06/20時点)
Amazon SageMaker JumpStart 機械学習/AI 事前構築済みの機械学習モデルソリューション    
Amazon SageMaker Model Monitor 機械学習/AI モデルの監視、アラート Vertex AI Model Monitoring  
Amazon SageMaker Studio 機械学習/AI 統合開発環境(IDE)    
Amazon SageMaker Pipelines 機械学習/AI ワークフローの作成、管理 Vertex AI Pipelines  
Amazon SageMaker Notebook 機械学習/AI JupyterNotebookベースの開発環境 Vertex AI Workbench  
Amazon Quicksite BI   Looker Studio(旧データポータル)
Looker		  
AWS Transfer Family データ転送 S3またはEFSへのデータ転送 Storage Transfer Service ・Storage Transfer Service：クラウド間、オンプレミスとクラウド間のデータ転送
参考）GCP転送サービス比較
AWS Snowball Edge データ転送 ペタバイト規模のデータ移行 Transfer Appliance ・Snowball はサービス全体、Snowball Edge はサービスが現在使用しているタイプのデバイスを指す

・Transfer Appliance：大容量データ向け
Amazon Glacier バックアップ＆アーカイブ バックアップ、アーカイブストレージ Cloud Strage Coldline
Cloud Strage Archive		 Coldline：(目安) 90日に1回アクセスされるデータ
Archive ：365日に1回アクセスされるデータ
AWS Backup バックアップ＆アーカイブ バックアップおよびDR (災害対策) を一元的に管理 Backup and DR  

参考

AWS や Azure サービスと Google Cloud を比較する
AWS/Azure/Google Cloudサービス比較 2023.06