こんにちは、クラウドエース編集部です
本記事では、Google Cloud Platform（以下、GCP）・Amazon Web Services（以下、AWS）・Microsoft Azure（以下、Azure）の3大クラウドにおける、ビッグデータ関連サービスについてご紹介します。
ビッグデータとは、様々な種類の巨大なデータ群のことで、社会・経済の問題解決や、業務の付加価値向上等に活用されています。3大クラウドは数多くのビッグデータ関連サービスを展開しており、本記事では以下の3種類のビッグデータ関連サービスをご紹介します。
- DWH（Data Warehouse）
- 解析基盤
- BI（Business Intelligence）
まず、3大クラウドのビッグデータ関連サービスについて書いたのち、主要サービスであるDWHについて詳しく特徴を比較します。
3大クラウドのビッグデータ関連サービス
3大クラウドが展開する代表的なビッグデータ関連サービスとして、DWH・解析基盤・BI があります。3大クラウドは以下の表のサービスを展開しています。
| GCP | AWS | Azure | |
|---|---|---|---|
| DWH | BigQuery | Amazon Redshift | Azure Synapse Analytics |
| 解析基盤 | Dataflow | Amazon Kinesis | Azure Stream Analytics |
| BI | Looker | Amazon QuickSight | Microsoft Power BI |
以下、各サービスについて掘り下げていきます。
DWH
【GCP】BigQuery
BigQuery は、容易にデータの取り込み、保管、分析、ビジュアライズができるエンタープライズデータウェアハウスです。
【AWS】Amazon Redshift
Amazon Redshift は、クラウド内でのフルマネージド型、ペタバイトスケールのデータウェアハウスサービスです。数百ギガバイトのデータからペタバイト以上まで拡張可能です。
【Azure】Azure Synapse Analytics
Azure Synapse Analytics は、データ統合、エンタープライズデータウェアハウス、ビッグデータ分析が1つになったサービスです。データの取り込み、探索、準備、変換、管理、提供が可能です。
PaaS
【GCP】Dataflow
Dataflow は、サーバーレスかつ高速で、費用対効果の高い、統合されたストリームデータ処理とバッチデータ処理をおこなうサービスです。
【AWS】Amazon Kinesis
Amazon Kinesis は、ストリーミングデータをリアルタイムで収集、処理、容易に分析することが可能です。アプリケーションの要件に最適なツールを柔軟に選択できる他、あらゆる規模のストリーミングデータをコスト効率良く処理します。
【Azure】Azure Stream Analytics
Azure Stream Analytics は、ミッションクリティカルなワークロード用に設計された、使いやすいリアルタイム分析サービスです。数クリックでエンドツーエンドのサーバーレスストリーミングパイプラインを構築します。
FaaS
【GCP】Looker
Looker は、最新の BI や組み込み型の分析機能から、ワークフローの統合、カスタムデータアプリに至るまで、数多くのデータエクスペリエンスを促進するツールを備えています。
【AWS】Amazon QuickSight
Amazon QuickSight は、自然言語で質問・インタラクティブなダッシュボード探索・機械学習を利用したパターンや外れ値を自動的に探すことで、データを簡単に理解できます。
【Azure】Microsoft Power BI
Microsoft Power BI は、統合されたセルフサービスおよびエンタープライズ分析ソリューションです。データを視覚化して組織全体で分析情報を共有し、それをお使いのアプリや Web サイトに埋め込むことができます。
DWHの特徴比較
ここでは、3大クラウドの DWH について詳しく特徴を比較していきます。比較項目は以下の6項目です。
- 料金
- 仮想ノード管理
- ストレージ管理
- 他ツールとの連携性
- AI/ML
- 利用実績
【GCP】BigQuery
料金
データ処理1TBあたり、5USドルです。
仮想ノード管理
完全にサーバーレスで行えます。
ストレージ管理
自動で費用対効果が高いストレージへデータを移行します。
他ツールとの連携性
DataFlow, DataProc、CloudDB, PubSub など多くの Google サービスと簡単に統合できるように設計されています。
AI/ML
SQL ベースの機械学習を使⽤して AI/ML ワークロードと組み合わせて使⽤するように設計されています。
利用実績
P&G、The NewYork Times、MLB、UPS、Toyota 等の企業で利用されています。
【AWS】Amazon Redshift
料金
データ処理1TBあたり、5USドルです。
仮想ノード管理
ネットワークアクセスとVPNの構成、リソースの割り当て、ソフトウェアの更新、クラスターの拡⼤と縮⼩などには手動で管理が必要です。
ストレージ管理
⼿動によるストレージの移行とエイジングが必要です。
他ツールとの連携性
AWS サービスと手動で連携する必要があります。
AI/ML
他のソリューションとの統合とデータの変換が必要です。
利用実績
Nasdaq、MagellanRX、GE、Zynga 等の企業で利用されています。
【Azure】Azure Synapse Analytics
料金
データ処理1TBあたり、5USドルです。
仮想ノード管理
メンテナンス、コントロールノードの操作、および⼿動スケーリングが必要です。
ストレージ管理
単一のストレージで構成されています。
他ツールとの連携性
Azure サービスと手動で連携し、複雑な設定をおこなう必要があります。
AI/ML
他のソリューションとの統合とデータの変換が必要です。
利用実績
Walgreens、Co-op、Marks & Spencer、ClearSale、Neogrid、CCC Marketing 等の企業で利用されています。
上記の内容をまとめたものが、以下の表です。料金については、全サービス同額になっています。仮想ノード管理については、BigQuery が完全にサーバーレスであるため、使いやすいと言えます。ストレージ管理については、自動でお得なストレージへ移行する BigQuery が優れていると言えます。他ツールとの連携性については、多様な GCP サービスと統合できる BigQuery が優れていると言えます。AI/ML については、BigQuery ML によって機械学習をおこなえる BigQuery が優れていると言えます。
まとめ
本記事では、GCP・AWS・Azure の3大クラウドにおけるビッグデータ関連サービスについて紹介してきました。IaaS・PaaS・FaaS の全てにおいて、似た内容のサービスが展開されていますが、細かな機能を見ていくと大きな差があります。本記事で徹底比較した IaaS は、料金、対応 OS、CPU・RAM、メンテナンス性に違いがありました。
自社のビッグデータに必要な機能を明確にした上で、最適なクラウドを選択しましょう。
