こんにちは、クラウドエース 技術本部 Data / ML Division の坂田です。今回、Google から BigQuery について・新料金体系「BigQuery Editions」 ・ストレージの課金対象が「Compressed Storage」に変更という 2 つの大きなアップデートが発表されました。この記事では、料金体系がどう変わる?BigQuery Editions とは?Compressed Storage とは?料金体系が変更されるとどのような影響がある?について解説します。目次 Toggle料金体系の変更新料金体系の移行スケジュール新料金体系のユースケース新料金体系で考慮すべきポイントその他 Q&Aまとめ料金体系の変更現在、BigQuey の料金は「ストレージ料金」「分析料金」の 2 つの要素があります。ストレージ料金は BigQuery に保存されたデータのサイズに応じた料金であり、分析料金はクエリの処理に関する料金です。今回、この両方の料金について変更が行われました。ストレージ料金の変更新料金体系ではストレージ料金の削減が期待できます。従来、ストレージ料金は「圧縮されていないデータのサイズ」に応じた課金となっていましたが、「圧縮後のデータのサイズ」に応じた課金に変更されます。従来の非圧縮のデータは「Logical Storage」、圧縮済みのデータは「Compressed Storage」と呼びます。Compressed Storage の圧縮効率は、東京リージョンで約 4 〜 12 倍となり、従来に比べてストレージ料金を安価にすることが期待できます。なお、データによっては十分に圧縮がされず、データ量が大きく変わらない場合もあり、ストレージ料金を大きく削減できない可能性もあります。また、データの圧縮は従来から行われており、料金の算定が圧縮後のデータ量を基準に行われるようになる、というのが今回のアップデートによる変更点です。Compressed Storage の課金形式は従来と同様に、「アクティブストレージ」と「長期保存」の 2 種類があります。また、従来は課金対象ではなかったタイムトラベル機能やフェイルセーフ機能で保持されるデータは課金対象となります。【ストレージ料金の新旧比較】新料金(Compressed Storage)旧料金(Logical Storage)料金の基準圧縮データのサイズ非圧縮データのサイズ課金対象・保存されたデータ ・タイムトラベル用データ ※1 ・フェイルセーフ用データ ※2保存されたデータ課金形式・アクティブストレージ ・長期保存・アクティブストレージ ・長期保存料金 ※3・アクティブストレージ:$0.04 / GB ・長期保存:$0.02 / GB・アクティブストレージ:$0.023 / GB ・長期保存:$0.016 / GB※1 タイムトラベルとは、過去に遡ってデータを参照する BigQuery の機能のことです(公式ドキュメント) ※2 フェイルセーフ(Fail Safe)とは、Google Cloud の内部で保持されるバックアップを用いて、Google Cloud サポート経由で BigQuery のデータを復旧できる仕組みのことです ※3 us-central1 リージョンの料金分析料金の変更従来の分析料金は「オンデマンド分析」、「定額料金」の 2 つの料金体系が用意されていました。この内、定額料金が廃止となり、「BigQuery Editions」という料金体系に移行されます。一方で、オンデマンド分析は引き続き提供されます。BigQuery Editions は定額料金と同じくスロット単位の課金ですが、スロットの自動スケーリング機能が使用できるという点に違いがあります。また、BigQuery Editions には 3 つのプランが用意されており、ユースケースに合わせてプランを選択します。【分析料金における新旧の料金体系】旧料金体系新料金体系オンデマンド分析オンデマンド分析定額料金BigQuery Editions(スロットの自動スケーリング機能付き)BigQuery Editions のスロットの自動スケーリング機能とは、あらかじめ設定したベースラインと上限値の間で、クエリの処理の負荷に応じてスロットが自動的にスケーリングされる機能のことです。例えば、スロット数のベースラインを 200、上限値を 500 とした場合を考えます。クエリを実行するしないに関わらず、スロット 200 個分の料金が固定で発生し、クエリを実行したことで 200 個以上のスロットが使用された場合は 200 を超えた分のスロット数に対して追加の課金が行われます。上限値を 500 としているので、スロット数が 500 を超えることはありません。【スロットの自動スケーリング】 また、自動スケーリングのベースラインを 0 に設定することで、完全な自動スケーリングを行うことも可能です。このように、BigQuery Editions は常時利用されるスロットを確保しつつ、自動スケーリングにより一時的な負荷に応じてスロット数を最適化します。そのため、BigQuery Editions はワークロードに合わせた料金の最適化が可能です。なお、自動スケーリング機能を使用しないことも可能ですが、料金の最適化を考えると、使用することが推奨されます。BigQuery Editions には「Standard」「Enterprise」「Enterprise Plus」の 3 つのプランが用意されています。それぞれのプランには以下のような違いがあります。【BigQuery Editions のプラン】従来の定額料金 (Flex Slots)StandardEnterpriseEnterprise Plusスロット料金 (1 slot / hour ) ※$0.04$0.04$0.06$0.10長期コミット料金 (1 slot / hour ) ※–利用できない1 年:$0.048 3 年:$0.0361 年:$0.08 3 年:$0.06提供機能BigQuery のすべての機能が使用可能・スロットの自動スケーリング ・Google 管理の暗号鍵・Standard の機能 ・BigQuery ML ・VPC Service Controls ・クエリ アクセラレーション(BIエンジン) ・非構造化データのサポート ・行、列レベルのセキュリティ・Enterprise の機能 ・顧客管理の暗号鍵 ・Assured Workloadスロット上限上限なし1,600 スロット上限なし上限なしSLA99.99%99.9%99.99%99.99%※ BigQuery Editions の課金単位については正式発表待ち。us-central1 リージョンの料金一方で、オンデマンド分析は引き続き提供されますが、オンデマンド分析は 25% の値上げが行われます。ただし、Compressed Storage によってストレージ料金が下がれば、場合によっては BigQuery 全体の料金は横ばい、または値下げとなることが期待できます。【新しい分析料金のまとめ】名称説明オンデマンド分析従来通り、クエリが処理したデータ量に応じた課金。BigQuery Editionsスロットのサイズに応じた課金で、固定料金と従量課金が合算される。スロットが自動スケーリングされる。使いたい機能やワークロードの負荷などを基準に、3 つのプランから選ぶ新料金体系の移行スケジュール新料金体系の移行スケジュールについて解説します。ストレージ料金Compressed Storage へのGA は 2023 年 7 月 5 日です。 その際、Compressed Storageへの移行は自身で操作を行い、Logical Storageから切り替える必要があります。なお、Google Cloud プロジェクトを組織で管理しており、組織内で年定額契約を利用している場合は、組織の全プロジェクトにおいて、契約満了日まで Compressed Storage への移行はできず、Logical Storage による課金が行われます。BigQuery Editions かオンデマンド分析のどちらかを利用する場合は、7 月 5 日以降に Compressed Storage へ移行できます。分析料金定額料金を利用している場合定額料金は廃止されるため、定額料金のプランごとに BigQuery Editions への自動的な移行が行われます。BigQuery Editions のどのプランに移行するかは任意で選択できます。移行日までに移行先プランを選択しなかった場合は、BigQuery Editions の Enterprise に移行されます。また、月定額契約と Flex Slots は、7 月 5 日に BigQuery Editions への移行が自動的に行われますが、年定額契約は契約満了日に移行が行われます。【移行先のプランと移行日】現行プランデフォルトの移行先プラン移行日月定額契約Enterprise7 月 5 日年定額契約Enterprise契約満了日Flex SlotsEnterprise7 月 5 日オンデマンド分析を利用している場合オンデマンド分析は新しい料金体系でも引き続き使用可能です。そのため、BigQuery Editions に移行する必要性はありません。一方で、オンデマンド分析から BigQuery Editions に切り替えることも可能です。BigQuery のワークロードや料金を考慮して、オンデマンド分析を引き続き使用するか、BigQuery Editions に切り替えるかをご検討ください。新料金体系のユースケースBigQuery Editions とオンデマンド分析のどちらを利用する?今後 BigQuery を使用する場合、BigQuery Editions とオンデマンド分析のどちらを利用すれば良いのでしょうか。まず、長期的な目線で考えるなら BigQuery Editions が推奨されます。 BigQuery Editions は「サブスクリプション(固定料金)」と「使った分だけ支払い(従量課金)」を融合させた料金体系であるため、料金を制御し、ワークロードに合わせたコストの最適化が可能です。そのため、長期的にはオンデマンド分析より BigQuery Editions の方が安くなると考えられます。一方で、PoC(Proof of Concept、概念実証)など、短期で BigQuery を使用する場合や、ワークロードに合わせたスロット数の最適化が難しい場合はオンデマンド分析を利用することも考えられます。 ただし、今後の BigQuery のアップデートは BigQuery Editions が主流となり、「BigQuery Editions では利用できるが、オンデマンド分析では利用できない機能」が登場する可能性があります。そのため、基本的には BigQuery Editions の利用をおすすめします。BigQuery Editions のユースケースStandard のユースケースStandard は BigQuery Editions の中で最もシンプルで安価なプランです。SLA(Service Level Agreement) が他のプランより少し低く、使用できる機能も他のプランより少ないといった特徴があります。Standard は以下のようなユースケースが考えられます。PoC開発環境標準的なデータ分析Enterprise のユースケースEnterprise は料金と機能のバランスが取れたプランです。最も利用するシーンが多いと考えられます。Enterprise は以下のようなユースケースが考えられます。本番環境BigQuery ML を利用するVPC Service Controls を利用するスロットを 1,600 以上使用するワークロードEnterprise Plus のユースケースEnterprise Plus は最も高機能なプランです。セキュリティ・可用性・コンプライアンスなどに関する機能が豊富であることが特徴です。Enterprise Plus は以下のようなユースケースが考えられます。本番環境複数リージョン間のレプリケーションを行う(今後追加予定の機能)顧客管理の暗号鍵(CMEK)を利用するAssured Workload を利用する新料金体系で考慮すべきポイント今回の料金体系の変更によってどのような点を考慮すれば良いかについて解説します。ポイント1. 利用料の見積もり料金体系の変更に伴い、BigQuery の料金の見積もり方法も以下のように変化します。ストレージ料金の見積もりCompressed Storage への移行により、ストレージ料金は大幅な削減が期待できます。移行によってどれだけ料金を下げられるかは、BigQuery の UI 画面で確認する、または、INFORMATION_SCHEMA ビューで確認する(公式ドキュメント)ことができます。ストレージ料金 = 圧縮後のデータ量 × 単価 + タイムトラベル用データの料金 + フェイルセーフ用データの料金分析料金(BigQuery Editions)の見積もりBigQuery Editions の分析料金の正確な見積もりは、実際に本番相当のクエリを実行し、INFORMATION_SCHEMA ビューから「使用されたスロット数」を確認する形で行います。BigQuery Editions の料金 = クエリで使用されるスロット数 × プランごとに設定された単価従来の定額料金と比べて BigQuery Editions はスロットの単価が高くなっているため、BigQuery Editions に移行すると、分析料金は高くなると考えられます。一方で、ストレージ料金は Compressed Storage によって大幅に圧縮されます。そのため、全体的な料金は安くなることが期待できます。また、BigQuery Editions への移行後、ベースラインや上限値の設定、プランの選択などをワークロードに合わせて最適化することで、さらに料金を抑えられる可能性があります。【料金の変化の例】 分析料金(オンデマンド分析)の見積もりオンデマンド分析は従来通り、クエリによって処理されたデータ量に応じた課金であるため、従来と同じような方法で料金を試算できます。オンデマンド分析の料金 = クエリが処理するデータ量 × 単価なお、新料金体系への移行後、オンデマンド分析は値上げが行われます。しかし、ストレージの Compressed Storage への移行でストレージ料金が安価になるため、場合によっては全体的な料金は安くなる可能性があります。ポイント2. BigQuery Editions のプランごとの機能BigQuery Editions のプランによって、使用できる BigQuery の機能は異なります。例えば、BigQuery ML や VPC Service Controls は Standard では使用できず、Enterprise・Enterprise Plus で使用できます。また、顧客管理の暗号鍵(CMEK)は Enterprise Plus のみで使用できます。このように、従来は使用方法に関わらずすべてのユーザーが使用できていた BigQuery の機能が、プラン限定で提供される形になります。そのため、プランの選択は慎重に行う必要があります。なお、既に CMEK を利用している場合、CMEK を利用できない Enterprise に移行したとしても、許可リストに登録され、引き続き永続的に CMEK を利用できます。その他 Q&AQ1. BigQuery Editions のプランを選択した後、ダウングレードできますか?A.今後、Google から詳細について発表される予定です。Q2. 料金体系はプロジェクトごとの適用ですか?A.はい、プロジェクトごとにプランを選択します。Q3. 料金体系の異なるプロジェクトの BigQuery からクエリを実行することは可能ですか? (例えば、オンデマンド分析のプロジェクトから BigQuery Editions Enterprise のプロジェクトのデータセットに対してクエリを実行する)A.今後、Google から詳細について発表される予定です。Q4. Compressed Storage への移行は自動的に行われますか?A.今後、Google から詳細についてが発表される予定です。Q5. Compressed Storage への移行でパフォーマンスに影響はありますか?A.データの圧縮は以前から行われているため、パフォーマンスに影響はありません。料金の算定が圧縮後のデータ量を基準に行われるようになる、というのが今回のアップデートによる変更点です。まとめここまで、BigQuery の新料金体系について解説しました。最後に新料金体系についてまとめます。まず、ストレージ料金は Compressed Storage に移行され、圧縮後のデータ量に応じた課金が行われます。そのため、ストレージ料金は大幅に安くなると考えられます。また、分析料金において、定額料金は BigQuery Editions へ移行、オンデマンド分析は 25% の値上げとなります。BigQuery Editions はスロット単位の課金であり、自動スケーリングによってワークロードに合わせた料金の最適化が可能です。BigQuery Editions には 3 つのプランが用意され、ワークロードに合わせてプランを選択します。BigQuery の新料金は、2023 年 7 月 5 日から適用開始となります。今後も Google から新料金体系に関する発表が随時行われると思いますので、適宜ご確認ください。また、今回発表された BigQuery の新料金体系についてご不明点などがございましたら、ぜひクラウドエースへご相談ください! クラウドエースへのお問い合わせはこちら