2024年の5つの最大のLinuxおよびオープンソースの話題：AIの議論からセキュリティの危機まで

データレイクハウステクノロジーとそのオープンストレージフォーマットの基盤のチャンピオンであるDatabricksは、データウェアハウスのパフォーマンスベンチマークで世界記録を樹立したと発表しました。

DatabricksのTPC-DSベンチマーク結果の概要

データソースとボリュームが増加し、データ駆動型の方向性が競争上の必要性と見なされるようになるにつれて、私たちのデータの主要なリポジトリを提供するためのプラットフォームベンダー間の戦争は激化しています。この戦争にはいくつかの戦線があり、その一つが分析です。その範囲内で、データウェアハウスとデータレイクの陣営が主要な戦闘者です。

データウェアハウス側は強力で、テラデータやヴェルティカ（現在はマイクロフォーカスの一部）などの堅実な既存ベンダー、3つの主要クラウドプロバイダー（AWS、Google Cloud、Microsoft Azure）、そして業界の人気者であるスノーフレークを含んでいます。データレイク側では、クラウデラやデータブリックスのような独立系プロバイダーが最も象徴的な競合者かもしれません。

DatabricksのTPC-DSベンチマークのスケールでのパフォーマンスの前回の記録保持者はアリババでした。この中国のインターネットおよび電子商取引の巨人は、独自に構築したかなり強力なデータウェアハウスシステムを使用して、14,861,137 QphDS @ 100TB（100TBのデータを含むクエリに基づく意思決定支援クエリ毎時）の結果を達成しました。

一方、Databricksは、32,941,245 QphDS @ 100TBという結果を達成したと発表しました。これはAlibabaのパフォーマンスの2倍以上です。会社によれば、これはAlibabaの自社開発プラットフォームよりも10%コストが低いシステムで実施されました。ベンチマークはDatabricks自身によって行われましたが、結果はTPCによって監査されました。

Databricksの意見では、史上最高の記録を樹立した。

同社は、顧客が倉庫プラットフォームの代わりにレイクハウスプラットフォームを使用するのを妨げていた障害が現在は解消されたとさらに信じています。これは重要です。なぜなら、レイクハウスアプローチを支持する中で、Databricksは以前、倉庫プラットフォームが特定のワークロードに対してより良いパフォーマンスを発揮することを認めており、このパフォーマンスの欠如が顧客がレイクハウス側に移行するのを妨げていることを理解していたからです。

スノーフレークに立ち向かう

Databricksは、これらのベンチマーク結果がデータウェアハウスの人気者であるSnowflakeに対抗するのに成功したと明らかに感じていました。さて、TPCベンチマーク結果自体を超えて、Databricksはバルセロナスーパーコンピューティングセンター（BSC）が行ったDatabricks SQLとSnowflakeの比較作業を宣伝しています。Databricksによれば、この作業はTPC-DSベンチマークに基づいていますが、TPC監査は受けておらず、Databricks SQLが2.7倍速いことを示しています（下の図はこの件に関するDatabricksのブログ投稿からのものです）。BSCはまた、Databricks SQLクラスターが同様のサイズのSnowflakeセットアップに比べて価格性能で12倍優れていると報告しています。

Databricks SQLとSnowflakeの比較は、TPC-DSから派生したベンチマークを使用しています。

ここには多くの言い回しがありますが、TPCとBSCの結果が示すのは、レイクハウスアーキテクチャがこれらのBIワークロードを処理できるということです。これは重要です。なぜなら、Databricksを含むほとんどのSparkベースのシステムは、以前はデータエンジニアリング、機械学習、分析領域における断続的なクエリに最適だったからです。このようなシステムが継続的な分析ワークロードや、互いに依存する複数のクエリを含むアドホック分析に対応するのは、より困難でした。

もし質問が、これが湖の家が倉庫の完全な代替<&47;em>であることを意味するのかどうかであれば、答えは不明です。

この明確さの欠如の主な理由は、湖や湖の家が以前は適切な代替手段ではなかった理由についての顧客の意見に関係しています。はい、一部の人々にとって、倉庫を選ぶ理由はパフォーマンスであり、このTPCベンチマークのスイートがその懸念に対処し、それを支持する顧客の心を動かすかもしれません。

形式の問題 

他の顧客にとって、基準はパラダイム、すなわちデータモデリングやある意味でのデータガバナンスに関するものであり、パフォーマンスに関するものではありません。湖の理念は、データをオープンフォーマットの名前付きファイルの形で保存し、そのデータがさまざまなデータベースや分析エンジンと互換性があり、使用できるようにすることです。そして、データがディスクやクラウドストレージ上のファイルとして保存されるため、モデル化する必要性（および意欲）は減少します。

これにより、データはより非公式になり、しばしば精査されず、また検証も少なくなります。コントロールはより委任され、データを入力しやすくなります。（データレイクのこれらの特性は、レイクハウスのシナリオにも適用されます。）

データウェアハウスはより形式的で制御されたものであり、通常はより明示的で包括的なデータモデルを強制します。これは機敏性が低く、ユーザーを苛立たせますが、同時により多くのフィルターを持っており、一般的にデータの質とユーザーの信頼度が高いことと相関する可能性があります。

ビッグデータのための大きなベンチマーク

Databricks TPC-DS ベンチマーク構成

500万ドル相当のインフラと膨大なデータ量を持つシステムは、アリババのベンチマークを達成できるかもしれませんが、これはほとんどの顧客が必要とするものや手に入れられるものではありません。それでも、Databricks SQLが巨大なワークロードに対応できることを示しており、一部の顧客にとってはそれ自体が重要です。

Databricksのベンチマーク結果の重要性は、質問の適切な枠組みを通じて最もよく理解されます。Databricksは「どのモデルが優れているか？」という観点で枠組みを作るでしょう。しかし、もしかしたら質問は「特定の顧客、特定のユースケースにおいて、どのモデルがより魅力的か？」かもしれません。その後に「両方のモデルでパフォーマンスは十分か？」という質問が続きます。

最終的に、ほとんどの企業はデータウェアハウスとデータレイク（ハウス）から利益を得ることができるでしょう。ウェアハウスは、報告、運用ダッシュボード、そして「既知の未知」の領域におけるアドホッククエリを推進するために、高度に検証され、慎重に整形され、モデル化されたデータのリポジトリとなることができます。一方、レイクとレイクハウスは、より多くのデータを収容でき、オンボーディングプロセスが短く、「書き込み時のモデル化」が少なく、探索的分析や即興の視覚化に使用されることができます。

勝利、勝者ではなく

TPCの結果は、両方のモデルがうまく機能し、優れた結果を提供し、必要に応じてインターフェースし、同じBIツールで動作することを明確に示しています。また、コスト効果が高く、クラウドファーストで、弾力性があり、アジャイルです。しかし、ウェアハウス/レイクハウスの問題はどちらか一方を選ぶ必要がないにもかかわらず、ベンダーがそのように見ることには利点があります。同じ顧客と同じワークロードに対する競争は、顧客に利益をもたらす継続的な革新をもたらします。

TPCベンチマークが何が最良かの最終的な判断基準となるかは、購入者の基準によります。しかし、DatabricksのTPC-DSの結果は印象的であり、業界にとってのマイルストーンであり、ベンダーが湖、レイクハウス、または倉庫を誇示するかどうかにかかわらず、継続的な改善のアプローチを採用するよう促す要因となります。