DatabricksによるAIスタートアップMosaicMLの13億ドル買収はデータベースの将来を賭けた戦いである
MosaicML は、人工知能を介してデータベースとは何かを再発明することに取り組んできました。
Naveen Rao 氏、[左] MosaicML 共同創設者兼 CEO、Hanlin Tang 氏、共同創設者兼 CTO。同社のトレーニング テクノロジーは、大規模な言語モデルをより効率的に使用して企業データを処理する「エキスパートの構築」に適用されています。
月曜日、サンフランシスコに拠点を置く創業10年のソフトウェアメーカーであるDatabricksは、AIを研究室の枠を超えて活用することに注力しているサンフランシスコに拠点を置く創業3年の新興企業であるMosaicMLを13億ドルで買収すると発表した。
この契約は、白熱している生成人工知能市場における資産への熱意の表れであるだけでなく、現代のクラウド データベース市場の性質の変化の表れでもあります。
半導体のベテランを擁する MosaicML は、OpenAI の GPT などの AI プログラムの標準バージョンを簡単かつ手頃な価格で利用できるようにする Composer と呼ばれるプログラムを構築し、そのプログラムの開発を劇的にスピードアップします。これは、開発者のトレーニングとして知られる開始段階です。ニューラルネットワーク。
同社は今年、企業がニューラルネットワークのトレーニングと推論（ユーザーのクエリに応じた予測のレンダリング）の両方を有料で実行できるクラウドベースの商用サービスを導入した。
ただし、MosaicML のアプローチのより奥深い要素は、従来のリレーショナル データベースなど、データを扱う領域全体が完全に再発明される可能性があることを意味します。
MosaicMLの共同創設者兼最高経営責任者（CEO）であるNaveen Rao氏は、「ニューラルネットワークモデルは、実際には、ある種のデータベースとして考えることができます。特に生成モデルについて話している場合はそうです」と、MosaicMLの共同創設者兼最高経営責任者（CEO）のNaveen Rao氏は、契約前のインタビューでZDNETに語った。
「非常に高いレベルでデータベースとは何かというと、通常は非常に構造化されたエンドポイントのセットであり、通常はある種のデータの行と列であり、そのデータに基づいて整理するためのスキーマがあります。それです」とラオ氏は説明した。
Oracle などの従来のリレーショナル データベースや MongdoDB などのドキュメント データベースとは異なり、大規模な言語モデルを使用してスキーマが事前に決められているため、「スキーマは [データ] から発見され、潜在的な表現が生成されます」とラオ氏は述べました。データに基づいて柔軟に対応します。」また、従来のデータベースで主流を占めていた SQL などのデータベースへの固定検索とは異なり、クエリも柔軟です。
「基本的には、データベースを取得し、その入力、スキーマ、出力の制約を緩和しましたが、それはデータベースです。」とラオ氏は付け加えました。さらに、このようなデータベースは、大規模な言語モデルの形式で、従来の構造化データ ストアでは処理できなかった大きなデータの塊を処理できます。
「ある著者の大量の本を読み込むことができ、それらの本のアイデアや関係性を調べることができます。これはテキストだけではできないことです」とラオ氏は言います。
LLM で賢いプロンプトを使用することにより、プロンプト コンテキストによりデータベースにクエリを実行するための柔軟な方法が提供されます。 「正しい方法でプロンプトを表示すると、プロンプトによって作成されたコンテキストによって何かが生成されます」と Rao 氏は説明しました。 「そして、そこから元のデータの側面をクエリすることができます。これは多くのことに適用できる非常に大きな概念であり、実際にこれらのテクノロジーが非常に重要である理由はそこにあると思います。」
MosaicML の取り組みは、ChatGPT のようないわゆる生成 AI プログラムを実際のビジネス目的により適切なものにするための広範な運動の一部です。
たとえば、サンフランシスコに本拠を置く設立 3 年の AI スタートアップ企業である Snorkel は、企業がいわゆる基礎モデル（OpenAI の GPT など、存在する最大のニューラル ネットワーク）用のラベル付きトレーニング データを自動的に作成する関数を作成できるツールを提供しています。 -4.
そして、別の新興企業である OctoML は先週、推論を提供する作業をスムーズにするサービスを発表した。
Databricks による買収により、MosaicML は、数年にわたって行と列を超えてデータ ストアのパラダイムをシフトさせてきた活気に満ちた非リレーショナル データベース市場に参入します。
これには、Hadoop のデータ レイク、データ レイク上で操作するためのテクニック、Databricks が主要な提案者である Apache Spark のマップおよびリデュース パラダイムが含まれます。この市場には、Confluent が推進する Apache Kafka ソフトウェアなど、「データ イン モーション」として知られる、ある意味、データの保存がデータ自体の流れの中に存在するストリーミング データ テクノロジーも含まれています。
取引前に6,400万ドルを調達したMosaicMLは、ChatGPT形式のジェネラリストというよりは、ドメイン固有のビジネスユースケース、ラオ氏の言うところの「構築専門家」に重点を置いた言語モデルを持つ企業にアピールした。
生成 AI を含む人工知能の一般的な傾向は、ビデオ ゲームのプレイからチャットへの参加、詩の作成、写真のキャプション付け、コードの作成に至るまで、あらゆる種類のドメインのタスクを処理できる、ますます汎用的なプログラムを構築することでした。 、さらにはブロックを積み重ねるロボットアームを制御することもできます。
ChatGPT に対する熱狂は、このような広範なプログラムが、任意の数のリクエストを処理するために使用できる場合に、いかに魅力的であるかを示しています。
それでも、個人や組織による実際の AI の使用は、はるかに効率的な可能性があるため、はるかに焦点を絞ったアプローチによって支配される可能性があります。
「特定のドメイン向けに、大規模なモデルよりもはるかに優れたパフォーマンスを発揮する小規模なモデルを構築できます」とラオ氏は ZDNET に語った。
MosaicML は、ニューラル ネットワークのトレーニング速度を示す MLPerf ベンチマーク テストでその優れた性能を実証し、パフォーマンスの実績で名を馳せました。 AI を高速化する秘訣の 1 つは、より焦点を絞って構築された小規模なニューラル ネットワークの方が効率的になる可能性があるという観察です。
このアイデアは、MIT の科学者ジョナサン フランクルとマイケル カービンによる 2019 年の論文で幅広く検討されており、その年の学習表現国際会議で最優秀論文賞を受賞しました。この論文では、「宝くじ仮説」、つまりすべての大きなニューラル ネットワークには、ネットワーク全体と同じくらい正確でありながら、より少ない計算量で実現できる「サブネットワーク」が含まれているという概念が紹介されています。
Frankle と Carbin は MosaicML のアドバイザーを務めています。
MosaicML は、トレーニング データの量とニューラル ネットワークのサイズの間に最適なバランスがあることを示す、Google の DeepMind 部門によって研究された手法も明確に利用しています。トレーニング データの量を最大 2 倍に増やすことにより、小規模なネットワークを、同じ種類の大規模なネットワークよりもはるかに正確にすることができます。
これらすべての効率は、ラオ氏がネットワークの高速化に関する一種のムーアの法則と呼ぶものの中にカプセル化されています。ムーアの法則は、同じ価格であれば、チップ内のトランジスタの数が 18 か月ごとに 2 倍になるという半導体の経験則です。これは、PC 革命、その後のスマートフォン革命を可能にした経済の奇跡です。
Rao のバージョンでは、MosaicML Composer ツールを使用してスマート コンピューティングのトリックを適用するだけで、ニューラル ネットは世代ごとに 4 倍高速になります。
このようなアプローチから、いくつかの驚くべき洞察が得られます。 1 つは、AI の機械学習形式には大量のデータが必要であるというよく繰り返されるフレーズとは反対に、DeepMind の研究のようにデータとモデルの最適なバランスで適用されれば、より小さなデータセットでもうまく機能する可能性があるということです。言い換えれば、本当にビッグデータが優れたデータであるとは限りません。
インターネット上のあらゆるものについて訓練される GPT-3 などの巨大な一般的なニューラル ネットワークとは異なり、小規模なネットワークは、そのドメインに関する企業の独自の知識のリポジトリになる可能性があります。
「私たちのインフラストラクチャは、人々のデータに基づいてこの種のネットワークを構築するためのバックエンドになっています」とラオ氏は説明しました。 「そして人々が独自のモデルを構築する必要があるのには十分な理由があります。」
「もしあなたがバンク・オブ・アメリカや諜報機関なら、GPT-3は使えない。GPT-3はRedditで訓練されており、個人を特定できる情報さえも含まれる可能性のあるものを大量に訓練しているからである。明示的に使用が許可されていないものです」とラオ氏は語った。
そのため、MosaicML は、大規模な言語モデルのオープンソース モデルを利用可能にし、顧客がデータに対してどのようなプログラムが動作しているかを知ることができるようにする取り組みの一環として取り組んできました。これは、Stability.ai の創設者兼 CEO のエマド・モスタク氏など、生成 AI の他のリーダーたちも共有する見解であり、彼は 5 月に ZDNET に対し、企業を含む世界で最も貴重なデータに対して「ブラックボックス モデルを使用できるわけがない」と語った。データ。
MosaicMLは先週木曜日、MPT-30Bと呼ばれる言語モデルの最新バージョン（300億のパラメータまたはニューラルウェイトを含む）をオープンソースとしてリリースした。同社は、MPT-30B は OpenAI の GPT-3 の品質を上回っていると主張しています。同社が5月初旬にオープンソース言語モデルを導入して以来、言語モデルのダウンロード数は200万件を超えたという。
スキーマの自動検出はデータベースの革新にとって有益である可能性がありますが、大規模な言語モデルには依然として幻覚などの問題があり、プログラムが不正解を本物であると主張しながら生成してしまうという問題があることに留意することが重要です。
「人々は実際には理解していません。ChatGPT について何か尋ねると、それは多くの場合正しくありません。時には、本当に優れたでたらめアーティストのように、とても正しく聞こえることもあります。」と Rao 氏は言いました。
「データベースは、過去 30 年、40 年にわたってデータベース空間で設計されてきた多くの事柄に基づいて、絶対的な正確性と予測可能性を期待しています。それらは、ある種の真実である必要がある、または少なくともほぼ真実である必要があります」新しい方法を考えています」とラオ氏は述べた。
「人々はそれ（大規模な言語モデル）を、これまで抱えていたすべての問題を解決できるかのように見ている」と企業の関心についてラオ氏は語った。 「実際にそこに到達するための基本事項を理解しましょう。」