Snowflake の顧客は Gen AI アプリケーションから早期に利益を得る
Gen AI を導入した企業にとって、有意義なビジネス成果を達成するスピードと同様に、自動化によるコスト削減は現実的です。
企業における人工知能 (AI)、特に生成型 AI (Gen AI) に関する議論の多くは、開発中のプロジェクトの数や自動化による予測コスト削減などの統計に焦点を当てています。まだ非常に仮説的です。
統計や理論の一部を理解するには、先週データ ウェアハウス ベンダーである Snowflake がニューヨークで主催したディナーの際に私が行ったように、Gen AI ユーザーの意見を聞くことが有益です。
同社は著名な顧客を招待し、AI アプリケーションを実稼働環境に導入した経験について語ってもらいました。
全体的な印象としては、文書検索などの AI には有意義なユースケースがあり、実装から 6 か月以内にメリットを享受し始めることができるということでした。
この会話は逸話であり、Snowflake は、クラウド データ ウェアハウス サービスを促進するために、顧客からの最良のシナリオを促進することに関心を持っています。
それにもかかわらず、その警告を念頭に置いた上で、両顧客の思慮深いコメントは、企業がわずか数日、数週間、または数か月の運用後に非常に単純なユースケースであっても AI に思い切って取り組むことで価値を生み出すことを示唆しています。
クラウドベースの証券取引プラットフォームを販売する TS Imagine の最高執行責任者兼分析責任者である Thomas Bodenski 氏は、重要かつ実用的な内容について従業員に電子メールを読ませるために、同社では従来、いかに 4,000 人の「人時間」の労働力が必要だったかを説明しました。イベント。
「データを購入している相手から、3 か月以内に変更を加えるという内容のメールが毎年 10 万回届きます」とボデンスキー氏は説明しました。同氏は、「もし私がこれに備えることができなければ、500社の顧客がダウンすることになる」と述べ、つまり取引ができなくなると述べた。 「したがって、受信した電子メールをすべて読むことが非常に重要です。」
ボデンスキー氏はさらにこう続けた。「そのメールが届いたら、私はそれを分類し、理解する必要があり、さまざまな部門にまたがる適切な人にメールを委任して、対応してもらう必要があります。その作業には年間 4,000 時間のコストがかかります」 。」
TS Imagine の最高執行責任者である Thomas Bodenski 氏は、「計算してみてください。」と述べています。
その任務は伝統的に、彼が監督する「世界中のチーム」の役割だった。同氏は、「フルタイム相当」の人材が少なくとも2人半いると述べ、「彼らは、たとえば、賢い人でなければならない」と述べた。
ボデンスキー氏は、生成型 AI アプリケーションを使用して、「現在、その作業を行う人たちのコストの 3% で作業を行っています」と述べました。
「ちょっと計算してみてください」とボデンスキー氏は言った。 「平均給与を計算して、Snowflake に費やした金額を計算すると、そのコストのわずか 3% にすぎません。」
ボデンスキー氏によると、この電子メール読み取りプログラムは、TS Imagine が Snowflake の協力を得て構築した最初のアプリでした。これは、Meta Platforms のオープンソース Llama 大規模言語モデルと、Snowflake のオープンソースの代替言語である Arctic を使用して構築されました。これらの大規模な言語モデルでは、モデルが外部データベースを利用する検索拡張生成 (RAG) が採用されています。
S&Pグローバル・マーケット・インテリジェンスのダニエル・サンドバーグ氏は「もう戻ることはできないと思う」と語った。
ボデンスキー氏は、このアプリの開発には「試行錯誤の学習に 6 か月かかった」と語った。このプロセスは、TS Imagine が Snowflake と関係を持つ前から始まりました。
その後、Snowflake は、Snowflake が運営するマネージド LLM 推論サービスである Cortex AI を導入しました。「私たちは 4 日間で RAG パイプライン全体を移行し、今では別のストーリーを概念化できるようになりました。」
Cortex AI サービスにより、Bodenski 氏は受信した顧客メールを機密性、緊急性、その他のパラメーターに基づいて分類できるようになりました。これは以前は不可能でした。「私は、毎月受信する 5,000 通の顧客メールをすべて読むわけではないので、 」と彼は言いました。
ボデンスキー氏は、分類により、その結果は「山火事が火災になる前に検知した」、つまり顧客の事故を意味すると述べた。 「信頼できます。問題はありません。メールを 1 通も見逃すことはありません。」
TS Imagine は現在、Gen AI を使用して 6 つのアプリを稼働させています。「そして私はさらに多くのことを行うつもりです。AI は私たちの脳を構築し続けるでしょう。それは機能します。」とボデンスキー氏は述べました。
スノーフレークの顧客であるS&Pグローバル・マーケット・インテリジェンスも同様の経験をしたと、同社の「量的調査」責任者でディナーのゲストでもあったダニエル・サンドバーグ氏によると、
Sandberg 氏の会社は、Microsoft Office アプリに加えて Spark Assist と呼ばれる社内アプリケーションを実装しました。現在、同社は電子メールの概要を自動生成できるようになりました。
「Gen AI は、すぐに対応する必要があるものと優先順位を下げる必要があるもののうち、どれが最も関連性が高いかを認識できるほど賢いので、私はただ [AI モデルに] と言うだけです。『さあ、これらへの応答を書いてください』 」と言って、それを抜き取りチェックします。
サンドバーグ氏によると、このアプリはS&Pグローバルの従業員1万4000人が利用しているという。 「もう戻ることはできないと思います」と彼は、電子メールを手作業で分類したりふるいにかけたりする昔ながらの方法について言及した。
しかし、そのようなアプリの投資収益率は、アプリの構築コストと推論コストに見合ったものでしょうか?サンドバーグ氏は「風に指を向けて、そうだ」と述べたが、「これらのことの多くはまだ検討中だと思う」と付け加えた。
サンドバーグ氏はさらに、「問題は、全体として、その見返りがどのようなものになるかということだ。それは未定だ。しかし、個別のケースでは確かに、以前はコンパイルに数日以上かかっていたものが、[Gen AI を使用して] 1 日以内に完了できるようになった」と述べた。 。」
彼は Gen AI を、ダイヤルアップ速度が平均的なユーザーへの利益を妨げていたインターネットの初期の頃と比較しました。
「ここに座っていて、ダイヤルアップ モデム経由でインターネットにログオンするのに 15 分待たなければならないとしたら、本当にそれだけの価値がありますか?」サンドバーグ氏はこう述べた。
「しかし、それは私たちが今いる場所ではありません」と彼は言いました。 「5年後にはそうなるだろう。この問題の多くは解決されるだろう。」
SnowflakeのAI責任者であるBaris Gultekin氏も夕食会に出席し、Gen AIはすでに一部のタスクを自動化するための優れた経済性を提供できると述べた。
「Cortex Analyst は、質問をしてデータから即座に答えを得ることができる製品です」と彼は説明しました。
「1,000 個の質問の現在の価格は 200 ドルなので、1 個あたり 20 セントです。これは、そうでなければ [人間の] アナリストが回答する必要がある質問です。分析者は、すべての質問に対して SQL [データベース] クエリを作成することになります。たとえば、1,000 件の SQL クエリに 10 分かかるとします。1 つの質問に 10 分かかる場合と、1,000 件の質問にかかる場合の ROI がわかります。 200ドル。」
Snowflake の AI 責任者である Baris Gultekin 氏は、Snowflake の Cortex 製品はすでにコスト削減を実現していると述べました。
もちろん、ここで 20 セント、あそこで 20 セントを合計すると、合計する可能性があると、夕食会のゲストであるスノーフレークのワールドワイド セールス エンジニアリング担当バイスプレジデント、クリス チャイルド氏は述べました。重要なことは、企業が推論の開始時にコストがどのように増加するかを予測できることだと同氏は述べた。
「ほとんどの場合、人々は予算を確保しています」とチャイルド氏は言う。 「彼らは壮大なことを考えているが、それよりも重要なのは、『一連の数カ月間にどれくらいの費用がかかるかをどうやって理解するか、そしてそれを超える傾向にあるときはどうやって知るか』ということだ」
彼の提案は次のとおりです。「試して、一度実行して、確認してから、大規模に実行するために何が必要になるかを見積もってください。」
Child 氏は続けて、「仮説をテストするコストは高い」のに対し、「最初のテスト ケースを実行するのに 1,000 ドルを費やすとしても、それでも高価ではありますが、同じ仮説をテストするために人を使うよりも劇的に安くなります」と述べました。
Chris Child: 「試して、一度実行して、確認してから、大規模に実行するために何が必要になるかを見積もってください。」
S&P グローバルが顧客向けに Snowflake を使用したアプリを作成したとき、このツールは、米国の投資対象企業の指数であるラッセル 3000 に含まれる企業が発行した 12,000 件の過去の四半期財務報告書を 10 年間、合計 120,000 件の文書にわたって分類することを目的としていました。
「プラットフォームに乗り出して最初にやったのは、実行を開始する前にコストの計算に役立つスクリプトを書くことでした。そしてそれを実行することができました」とサンドバーグ氏は語ります。
同氏は、従来のソフトウェア使用ライセンスではなく、実際に使用された合計時間に対して顧客に請求するスノーフレークの慣行について言及し、「従量制モデルが気に入っている」と述べ、「価格設定には透明性があり、私の意見では公平性があるため」と語った。全体的にね。」
TS Imagine の Bodenski 氏は、Cortex での推論実行の価格設定の柔軟性が彼のニーズに合っていたと述べました。
「プロンプトごとに 3 分間待っても問題ないプロセスを実行できますが、3 分待つのは問題なく、5 秒以内に完了したいプロセスも実行できます。」と彼は説明しました。
「そして、何かを極小から中程度に増やすだけで、その場で決定を下します」とコンピューティングの規模について言及しました。
ボデンスキー氏は、TS Imagine が電子メールを検索するために使用したアプリはすぐにその価値を示したと述べた。 「実際、設計から 4 日後に効果が現れました。なぜなら、私たちが注力する必要がある項目が明らかになり、顧客サービスの品質が向上したからです。」と彼は言いました。
アプリの制作は現在 4 か月間行われています。 「それは我々にとって非常に重要だ」と彼は言った。 「自分が関与すべき項目や地域マネージャー、グローバル責任者を見つけることで、私は高められます」とボデンスキー氏は語った。
「自動で実行され、結果が生成され、電子メールで応答を受け取るまでに数週間かかる可能性のあるアイテムを捕捉しています。」そして、そのプロセスを実行するために人を 1 人も雇ったり、1 人を再配置したりする必要はありませんでした。 」