確かに、リアルタイム データは現在「民主化」されていますが、それは単なる始まりにすぎません
多くの企業のインフラストラクチャは、リアルタイムのデータ分析に対応する準備ができていません。企業自体も同様です。
リアルタイム データは、拡張現実、デジタル ツイン、5G、IoT、AI、機械学習、ウェアラブル、ビーコン テクノロジーなど、あらゆるところに存在しているようです。今日の企業はあらゆる重要なタスク領域にわたってリアルタイム データをストリーミングしていると考えるのも無理はありません。私たちはそこに到達しつつあります。これは主に、Apache Flink、Kafka、Spark、Storm などの多くのオープンソース ソリューションや、クラウド ベースのプラットフォームのおかげです。しかし、データが光速かそれに近い速度で組織間を移動できるようになるまでには、やるべきことがまだたくさんあります。
まず、IDC の John Rydning 氏のご厚意によるレベル セットです。「多くの場合、ストリーミング データとリアルタイム データという用語は相互に組み合わせて使用され、同じ意味で使用されることもあります。作成されたすべてのストリーミング データがリアルタイムであるわけではありませんが、すべてがリアルタイムであるわけでもありません。データがストリーミングされる時間に基づいて調査したところ、ストリーミングのユースケースの 3 分の 2 以上で超リアルタイムまたはリアルタイムのデータが必要であることが組織によって示されています。」
超リアルタイムのデータも使用されており、企業はこれを実現することに熱心です。 Hazelcast のエンジニアリング ディレクターである Avtar Raikmo 氏は、「リアルタイム データを取得して処理することの価値の理解が、ここ最近で最も速いペースで高まっています」と述べています。 「プラットフォームによって個々のユーザーやエンジニアの複雑さが取り除かれ、業界全体での導入が加速しました。SQL サポートなどのイノベーションにより、プラットフォームの民主化が促進され、選ばれた少数の人ではなく大多数の人が簡単にアクセスできるようになります。」
Raikmo氏によると、「オーディオやビデオストリーミングのためのエッジでのコンピューティング、AIや機械学習処理のためのコンピュータビジョン、さらにはアクティブノイズキャンセリングヘッドフォン」など、幅広いユースケースがあるという。もう 1 つの新たなユースケースは、特にモビリティ向けのデジタル ツインです。 「自動車、トラック、ロケットからリアルタイムのデータとテレメトリーを取得できるため、組織は展開に応じてシナリオをモデル化できます。デジタルツインを使用すると、現実世界でのルート、使用されるエネルギー、または運転支援の改善を最適化できます。スポーツ、F1 のストラテジストは、レースパフォーマンスを最大化するために最適なピットストップとタイヤコンパウンドを決定します。」
それでも、完全なリアルタイム、つまり超リアルタイムのデータ実現の妨げとなっている技術的および組織的な問題が数多くあります。 Actian のエンジニアリングおよび製品担当上級副社長、Emma McGrattan 氏は次のように述べています。「リアルタイム データの導入では、通常、瞬時の意思決定に必要な大量の分析と高速分析に対応する、より高性能なテクノロジが使用されます。」 「金融サービスなどの一部の業種が生成する傾向にある非常に大規模なボリュームの場合、リアルタイムに移行するには、ハードウェア、ソフトウェア、ネットワーク コンポーネント用の追加リソースへの投資が必要になります。」
「データインフラストラクチャとサービスの可用性と信頼性を高める」ために投資が必要だとマクグラッタン氏は言う。 「ボリュームが少ない場合は、アプリケーションを変更してリアルタイムの分析と展開を行うことで、既存のインフラストラクチャを使用できる可能性があります。」
ManageEngine と Zoho の製品管理責任者である Rakesh Jayaprakash 氏は、リアルタイム データをキャプチャ、視覚化、保存するプロセスには、「大量で複雑なデータ ストリームを処理できるインフラストラクチャ コンポーネントへの多額の投資」が必要であると述べています。 「これは、リアルタイム データ ストリームにある程度の前処理が必要な場合に特に当てはまります。残念ながら、多くの組織、特に中小企業には、そのような集中的な処理を処理するために必要なインフラストラクチャが不足しています。」
多くの企業のインフラストラクチャは準備が整っていませんが、組織自体も同様です。 「リアルタイムの価値をまだ理解していない企業もあれば、組織全体でのストリーミング用に設計されたソリューションにすべてを取り組んでいる企業もあります」と Raikmo 氏は言います。 「動作中のデータセットをウォーターマークやウィンドウ処理などの高度な技術と組み合わせるのは簡単なことではない。エンタープライズ規模と復元力で、複数のストリームを相関させ、メモリ内のデータを組み合わせ、マージされたステートフルな結果セットを生成する必要がある。」
幸いなことに、すべてのデータをリアルタイムでストリーミングまたは配信する必要はないということです。 「組織は、たとえ必要でない場合でも、視覚化するすべてのデータ ポイントをリアルタイムにするためにリソースに投資するという罠に陥ることがよくあります」と Jayaprakash 氏は指摘します。 「しかし、このアプローチは法外なコストにつながり、持続不可能になる可能性があります。」
「リアルタイム データの視覚化は、数分前のデータを分析するよりも魅力的ですが、リアルタイム データ ストリームと視覚化の構築に関連する費用対効果と ROI を慎重に評価する必要があります」と Jayaprakash 氏は言います。 「さらに、組織はリアルタイムでストリーミングしたい指標を選択する際に、十分な注意を払う必要があります。」
IDC の Amy Machado 氏は、リアルタイムで何を配信する必要があるかを慎重に検討することを主張し、「私はいつも『ユースケースを先導しましょう』と言っています」とブログ投稿で書いています。 「リアルタイム アーキテクチャについてどのように考えるかを指示する必要があります。理想的には、データ サイロの作成を回避するために既存のフレームワークを拡張することです。」
Machado 氏は、リアルタイム データ配信に関して尋ねるべき重要な質問について概説します。
- 「私たちが達成したいと考えているビジネス上のメリットは何ですか?」
- 「それらの目標を達成するにはどのような洞察が必要ですか?」
- 「こうした洞察を必要としているのは誰ですか? どこで必要ですか?」
- 「コンテキストを確認したり、洞察を活用したりするために、他にどのシステムと統合する必要があるでしょうか?」
リアルタイム データへの投資を最適化するには、「リアルタイム レポートが本当に必要な指標を慎重に選択する」と Jayaprakash 氏はアドバイスします。 「リアルタイム データ ストリームの運用と維持に必要なインフラストラクチャの複雑な性質により、潜在的な障害点が発生し、トラブルシューティングとメンテナンスのための専任スタッフが必要になります。ストリーム障害によるデータ継続性の問題を軽減するには、フェールセーフ メカニズムを実装する必要があります。」となり、全体的なコストが増加します。」