データウェアハウスでは手に負えない。氾濫するデータの処方箋は”インテリジェントなデータデータカタログ”

旧世代のデータ管理・統合ソリューション(特にデータウェアハウス)では、変化の激しい今日のデジタルビジネスに対応できません。お気に入りのデータソースを3か月かけてデータウェアハウスに取り込んだとしても、3か月後にはそのデータが役に立たなくり、時間と労力が無駄になってしまいます。

製品やサービスの改善や顧客との関係構築、競合他社に打ち勝ち、破壊的イノベーションをもたらすことを求められる今、新しい考え方と新しいテクノロジーに基づく効果的なデジタルトランスフォーメーション戦略が必要です。そして、この戦略を成功させるための鍵となるのが、多様な情報を特定して統合して分析できる能力、つまり組織全体のデータのインベントリを作成し、データの価値を評価し、データを必要な時に必要な場所で利用できる仕組み「データカタログ」が必要なのです。しかし現実は、以下のような課題に苛まれています:

 

  • 業務担当者がデータの場所や内容を理解しておらず、誰に聞けばよいのかも把握していないため、データの統合や活用ができない。
  • 業務担当者とIT担当者の考え方が異なっており、意思の疎通が図れない。
  • 異なるソースから取得した複数の矛盾するデータポイントに対して業務担当者が異議を唱えている。
  • 「データの民主化」(データを必要とするすべての人がデータにアクセスして利用できる状態)がない。

 

実際、Boston Consulting Group社のパートナー兼マネージングディレクターのShervin Khodabandeh氏は、企業の現状を次のように解説しています。

「ほとんどの企業は、数テラバイトのデータを収集して保存し続けているにもかかわらず、使用するデータはそのうちの数パーセント、私の経験から言うと5%未満です。例えば、多くの公益事業会社がスマートメーターを設置し、収集したデータから得たインテリジェンスを活用してビジネスを変革しようとしています。しかし、この情報を有意義に活用できている企業はほとんどありません。同様に、多くの小売企業が顧客のオンラインでのインタラクションや行動に関するデータを収集していますが、そのデータに基づいてカスタマーエクスペリエンスのパーソナライゼーションを向上させている企業はわずかです。」

同氏はさらにこう続けます。

「データや変動要因が多すぎて、用途や最適な活用方法が分からないのです。企業の多くは直感的に理解できて使用経験のあるわずかなデータだけに集中し、残りをメタデータとして扱っています。しかし、実際にはメタデータなど存在しません。すべてがデータです。かつてはメタデータだったものも、現在ではデータなのです。」

 

データの急増により、大容量のデータストアやデータ構造、データソースを手作業で効果的に管理することは難しさを増しています。また、データの利用者も増え続けているため、データウェアハウスやデータレイクでさえも不十分です。どうすれば業者担当者や意思決定者がデータ資産を信頼して情報に基づく意思決定を実行できるのでしょうか。どうすればデータを活用したビジネスコンテキストや技術コンテキストを提供できるのでしょうか。分からないことがあった場合は誰に聞けばよいのでしょうか。どうすればデータの民主化を実現できるのでしょうか。

 

インテリジェントデータカタログが必要な理由

今日、多くの企業がデータカタログを導入し、デジタルトランスフォーメーションの基盤として活用しています。

データカタログとは、進化したメタデータツールとリポジトリ管理で従来のデータカタログ、メタデータリポジトリ、データレイクの欠点を補うとともに、AI(人工知能)を使ったデータ資産の整理と探索が可能なデータ主導型デジタル企業の基盤です。

 

オンプレミス、クラウド、社内、インターネット、パートナー企業などあらゆるソースからメタデータを抽出し、技術メタデータ、ビジネスコンテキスト、ユーザーによる注釈、関係性、データ品質、利用状況などのメタデータを改良して社内外で共有することで、卓越した一貫性、生産性、信頼性、ガバナンスを実現できます。

以下は、データカタログの主な使用事例です:

 

1.データのディスカバリと把握

ある調査によると、78%もの企業が自社の保有する非構造化データ資産を適切に把握できていません。AIを搭載したインテリジェントデータカタログがあれば、社内外のソースにある信頼できるデータをユーザーやアプリケーションが迅速に検索および探索できるようになり、すべてのデータストア、プラットフォーム、サービスを網羅する統合ビューの構築が可能になります。ドメインやエンティティの自動推測に基づいてデータを収集および使用し、検索に関する提案も得られます。さらに、インテリジェントデータカタログがあれば、すべての関連データ(データドメイン、ユーザー、関連するデータセットなど)の360度ビュー、エンドツーエンドのデータリネージの詳細表示、データの自動スキャンや自動タグ付けも使用できます。利用状況やデータ構造推測に基づいてメタデータをクラウドソーシングしてデータの重複を回避することも可能になります。

 

2.データガバナンス

インテリジェントデータカタログがあればば、コンプライアンスやデータ検証のプロセス、ルール、ポリシーを自動化できるため、データ資産の規模や範囲に関わらず、よりシームレスなデータガバナンスを実現できます。インテリジェントデータカタログは、データがメタデータやカタログプラットフォームのその他の機能によって処理される際に、データリネージが自動的に記録します。このデータリネージは、エンティティや属性のレベルまで詳細に及び、グロッサリ内のビジネス用語へのリンクも含まれます。このように詳細なデータリネージにより、データの出所や影響分析に関する深いインサイトを迅速に得ることができるようになります。

 

3.コラボレーション

インテリジェントデータカタログを導入してガバナンス機能を自動化することで、データプロセスが社内の全チームに対して開かれ、ユーザーの権限レベルに応じてファイルのア

クセス権が自動的に付与されるため、コラボレーションが促進されます。例えば、データセットへのタグ付け、コメント、「いいね」、提案などを他のプロジェクトのチームメンバーに対して実行できます。また、利用状況データやメタデータから使用頻度や関連性の高いデータを判読不能にすることで、各種機密データ(個人の特定が可能な情報など)の漏えいリスクを回避しながら、許可されたユーザーでデータを共有できます。また、データカタログを使用すると、コミュニケーションを促進できるだけでなく、作業の重複も回避できます。

 

4.リアルタイムエンタープライズ

インテリジェントデータカタログがあれば、関連する可能性のあるすべてのデータソースを調べるのに必要な生データをほぼリアルタイムで手に入れ、数日かかっていた作業を数分で完了することができます。さらに、従来のデータ環境やデータウェアハウスでは、データを効果的に統合するのに多くのスタッフと時間が必要でしたが、データをカタログ化することによってデータの可用性を迅速に確保できます。

 

5.セルフサービスアナリティクス

インテリジェントデータカタログがあれば、これまでは自社が保有するデータ資産の内容や保存場所を把握していなかった業務担当者(経営幹部を含む)が、自分が必要とするデータを簡単に特定および検索できるようになります。例えば、ユーザーには、”アプリケーションデータ用のデータセット”、”Webパフォーマンスデータ用のデータセット”、”顧客インタラクションデータ用のデータセット” などを提供できるようになり、ユーザーは各データセットのソースを知る必要がありません。それでいて、詳細を掘り下げ、レポートやダッシュボードを利用できるようになります。

6.クラウドへの移行

クラウドベースの各ソースに対してクエリを実行するには、社内のデータと同様に、クラウドベースのデータもシームレスに探索および管理できなければなりません。インテリジェントデータカタログがあれば、顧客、市場、業務、その他の重要な環境に関する360度ビューを構築して、社外の全データソースを対象に探索を実行できます。

 

7.組織的移行の管理

成長、合併、買収などを通じて企業組織が進化する中で、新しい部門のデータ資産を把握できず、部門間でデータが重複している場合があります。データカタログがあれば、ソースを問わず、データ資産を把握できます。

 

まとめ

成長著しいデジタル経済で競争優位性を維持するには、信頼できるデータへのアクセスが必要です。そして、データの可用性を確保して今後の機会や課題へ対応するには、インテリジェントデータカタログが欠かせません。インフォマティカのインテリジェントデータカタログは、貴社のデータを最大限に活用するための3つのポイントを提案します。

 

詳しくはこちらを参考にしてください。


※本ページの内容の一部はインテリジェントデータカタログ:デジタルトランスフォーメーションの最前線の要約です。