クラウドデータの真価を引き出す3つのベストプラクティス


データ処理には「Garbage in, Garbage out」という格言があります。つまり、無意味なデータを入力すると、無意味なデータが返ってくるということです。どれほど高度な最新のクラウドソリューションがあっても、データが手に負えないほど急増して断片化して、検索困難で、信頼性に乏しければ、その価値を最大限に活用することはできません。実際、Experian社が実施した最近の調査によると、データ品質の低さがビジネスパフォーマンスの妨げになっていると回答した企業は95% にも上ります。


クラウドデータウェアハウスにも当てはまる問題

俊敏性を高め、コストを削減し、あらゆるデータからより深いインサイトを獲得するために、多くの企業がクラウドを活用したデータ管理に目を向けています。例えば、メンテナンスがほぼ不要の「as a Service(サービス)」として利用できるSnowflakeは、インデックスの管理やハードウェアのセキュリティ保護、ソフトウェアのインストールなどの作業が一切不要で、データベース管理者の負担を解消してくれるだけでなく、初めからクラウド向けに設計されたデータプラットフォームであり、無制限の拡張性を備え、無制限の並列処理が可能です。IoTやWebログ、サードパーティデータを含むあらゆる外部データソースからデータを取り込んで、データパイプラインやデータウェアハウス、データレイク、データアプリケーション、データ交換を構築することが可能な最新のクラウドデータプラットフォームです。


しかし、Snowflakeのような最新のデータプラットフォームを導入しただけでは、「Garbage in, Garbage out」の問題が解決できるわけではありません。幅広いデータソースから取り込んだデータの透明性を高めて、データ品質を最適化しなければ、無意味なデータが返ってくることになります。また、メタデータを管理し、データをカタログ化することで、ユーザーが関連性の高いデータをすばやく見つけられるようにする必要があります。そして、データガバナンスによって、データのアクセス性、品質、一貫性、信頼性を確保することが必要です。


インフォマティカとSnowflakeの相乗効果

インフォマティカのInformatica Intelligent Cloud Services(IICS)は、次の3つのクラウドデータ管理のベストプラクティス機能を提供することで、クラウドネイティブなSnowflakeのデータプラットフォームの次世代機能を最大限に活用して、企業の俊敏性を高め、データ主導のインサイトを手に入れられるように支援します。


ベストプラクティス1:AI搭載のデータ管理

  • AI搭載のIICSは、データを抽出、変換、配信するためのマッピングを迅速に作成することができます。システムが既存のマッピングを学習し、データベースやファイルシステムのビジネスコンテキストを理解し、データの標準化やクレンジングのための適切な変換を提案します。手作業でのコーディングは一切不要です。
  • 一般的な企業では、数千ものデータ統合プロセスが日々実行されています。AI搭載のIICSがあれば、AIがログファイルや監視用ファイルの時系列データの履歴値を学習して異常値にフラグを立てることで、潜在的な問題を予測し、問題の発生を未然に防ぐことができます。
  • 一般的に、レコードデータは、ストレージとパフォーマンスを最適化するために、複数のテーブルやファイルに分散して保存されます。AI搭載のIICSは、分散したデータの関係を検出し、元のエンティティを迅速に再構成しますので、データセットを手作業で結合する必要はありません。
  • 業務ユーザーがデータを理解できるように、ビジネス用語と物理データ要素の紐づけ作業をAIが自動化してスピード化します。

ベストプラクティス2:メタデータ主導

メタデータは、あらゆるデータ関連作業の基盤であり、データインフラストラクチャの全体像を把握するために極めて重要です。メタデータを管理しなければ、必要なデータを見つけることはできません。インフォマティカのIICSは、Snowflake独自のツールを補完する高度なメタデータ管理機能を搭載しています。これによって、次のような業務上のメリットを提供します。

  • 使いやすいWebインターフェイスを使用して、業務担当者が最も関連性の高い必要なデータを容易に検索することができます。
  • どのデータをどの順番でSnowflakeに移行するかを決定することができます。
  • ガバナンスが必要となる重要なデータ要素を特定することができます。
  • データの保存方法と保存場所に関する透明性を確保することができます。

ベストプラクティス3:先進のデータ品質とデータガバナンス機能

  • IICSのデータプロファイリング、標準化、検証、エンリッチ化、重複排除、データ連結などの品質変換機能を使って、データ品質を最適化して、継続的にモニタリングすることができます。
  • 俊敏性、透明性、コラボレーション性に優れたIICSのデータガバナンス機能をSnowflakeデータプラットフォームに組み込むことで、データを可視化するだけでなく、データのアクセス性、品質、一貫性、信頼性を確保して、意思決定や戦略的ビジネスイニシアチブをデータ主導で行うことができます。
  • インテリジェントな自動データガバナンスを広範囲にわたって導入することで、国、地域、業界のプライバシーおよびセキュリティ規制に対応することができます。
  • データアクセスを民主化して、信頼できるデータをプロビジョニングし、社内、サプライヤー、パートナー、顧客と共有することができます。

例えば、Vemo Education社は、毎月80時間をかけてデータ統合タスクを繰り返してきましたが、IICSとSnowflakeを組み合わせて利用することで、この作業を5分に短縮することに成功しました。手作業のプロセスから解放されたチームメンバーは、パートナーや参加者の支援に専念できるようになりました。

Snowflakeは、既存のデータウェアハウス/データレイクを最新化あるいは新規構築して、あらゆるデータを活用するための優れたクラウドデータプラットフォームです。しかし、ほとんどの企業はその真価を引き出せていません。真価を引き出すことによって初めてデータ主導のDXを成功させることができるのです。

インフォマティカのAI搭載のデータ統合機能、データ品質機能、データガバナンス機能をSnowflakeと組み合せて導入することにより、企業は変化の激しい今日の市場において競争優位性を獲得し、インテリジェントで将来も安心なデータ管理ソリューションを実現することができます。


本記事は電子ブック「クラウドネイティブなSnowflakeのデータプラットフォームとしての価値を最大化するクラウドデータの真価を引き出す3つのベストプラクティス」の要約です。