クラウド移行の成否を左右するのはデータ品質

現在、約85%の企業が複数のクラウドサービスを利用しており、その数は年々上昇しています。クラウドサービスを利用することでIT部門の負担や、システム導入初期にかかる費用と時間を抑えて、新しいシステムを立ち上げることが可能になります。また、必要に応じてスケールアップ/スケールダウンすることで、ビジネスの俊敏性と柔軟性を高めることができます。さらに、クラウドデータレイクやアナリティクスを使って、複数チャネルから顧客に関する情報をタイムリーに取り込み分析することで、これまで見えなかった顧客の行動を知り、顧客のニーズに合った商品やサービスを開発して、効果的なプロモーションを計画することも可能になります。

多くの企業が、デジタルトランスフォーメーション実現のためのひとつのステップとして、様々なクラウドアプリケーションやインフラストラクチャを利用することを検討していることでしょう。しかし、クラウドに移行すれば、既存システムの問題をすべて解決し、新たなメリットを手に入れられるということにはなりません。

優れたクラウドアプリケーションを導入したとしても、それを稼働させるためには、既存システムにあるデータの移行が前提条件となります。そのデータに欠落や重複があり、データ間の関連性が不明なままクラウドに移行すれば、クラウドアプリケーションにまで粗悪なデータが蔓延することになります。結果的には、移行プロジェクトの中断や遅延リスクが高まり、新しいシステムへの信頼性が失われ、ユーザーの利用率の低下や、本来目的としていたビジネス効果を出せないという結果に陥ってしまいます。

結局は、データの品質が非常に重要であり、データの整合性、可用性、適時性、機密性を含むデータ品質を事前に担保し、移行する前に問題の芽を摘み取っておくことができるかどうかで、クラウド移行の成否が決まるのです。

クラウド移行のデータ品質を改善するための4ステップ

1.データの探索と整理:移行に伴って影響を受けるすべてのデータを洗い出して整理し、移行の優先順位を決定します。

このステップには、AI/機械学習機能を搭載したエンタープライズデータカタログが役に立つでしょう。

エンタープライズデータカタログを使って、メタデータを取り出し、データのソースや来歴、利用者、利用方法、他のデータセットとのリネージなどを含むデータのすべての属性と関係を把握できるようにデータの目録(カタログ)を作成します。さらに、ビジネスグロッサリを作成して、データが業務上どのようなコンテキストで利用されているのかを明確に紐づけできるようにしておけば、移行後のデータの探索と使用が容易になり、セルフサービスにも対応できるようになります。移行しないデータは、データ保持のポリシーや規制に従って、廃棄またはアーカイブします。

インフォマティカのエンタープライズデータカタログについて詳しくはこちらをご覧ください。

2.プロファイリング:関連するすべてのデータストアの現在の品質(完全性、一貫性、整合性、適時性)を可視化します。

移行先とのデータ構造の違い、データの重複や誤入力、データの欠落、データ形式のバラツキ、ファイル名やタグ付けに一貫性がないといったデータ品質の問題を、この段階で早期に特定します。

データの業務上のコンテキストを最もよく理解しているのは、最前線のデータ利用者であり、データ品質を評価する際には、業務担当者の関与が不可欠です。データプロファイリングを使って、業務担当者にデータの現在の状態を示し、データの生成、利用、変換、更新、分析、廃棄に至るライフサイクル全体において、業務担当者と協力しながらデータの品質を評価して、改善のためのルールを定義します。

3.標準化:移行するすべてのデータ資産について、定義したデータ品質ルールを適用します。

不完全なデータを修正して重複を排除するデータクレンジングを実行し、業務コンテキストや補足情報の追加、機密性に応じたタグ付けを行って、データを利用するユーザーが求める品質レベルを満たせるように、データをエンリッチ化します。

こうしたデータ品質の改善プロセスは、多くの反復作業を要する大掛かりなタスクになりますが、AI/機械学習搭載のデータ品質ツールを活用すれば、あらゆるパターンを網羅した変換・修正ロジックが用意されていますので、それらを再利用することで、作業を大幅に効率化することができます。もちろん、グラフィカルな画面上で、固有のデータ品質ルールを簡単に追加することも可能です。さらに、AIがデータの特性やパターンを把握し、セマンティクスを推測して修正をレコメンドし、機械学習がレコードのタグ付け、分類、結合を自動化することで、データ品質の改善および管理を効率化することができます。

4.継続的な運用と監視:最新かつ正確なデータ項目だけをクラウドに移行し、その後も標準化したデータ品質ルールを継続的に適用します。

一度定義したデータ品質ルールを、繰り返し実行して、例外があれば担当者にアラートで通知して、即座に問題を解決します。ダッシュボードやスコアカード、視覚化ツールを活用しながら、全社のデータ品質を継続的に追跡管理します。

ここで気を付けたいのは、すべてのシステムを一晩でクラウドに移行することはないということです。つまり、クラウドとオンプレミスのシステム/データストアの間を、データがシームレスに移動できることを念頭に置いた、ハイブリッド型のデータ品質管理ソリューションを導入して、データの保存場所を問わずに、継続的にデータ品質を改善できることが重要になります。

まとめ

データはあらゆる場所に存在し、どの部門も似たようなデータ品質の問題を抱えています。クラウドへ移行するにあたっては、データ品質をプロジェクト単体の問題ではなく、全社の戦略的イニシアチブとして取り組み、オンプレミス、クラウド、ビッグデータを網羅するハイブリッドなアプローチで、再利用可能なデータ品質プロセス/テクノロジーを導入することが重要です。

データ品質ツールを組み込んだハイブリッドデータ管理ソリューションを導入すれば、システム間でデータを転送するたびに、データ検証のためのコードを記述してロジックを実行する必要がなくなり、あらゆるパターンを網羅してあらかじめ定義されたアルゴリズムを使用して、データソースの関係性のマッピングからクローリング、セマンティクスの推測と修正のレコメンデーション、機密データの特定とタグ付け、メタデータの引き出し、データキュレーションに至るまで、あらゆるデータ準備作業を簡素化し、継続的にデータ品質を監視、改善することができます。

本記事は、電子ブック「クラウド移行の攻略法 :スピーディに成功させるためのデータ品質 4 カ条」の要約です。電子ブックはこちらからご覧いただけます。

また、電子ブック「データ品質への投資がもたらす10のメリット」では、粗悪なデータが様々な業務分野にどのような影響を及ぼすのか、そしてデータ品質の改善によって、具体的にどのようなメリットを享受できるのかについて、世界中の先進企業の事例とともに詳しく説明しています。こちらもあわせてご参照ください。