データプラットフォームという言葉をご存じでしょうか。データプラットフォームは、「インターネット上に蓄積されたデータを一元管理するプラットフォーム」のことです。企業が扱う膨大なデータを、速やかに処理・分類・加工する役割を担います。本記事では、データプラットフォームの概要やメリット・課題・導入する際のポイントについて解説します。
1.データプラットフォームとは
はじめに、データプラットフォームの概要・メリット・課題について解説します。
データプラットフォームの概要
データプラットフォームとは、組織が持つ膨大なデータを適切に蓄積・加工・分析できるようにする、データ活用の基盤のことです。データの収集や統合による最適化・一元管理・データの分析などに活用できることから、多くのビジネスシーンで注目されています。
実際に、データプラットフォームでデータを有効活用して従来のビジネスモデルを変革し、業績を飛躍的に伸ばしている企業が多くあります。
データプラットフォーム導入のメリット5選
メリット1.多種多様なデータの統合
組織に散在する膨大なデータを統合し、現場部門が速やかにデータを活用できるように整備できます。また、クラウド・オンプレミス・ハイブリッド環境の顧客接点データや基盤システムのデータをノンプログラミングで連携し、データ統合をすることも可能です。データの統合かつ一元管理を行うことで、データの分析・情報の可視化・業務効率化・情報漏洩対策・コスト削減などを実現する基盤を構築できます。
メリット2.膨大なデータの加工
膨大なデータのうち、分析に使用するデータのみを取り出し、最適な形に加工できます。
データを統合・分析する際、データサイズが膨大となってしまったり、データ形式が不統一で分析ができなかったりする場合があるため、データを分析しやすいように加工することは非常に重要です。データプラットフォームを活用すれば、簡単な操作でデータを統合・分析する前準備であるデータの加工が可能となります。
メリット3.高度な処理速度
各社が開発し提供されているデータプラットフォームの多くは、データの処理速度の高速化に向け、日々改善が行われています。そのため、データプラットフォームで処理を行うことで、大幅に業務効率の向上とコストの削減が実現できます。
メリット4.データの分析と課題の洗い出し
データプラットフォームはデータの収集・蓄積・加工・分析の過程を一貫して行うため、必要なときに素早くデータ分析ができます。データの用意やデータの加工・分析前の準備が不要であり、安全性の向上やコストの削減へ繋がります。また、膨大な情報量のデータを、収集から分析まで一貫して行っているため、データ評価の信憑性が高く、正確性のある課題を洗い出すことが可能です。
メリット5.高いセキュリティ
データは組織の大切な資産であり、個人情報も多く含まれます。そのため、各社から提供されているデータプラットフォームは、強固なセキュリティ体制を要すことに徹底し、データの流出や消失を防いでいます。独自の認証システムやセキュリティに関わる機能、安全かつ高パフォーマンスなサービスにより、十分な障害耐性を備えたプラットフォームが構築されています。
データプラットフォーム導入の課題4選
課題1.個人情報漏洩のリスクがある
データプラットフォームが扱う膨大なデータのなかには、個人情報も含まれます。厳重なセキュリティを備えていても、情報システムにリスクはつきものであるため、データプラットフォームを過信せず、データを扱う全員が情報漏洩に対する意識と責任を持つことが必要です。
課題2.最適なデータプラットフォームを選定する難しさ
データプラットフォームは多くの企業が開発しており、それぞれ特徴が異なります。そのため、機能性や予算・使いやすさなど様々な観点で検討して、自社に合うものを導入しなければなりません。また、データプラットフォームは導入自体が複雑なため、初めて導入する場合は、理解するのが難しい点もデメリットです。複数のデータプラットフォームで見積もりと十分なシミュレーションを行い、どのデータプラットフォームを活用するか選定するべきです。
課題3.導入には専門的知見や技術が必要
データプラットフォームを導入するには、専門的知見と技術が必要不可欠です。そのため、導入経験がない場合、データプラットフォーム導入のノウハウを持つコンサルティング会社を活用する必要があるでしょう。データプラットフォームの導入には複雑な要素が絡み合うため、自社のIT部門で対応すると、後々問題が発生するおそれもあり、注意が必要です。
課題4.データ活用における人材に対する課題
データ活用を推進するためには、データを実際に生成する現場の知識と、データ活用の知識の両者が必要です。しかし、アイデアは持っていても、情報技術を理解している人材が社内にいないケースが多くみられます。現状、データプラットフォームの導入経験のある人材は少ないため、社内の人材の育成をすると同時に、社外のノウハウを持つ人材に依頼する必要があります。
2.データプラットフォームを導入するポイント
データプラットフォームを導入する際のポイントについて解説します。
社内体制の整備
データプラットフォームを活用するにあたり、社内のどの部門が管理し、責任者は誰が担当するのかといった社内整備が必要です。
特に、データプラットフォームは膨大なデータのなかに個人情報が存在し、セキュリティ対策を徹底しなければならないため、社内体制の整備は、最優先かつ最重要事項となります。
データプラットフォーム導入のコストを把握する
データプラットフォームのシステム構築には、初期費用や月額費用が発生します。加えて、データプラットフォーム導入をコンサルティング会社に依頼すると、追加で費用がかかるため、予算に応じてどのデータプラットフォームを導入するか、どのコンサルティング会社に依頼するかを検討する必要があります。また、膨大なデータを取り扱う場合には、データプラットフォームのシステム運用に多くの工数がかかります。導入前には、予算や運用工数を把握しておくことが重要です。
目的に合ったデータプラットフォームを選定する
現在、多くの企業がデータプラットフォームを提供しています。データプラットフォーム導入前に、自社が導入する目的や達成すべき目標、期待する効果や社内ニーズなどを考慮し、最適なデータプラットフォームを選定しましょう。データプラットフォーム導入後に、他のデータプラットフォームに変更しようとすると、追加で多くの費用と工数がかかってしまうため、最初の選定は慎重に行わなければなりません。
データプラットフォームを複数導入することも検討する
データプラットフォームは一つのツールのみではなく、複数のツールを導入することも可能です。データプラットフォームのツールは多機能であり、利便性が高いですが、多機能であるがゆえに、すべての機能を使いこなせない可能性があります。そのため、機能を習得するための工数やコストが発生します。場合によっては、データプラットフォームのツールを使いこなせる人材の確保も必要となるでしょう。
また、一つのデータプラットフォームツールを導入した場合、やり直しがききにくいリスクもあります。そこで、複数のデータプラットフォームツールを組み合わせ導入することで、余分な初期コストの削減や、やり直しのききやすい構造に構築すること、柔軟に機能を拡張することが可能となります。
取り扱うデータの種類や処理方式を検討する
データには様々な種類がありますが、大きく構造化データと非構造化データの2つに分類できます。
構造化データは、ExcelやCSVファイルが代表的で、「列」「行」の概念を持つデータのことです。構造化されていることにより、検索・集計・比較などが行いやすく、データの解析や分析に最適です。
非構造化データは、構造化データのように構造の定義がされていないデータのことです。データベース化ができないために、検索や集計・解析には不向きと言えます。具体的には、日々の業務で生成されるドキュメントやテキストデータ・画像・動画・音声データ・電子メールなどが挙げられます。
データプラットフォームの選定や導入後に運用する上でも、データの種類や処理方式を検討することは重要です。
データプラットフォームの全体像を把握する
データプラットフォームはデータの収集・処理・分析・保管といったステップごとに、どのような機能が必要なのかを考慮し、それらに最適な技術や機能を組み合わせて導入します。
データプラットフォーム導入をコンサルティング会社に依頼する場合であっても、データプラットフォームの全体像を把握しておくことで、導入後の運用がスムーズになるでしょう。
3.「データ分析プラットフォーム構築サービス for Microsoft Azure」とは
企業が蓄積したデータを有効活用するためのデータプラットフォームにはさまざまな製品・サービスが展開されており、どれが自社に適しているのかの判断は容易ではありません。ここでは、おすすめのサービスとして「データ分析プラットフォーム構築サービス for Microsoft Azure」(以下、本サービス)を紹介します。
サービスの概要
本サービスは、株式会社システムエグゼが提供しています。マイクロソフト社の無制限分析サービス「Azure Synapse Analytics」を活用し、データ分析によってビジネスの成長を支援します。
Azure Synapse Analyticsとは?
Azure Synapse Analyticsは、2020年12月から一般提供が開始されました。Azureでは以前から個別のサービス(PaaS)としてETLやデータ分析、データストア、データ可視化を提供してきましたが、Azure Synapse Analyticsではこれらが統合され、ひとつのサービスですべてをカバーしています。
Azure Synapse Analyticsの特徴
Azure Synapse Analyticsの特徴のひとつは、データウェアハウス、データレイク、ビッグデータ分析システムのすべてのデータの分析情報が高速に提供されることです。さらに、プロジェクトの開発時間を大幅に短縮できる統合エクスペリエンス、列・行レベルのセキュリティや動的データマスキングなどによる強固なデータ保護、Azure Synapse Linkを使用することでの、最新データによるビジネス情報の瞬時取得なども同サービスの特徴です。
データウェアハウジングやデータの仮想化を可能にする業界最高水準のSQL「Synapse SQL」、業界標準のオープンソースビッグデータエンジン「Apache Spark」とシームレスに統合された「Apache Spark for Azure Synapse」を搭載していることも大きな特徴です。
Azure Synapse Analyticsが選択された理由
本サービスでAzure Synapse Analyticsが選択された理由は大きく分けて、
- 開発のしやすさ
- 運用・管理のしやすさ
- 機械学習やリアルタイム連携が可能
の三つです。Azure Synapse Analyticsでは、マイクロソフト社がサイベース社と共同開発した拡張SQL言語「Transact-SQL(T-SQL)」をサポートしており、開発者が使い慣れたSQL Serverの開発環境や言語をそのまま使って開発を行うことができます。また、Azure Synapse Analyticsでは、インスタンスを停止できるほか、スケールアウトの設定を変更する際もサービスレベルを選択するのみと簡単です。外部データの参照もPolyBaseで簡単・高速に行えます。さらにビッグデータの機械学習は、分散処理フレームワーク「Apache Spark」でそのまま行うことが可能です。Azureで提供されているサービスのみでリアルタイム処理(ホットパス)にもバッチ処理(コールドパス)にも対応します。
サービスの詳細
本サービスの導入プロセスは、(1)現行調査・アセスメント、(2)PoC環境構築・支援、(3)データ分析プラットフォーム構築の3ステップです。
現行調査・アセスメント
このステップでは、(1)現行調査、(2)移行評価、(3)アセスメント報告を行います。現行調査では、データウェアハウスの構成情報、データの抽出からデータウェアハウスへ書き出されるまでのプロセス、BI(Business Intelligence)などのレポート数や仕様、機器・製品一覧とネットワーク構成図などを確認します。移行評価では、本サービスを導入した場合、現在使用しているデータウェアハウスなどとSynapse Analyticsなどとの適合度合い・乖離度合いを評価し、最適な状態で運用するために必要な作業タスクを洗い出します。アセスメント報告では、現行調査および移行評価の結果を書面にまとめ、報告します。
PoC環境構築・支援
導入前に効果測定や実用性などを確認するためのPoC(Proof of Concept：概念実証)環境を構築し、検証を支援します。このステップは、(1)分析・可視化要件のヒアリング、(2)PoC環境の構築、(3)検証、(4)検証結果報告を行います。検証用のAzure Synapse Analytics環境をPoC環境とし、必要に応じてPower BIなどの周辺環境も構築します。検証では、PoC環境で分析・可視化要件が実現可能かの確認や、データの取込時・参照時の処理パフォーマンスの計測を行います。検証結果報告では、このステップでの検証結果を書面にまとめて報告するとともに、最適なシステム構成やクラウドスケールの提案、利用料のコストシミュレーションを行います。
データ分析プラットフォーム構築
導入が決定したら、対象企業に最適なデータ分析プラットフォームを構築します。このステップでは、(1)要件定義、(2)設計、(3)環境構築、(4)開発・テスト、(5)本番移行の順に進めてゆきます。開発・テストでは、データモデルやETL・ELT、可視化などの実装・テストを行います。
サービスの対象となるお客様
本サービスの対象となるお客様は大きく分けて、(1)既存データウェアハウスの置き換えを検討している、(2)新たにデータ分析プラットフォームの導入を検討している企業です。
既存データウェアハウスのリプレイスを検討しているお客様
現在、オンプレミス型のデータサーバーや他社のデータウェアハウスなどを使用しており、リプレイスを検討している企業です。保守料やライセンス費用などの高騰、データ使用量の増加、既存のデータウェアハウスの容量不足など、コストや業務内容などによってリプレイスが必要になっている場合、本サービスの導入が有効です。
新規にデータ分析基盤の導入を検討しているお客様
データ分析プラットフォームにはさまざまなサービスがあり、「どのサービスが適しているのか」「サービスによってどの程度効果があるのか」などを見極めるのは簡単ではありません。特に新規でデータ分析基盤を導入する場合は、いきなり大規模な仕組みを導入するのはリスクがあります。本サービスであれば、事前にPoC環境を構築し、導入効果を測定できるため、将来的な効果を見通したうえで最適なプラットフォームを構築できます。
サービスのメリット
本サービスを導入することによって得られるメリットには、(1)企業ごとに異なる環境でも最適なプラットフォームが提案される、(2)事前に効果検証を行える、(3)スモールスタートが可能、といったことがあります。
価値ある分析基盤が提供される
サービスを提供しているシステムエグゼは、データベースやBIツール、ETLツールなどを扱うデータベースのオールマイティ企業です。さまざまな製品の特徴を把握しているのに加え、既存のデータウェアハウスからAzure Synapse Analyticsへ切り替える際に、現行システムとの適合度合い・乖離度合いの調査を行ったうえで最適なプラットフォームが提案されます。
導入前に効果検証が行える
多くの企業では、複数のデータ分析基盤を比較・検討したうえで導入を決定します。本サービスでは、事前にPoC環境で効果測定を行えます。「導入したものの思うような効果が出ない」「コストが無駄になってしまった」といったことを防げます。
スモールスタートできる
データ分析基盤を新規で構築するとなると、大規模なものを想定する人も多いかもしれませんが、本サービスでは対応範囲を限定し、必要な機能を絞り込んだうえで運用できます。必要に応じて拡張することも可能で、「まずはスモールスタートで様子を見たい」といった場合にもおすすめです。
システムエグゼの強み
システムエグゼが得意としているのは、技術や業務に特化し、専門性を追求したソリューションです。技術ソリューション、業務ソリューション、グローバルソリューションからなるさまざまなサービスを展開しており、それぞれに精通したエンジニアが在籍しています。必要に応じて相互に連携を取りながら、企業のニーズに柔軟に対応できます。
まとめ
データプラットフォームとは、膨大なデータの蓄積・加工・分析を一貫して行う分析基盤のことです。IT技術の発達により、企業は多くの情報を簡単に収集できるようになりましたが、情報の可視化や分析を行い、企業の意思決定に活かすことが大切です。
データプラットフォームを選ぶときは、複数のサービスを比較し、自社の業務プロセスに適した機能を持つものを選定する必要があります。「検討段階で導入効果を測定したい」「必要な機能を絞り込んでスモールスタートを検討している」などの場合は「データ分析プラットフォーム構築サービス for Microsoft Azure」がおすすめです。
