オンプレミスやAWS(Amazon Web Services)、Microsoft Azure、Google Cloud™ などのパブリッククラウド上の社内データや、ECサイトやSaaSサービスのデータ、SNS、天気等の外部データなどを ETLツールやAPI等を利用してデータ連携したい企業は多いかと思います。
企業では多くのシステムが目的別に構築されています。そのため、社内のデータ活用を進める上で欠かせないのが、散財したデータを効率的に集合させることです。そのためによく使用されるツールが、ETL（Extract/Transform/Load）やEAI（Enterprise Application Integration）と言ったデータ連携に特化した製品やサービスです。
本来は、新たにシステム構築する際に必要となるデータを関連システムから取り込むためであったり、プロセスを連携させるために用いられていたのが、ETLやEAIと言ったツールです。しかし現在では、業務処理に加えて、データ分析や解析などデータそのものの活用ニーズが高まっており、専門の部隊が組織されたり、専用のデータプラットフォームを構築している事例も幅広く普及し始めています。
そこで本記事では、データ連携に適した代表的なツールをご紹介します。
データ連携に適したツール
データ連携に関する製品やサービスは多数あり、その目的や対応するエンジニアのスキルなど、選定のポイントは企業によって様々です。
ASTERIA Warp
長年業界トップシェアを誇るデータ連携ツールです。ノーコーディングで開発できるため、連携工程を少なく短期間で開発可能です。社内の新旧さまざまなシステムと、クラウド上のデータをスムーズに連携してくれます。また、連携先の豊富さも人気の理由です。
・「参考」
Business SPECTRE
SAP ERPに格納されているさまざまなデータを用意に変換し、抽出できるデータ連携ツールです。豊富なBI（Business Intelligence）テンプレートにより多種多様な用途でデータを活用できます。SAP ERPのデータ活用に困っている際に最適です。
DataSpider Cloud
100％国産のデータ連携ツールであり、ノーコーディングで連携処理を作成できます。GUI（Graphical User Interface）により高い開発生産性を実現します。オンプレミスシステムとシームレスに連携するので、レガシーシステムに格納されているデータを連携するのにも役立ちます。また、クラウドサービスなので料金が固定化するのもメリットの1つです。
・「参考」
HULFT
企業活動で発生する売上データや顧客情報、ログデータなどシステムに蓄積されたデータの送受信を行うデータ連携ツールです。文字コード変換をはじめ多様な機能を備え、サーバーやプラットフォーム、コード体系が異なるさまざまなファイルを確実に送受信します。
・「参考」
初めてのデータ分析
〜DSKマーケティングチームと一緒に学ぼう〜
電算システムのマーケティングチームメンバーが登場し、
データ分析についてお話をさせて頂きます。
IBM InfoSphere DataStage
ソフトウェアベンダー大手のIBMが提供するデータ連携ツールであり、オンプレミスまたはクラウド環境で、高性能の並列フレームワークを使用して複数の企業向けシステムのデータを統合する、先進的ツールです。DataStageは拡張メタデータ管理と、いたるところに存在する企業向けの接続性をサポートします。
・「参考」
Informatica Power Center
高い国内シェア率を誇るデータ連携ツールであり、初めてのデータ統合プロジェクトの開始から、ミッションクリティカルなエンタープライズ環境への導入まで、データ統合ライフサイクル全体をサポートします。開発者とアナリストはコラボレーションを通じ、迅速にプロジェクトを進められます。
・「参考」
KrewData
Kintoneアプリのデータを自由自在に集計、加工、アプリ間結合できるデータ連携プラグインです。コマンドを組み合わせるだけでノンコーディングによるアプリ間データ集計ができ、実行結果の確認も容易になります。また、データ編集フローはスケジュールされたタイミングで自動実行されます。
・「参考」
Magic xpi Integration Platform
66種、500機能以上のアダプタ群を提供しており、開発者はWebサービス、メール、SAPなどアプリケーション固有のAPIなどの技術を習得せずとも、短期間でデータ連携が実現できます。トリガー機能により、Webサービスのコールやメール受信、変更イベントを監視してリアルタイムなデータ連携も可能です。
・「参考」
Qanat2.0
データ入力側と出力側をアイコンと線で結ぶだけで、データ連携を簡単に設計できます。ユーザー管理やグループ管理機能とアクセス制限により、管理者と利用者を区別したセキュアな運用も行えます。
・「参考」
Syncsort DMExpress
独自のアルゴリズムを採用していることで、バッチ処理性能を大幅に向上している高速系データ連携ツールです。高品質は開発がGUIで可能であり、シンプルなシステム構成から扱いやすい製品となっています。
・「参考」
Talend
無料で使えるオープンソースソフトウェアのデータ連携ツールです。無料ながら豊富な機能を備えており、ビッグデータ解析にも活用できます。商用版まで幅広いラインナップを揃えているので、状況に応じて選択しましょう。
・「参考」
Waha! Transformer
初めてデータ連携ツールを導入する企業にとって安心のサポート体制を取っており、初心者でも比較的容易に扱えるのがメリットです。NECなどの大手ITベンダーも販売しており、中小企業から大企業まで幅広く導入されています。
・「参考」
Trocco
国産データ連携ツールであり、データ運用にかかる工数を最大90％削減します。データ連携の専門的知識は不要で、最短5分から利用可能なのも魅力です。コストは使った分だけの従量課金制なので、無駄な費用を抑えられるのもポイントでしょう。当社がご提供するデータ分析やデータプラットフォームのサービスと合わせて効果的にご利用いただけます。
・「参考」
[関連サービス]
データ分析：https://www.dsk-cloud.com/solution/data-analysis
データプラットフォーム：https://www.dsk-cloud.com/solution/data-platform
Google Cloud のデータ連携ツールやサービス
Google が提供するクラウドサービス、Google Cloud でもデータ連携ツールやサービスを提供しています。Google Cloud が提供するサービスなので、ほとんどのサービスが大量データの処理も得意としています。ここでは Google Cloud でよく使われるサービスをご紹介します。開発で使われるツールやサービスになりますが、ローコードやノーコードをうたうサービスもあるので、開発工数や学習コストの削減も期待できます。
Cloud SDK
gsutil、bq コマンドライン ツール を利用して、Google Cloud Storage や BigQuery など Google Cloud 上にバッチ処理などでデータをアップロードする場合に利用します。まずはローカルのデータをクラウドへアップロードする場合によく利用します。
Cloud Dataprep by Trifacta
視覚的にデータを探索、クレンジングできるETLサービス。Google Cloud や他のデータベース、アプリケーションやローカルファイルのデータを加工し、BigQuery や Cloud Storage などと連携します。エクセルやスプレッドシートで扱いきれない大量データを視覚的に操作したい場合に便利です。
Cloud DataFlow
ストリーミングとバッチ処理に対応したフルマネージドのデータ処理サービス。リソースの自動スケーリングで大量データの処理にも対応した従量課金のサービス。データ処理フローのテンプレートを使用したデータ処理や java、python、Dataflow SQL などでのプログラミングによる細かなデータ処理にも対応しています。
Cloud Functions
サーバーレスの実行環境。データベース内のデータの変更、ストレージシステムへのデータファイルの追加などのイベントが発生すると、Cloud Functions がトリガーされ、データの検証と変換、画像処理などのコードがフルマネージド環境で実行されます。
Cloud Composer
Apache Airflow で構築されたワークフローエンジンです。ハイブリッドおよびマルチクラウド環境にまたがるパイプラインを作成、スケジューリング、モニタリング、管理が可能です。
AppSheet
Google Workspace のその他の Google サービスです。。Google スプレッドシート、Excel、Cloud SQL、Salesforce などのデータソースからアプリを構築できる、ノーコードの開発プラットフォームです。
・「参考」
ConnectedSheet
Google スプレッドシートの機能。Google スプレッドシートからBigQuery のデータを参照し、Google スプレッドシートへ表示します。Google スプレッドシート上で、関数やピボットテーブルを利用してデータを集計、分析することが可能です。BigQuery 上にある大量データをSQLなどを利用することなくユーザーが集計、分析できる点が便利です。
データ連携を始めよう！
ビッグデータ解析のためのデータ連携ツールは多種多様に存在しています。大切なのは、自社のシステム環境を整理したうえで、どんなビッグデータ解析に取り組みたいかを考え、適切なツールを選択することです。
ビッグデータ解析の成否は、多くがツールにかかっているので慎重に選択しましょう。また、本記事でご紹介したように、データ連携ツールは以前にも増して扱いやすくなっているので、どの企業も気軽にビッグデータ解析に取り組めます。この機会にぜひ、データ連携を実施し、ビッグデータ解析に取り組んでみてはいかがでしょうか？
電算システムでは、これからデータ分析を取り入れることを検討されているお客様から、データ・ドリブン経営を本格的に目指すお客様まで、製品、サービスの提供のみならず、「データインテグレーター」、「データエンジニア」、「データサイエンティスト」など、豊富な経験を持つエキスパートがご支援します。
是非お気軽にご相談ください。
初めてのデータ活用
知識やツールといった手段を揃えただけでは価値を生み出すデータ活用の実現は困難です。データ活用のポイントは、データ「量」と「質」を確保することにあります。
- データ「量」と「質」を確保しよう
- データを収集して加工処理する作業を効率的に
- データ分析に集中できる体制へ
