株式会社野村総合研究所(以下「NRI」)はApache Hadoop + Apache Sparkおよび
Apache Kafkaのサポートサービスを2020年7月からOpenStandia(オープンスタン
ディア)にて提供開始します。
■企業のオープンソースソフトウェア活用をサポートするOpenStandia
オープンソースソフトウェア(以下、OSS)には先進的なものが多く存在し、また
導入コストが低いというメリットがある一方、技術サポートが得られないために企
業の情報システムでは導入しづらい側面がありました。OpenStandiaは2003年のサー
ビス開始以来、OSSを導入した企業向けの技術サポートの実績を数多く重ねてきまし
た。また、サポート対象とするOSSの拡大にも積極的に取り組んでおり、現在、50を
超えるOSSの技術サポートにて、様々な業種の企業を支援しています。
■DX時代に求められる新しいデータ処理技術と注目のオープンソースソフトウェア
企業ではデジタル技術を使って新しいビジネスモデルそのものを生み出すデジタル
トランスフォーメーション(以下、DX)の動きが活発化しています。そのDXを支え
る技術の一つとして、ビッグデータ分析があげられます。
DXの分野ではモバイル端末や家電・自動車など、様々なデバイスを発生源とするア
クセスログやセンサーデータなど、非常に大量かつ構造化されていないデータを短
時間で分析処理するという従来のシステムとは異なる要件が求められます。
2020年7月よりOpenStandiaでは、このDXの分野で注目を集めている、リアルタイム
に大量のデータを扱えるストリーミングプラットフォームである「Apache Kafka」、
大規模データを効率的に分散処理するためのフレームワークである
「Apache Hadoop + Apache Spark」の技術サポートサービスの提供を開始しました。
■Apache Kafka およびApache Hadoop + Apache Sparkの特長
1.Apache Kafka
Apache Kafkaはシステムが受信するデータを一時的に保持する分散メッセージ
キューです。
Apache Kafkaを導入することで、データ送受信を行うシステム間の関係を疎結合に
したり、ストリーミングデータを扱うアプリケーションにおいて、急激に入力デー
タが増加する際の負荷を抑制したりすることができ、また、複数台のサーバで並列
分散処理を行うため、コンピュータの台数を増やすことでシステム全体の性能を向
上させる手法であるスケールアウトによる高い拡張性と耐障害性を有します。
2.Apache Hadoop + Apache Spark
Apache Hadoopは、データウェアハウスなど専用の製品を必要とせず、一般的なサー
バを利用してビッグデータの処理を実現します。複数台のサーバで並列分散処理を
行い、データ量の増加に応じてコンピュータの台数を増やすことで、システム全体
の性能を向上させる手法であるスケールアウトで柔軟な対応が可能になり、耐障害
性の面でも優れています。
しかしながら、Apache Hadoopのみでデータを処理する場合、ファイルシステムに対
して読み込みと書き込みを繰り返すため、リアルタイムな処理には向いていないと
いう弱点があります。
そこで高速にデータを読みこむことができるメモリ上にデータを保持することがで
きるApache SparkをApache Hadoopと組み合わせることにより、非常に高速なデータ
処理が可能になります。
また、Apache Sparkは機械学習のためのMLlib、ストリーミング処理のためのSpark
Streamingなどのコンポーネントライブラリを提供しますので、高速・大容量・柔軟
なデータ処理で様々なビジネスを支援します。
NRIでは、OpenStandiaにて「Apache Kafka」、「Apache Hadoop+Apache Spark」の
年間サポートサービスと技術支援サービスを用意しました。
「Apache Kafka」、「Apache Hadoop+Apache Spark」の問い合わせ対応や障害調査、
セキュリティ情報などの提供を行います。
お気軽にOpenStandia(https://openstandia.jp/site/contact.html)までお問い合
わせください。
●OpenStandiaが提供する、Apache Kafkaについて詳細
https://openstandia.jp/solution/kafka/
●OpenStandiaが提供する、Apache Hadoop+Apache Sparkについて詳細
https://openstandia.jp/solution/hadoop-spark/
●OpenStandiaが提供する、OSSに対する年間サポートサービスの詳細
https://openstandia.jp/services/support_services.html
●OpenStandiaが提供する、技術支援サービスの詳細
https://openstandia.jp/services/intro_services.html
Apache Kafkaのサポートサービスを2020年7月からOpenStandia(オープンスタン
ディア)にて提供開始します。
■企業のオープンソースソフトウェア活用をサポートするOpenStandia
オープンソースソフトウェア(以下、OSS)には先進的なものが多く存在し、また
導入コストが低いというメリットがある一方、技術サポートが得られないために企
業の情報システムでは導入しづらい側面がありました。OpenStandiaは2003年のサー
ビス開始以来、OSSを導入した企業向けの技術サポートの実績を数多く重ねてきまし
た。また、サポート対象とするOSSの拡大にも積極的に取り組んでおり、現在、50を
超えるOSSの技術サポートにて、様々な業種の企業を支援しています。
■DX時代に求められる新しいデータ処理技術と注目のオープンソースソフトウェア
企業ではデジタル技術を使って新しいビジネスモデルそのものを生み出すデジタル
トランスフォーメーション(以下、DX)の動きが活発化しています。そのDXを支え
る技術の一つとして、ビッグデータ分析があげられます。
DXの分野ではモバイル端末や家電・自動車など、様々なデバイスを発生源とするア
クセスログやセンサーデータなど、非常に大量かつ構造化されていないデータを短
時間で分析処理するという従来のシステムとは異なる要件が求められます。
2020年7月よりOpenStandiaでは、このDXの分野で注目を集めている、リアルタイム
に大量のデータを扱えるストリーミングプラットフォームである「Apache Kafka」、
大規模データを効率的に分散処理するためのフレームワークである
「Apache Hadoop + Apache Spark」の技術サポートサービスの提供を開始しました。
■Apache Kafka およびApache Hadoop + Apache Sparkの特長
1.Apache Kafka
Apache Kafkaはシステムが受信するデータを一時的に保持する分散メッセージ
キューです。
Apache Kafkaを導入することで、データ送受信を行うシステム間の関係を疎結合に
したり、ストリーミングデータを扱うアプリケーションにおいて、急激に入力デー
タが増加する際の負荷を抑制したりすることができ、また、複数台のサーバで並列
分散処理を行うため、コンピュータの台数を増やすことでシステム全体の性能を向
上させる手法であるスケールアウトによる高い拡張性と耐障害性を有します。
2.Apache Hadoop + Apache Spark
Apache Hadoopは、データウェアハウスなど専用の製品を必要とせず、一般的なサー
バを利用してビッグデータの処理を実現します。複数台のサーバで並列分散処理を
行い、データ量の増加に応じてコンピュータの台数を増やすことで、システム全体
の性能を向上させる手法であるスケールアウトで柔軟な対応が可能になり、耐障害
性の面でも優れています。
しかしながら、Apache Hadoopのみでデータを処理する場合、ファイルシステムに対
して読み込みと書き込みを繰り返すため、リアルタイムな処理には向いていないと
いう弱点があります。
そこで高速にデータを読みこむことができるメモリ上にデータを保持することがで
きるApache SparkをApache Hadoopと組み合わせることにより、非常に高速なデータ
処理が可能になります。
また、Apache Sparkは機械学習のためのMLlib、ストリーミング処理のためのSpark
Streamingなどのコンポーネントライブラリを提供しますので、高速・大容量・柔軟
なデータ処理で様々なビジネスを支援します。
NRIでは、OpenStandiaにて「Apache Kafka」、「Apache Hadoop+Apache Spark」の
年間サポートサービスと技術支援サービスを用意しました。
「Apache Kafka」、「Apache Hadoop+Apache Spark」の問い合わせ対応や障害調査、
セキュリティ情報などの提供を行います。
お気軽にOpenStandia(https://openstandia.jp/site/contact.html)までお問い合
わせください。
●OpenStandiaが提供する、Apache Kafkaについて詳細
https://openstandia.jp/solution/kafka/
●OpenStandiaが提供する、Apache Hadoop+Apache Sparkについて詳細
https://openstandia.jp/solution/hadoop-spark/
●OpenStandiaが提供する、OSSに対する年間サポートサービスの詳細
https://openstandia.jp/services/support_services.html
●OpenStandiaが提供する、技術支援サービスの詳細
https://openstandia.jp/services/intro_services.html