Distributed Processing Framework for Machine Learning-based NIDS Construction

IPSJ

Bibliographic Information

Other Title
  • 機械学習ベースNIDS構築のための分散処理フレームワーク

Search this article

Description

ネットワークベース侵入検知システム（Network-based Intrusion Detection System：NIDS）は未知攻撃の検知とスケーラビリティの確保という2つの課題に直面している．これらの課題を解決するために，ネットワーク侵入検知の研究領域においてはスケーラビリティを確保した機械学習ベースのNIDSがいくつか提案されている．しかしながら，既存研究ではバッチ処理を前提としているために通信の発生後即座に検知結果を得られなかったり，ネットワークトラフィックからの特徴抽出を実装していなかったりするなど，NIDSとしては不完全なものである．そこで本論文では，すべての機能をスケーラブルなストリーム処理が可能な仕組みの上に実装した，より実用的な機械学習ベースのNIDSを構築するための分散処理フレームワークを提案する．これにより，利用者が機械学習によってNIDSの分類部分さえ実装すれば，機械学習ベースのNIDSを容易に構築できる．実際に本フレームワークを利用して小規模なクラスタ上にNIDSを構築し，システムのスループットや処理遅延について評価した．評価の結果，小規模なクラスタであっても1Gbpsのネットワークトラフィックを十分に処理できた．一方で，特定の状況下では性能が大幅に制限されることも明らかになった．

A Network-based Intrusion Detection System (NIDS) is faced with two requirements: detection of unknown attacks and scalability for traffic increase. To address the requirements, in the research field of network intrusion detection, researchers have proposed several scalable machine learning-based NIDSs. Nevertheless, they are incomplete as a NIDS for the following reasons: (1) they cannot detect malicious activities in near real time because of their batch processing approach, and (2) they do not implement feature extraction from network traffic. Therefore, in this paper, we propose a distributed processing framework for a more practical machine learning-based NIDS, all the functions of which are implemented with some scalable frameworks dealing with stream processing. Our framework enables users to easily construct machine learning-based NIDS. All you have to do is to implement only classification phase of the NIDS based on machine learning. In this paper, we actually used our framework to construct a NIDS on a small cluster and evaluated its throughput and delay time. The evaluation results show that the NIDS produced by our framework can process above 1Gbps of network traffic in spite of the small cluster. On the other hand, the performance is severely limited under certain conditions.

Journal

Keywords

Details 詳細情報について

Report a problem

Back to top