Splunkを使ってみよう!!

Splunkを使ってみよう!!

Splunkというツールをご存知でしょうか。私が「Splunk」という言葉を初めて聞いたときは、「Splunk???」な状態でした。「ログ解析が好きな人にはもってこいだから」という言葉を鵜呑み(笑)にし、ヘルプデスク時代にはログ解析に日々追われていた私は、ワクワクしながらSplunkハンズオンセミナーに参加してきました。ハンズオンセミナーでの体験から、ぜひ皆様にもSplunkを体験いただければ良いなぁと思い、今回のコラムで紹介させていただきます。

Splunkとは

ヘルプデスク時代には日々 ログ解析 に追われていた私は、「Splunk は、ログ解析が好きな人にはもってこいだから」という言葉を鵜呑み(笑)にし、ワクワクしながらSplunkハンズオンセミナーに参加してきました。

結果、Splunkはとても楽しいツール です!

ヘルプデスク時代のログ解析では、特定IPアドレスからのアクセス回数を数えるのに、IPアドレス毎に、# grep -c を実行してカウントしていた私ですが、Splunk を使えば、コマンドを何回も打たなくても、X.X.X.XのIPアドレスからのアクセスが多い、Y.Y.Y.YのIPアドレスからのアクセスは全体の何%だ、ということが 一目で分かるようになる ことが目からウロコでした。

半日のハンズオンセミナーでしたが、

  • 特定IPアドレスからのアクセス急増などの 異常を素早く検知 したり
  • ログイン試行回数や失敗回数から 攻撃者と通常ユーザの見分け が簡単にできたり
  • どの商品への アクセスが多い ということを リアルタイムに把握 できたり
  • 機器毎のログを統合することで 全機器のシステム状態を一括把握 できたり

という風に、様々なビジネスシーンでデータから価値を生み出すことができると感じ、ビッグデータ分析にもってこいのツール だと確信しました

Splunk を簡単にいうと、

  1. データ取り込み
  2. 分析
  3. アウトプット(可視化)

といった ビッグデータ利活用に必要な要素をすべて兼ね備えているデータ分析プラットフォーム です。

※Splunkの詳細情報は、http://www.splunk.com/ja_jp をご覧ください。

ちなみに、Splunk というのは、洞窟探検 (Spelunking) という単語からの造語であり、皆様が、素早く・簡単に、ビッグデータからビジネスに意味のある情報を探索(サーチ)することができる ように作りこまれていることも魅力のひとつです。

そんな Splunk をいち早く触ってみたいという皆さんに向け、Splunk の導入方法 と、簡単な操作方法 をこの後紹介します。

Splunk 導入の準備

Splunk をインストール する ハードウェアの最小要件 は以下です。

  • Windows
    CPU 2.0 GHz
    RAM 2 GB
  • Windows 以外
    CPU 1×1.4 GHz
    RAM 1 GB

最新情報および詳細は、
http://docs.splunk.com/Documentation/Splunk/6.3.3/Installation/SystemRequirements
をご確認ださい。

また、対応OS についても、
http://docs.splunk.com/Documentation/Splunk/6.3.3/Installation/SystemRequirements
をご確認ください。

用件を満たすハードウェアおよび OS の準備をお願いします。
なお、今回利用する環境 は以下となっております。

  • OS:Windows 8.1 (64bit)
  • CPU:2.3 GHz
  • RAM:16 GB

Splunk のダウンロード

  1. 下記URL にアクセスし、右上にある 「無料SPLUNK」 をクリックします。
    http://www.splunk.com/ja_jp
  2.  splunk > enterprise の右側にある 「無料でダウンロード」 をクリックします。
  3. 任意のオペレーティングシステムを選択し、ダウンロードを開始します。

※今回は、 Windows を選択し、splunk-6.3.3-f44afce176d0-x64-release.msi をダウンロードしています。

Splunk のインストール

  1. splunk-6.3.3-f44afce176d0-x64-release.msi をダブルクリックし、Splunk をインストールします。
  2. Splunk管理画面へのアクセス
    ブラウザから、http://:8000 にアクセスします。

※初めてログインする時には、ユーザ名:admin、パスワード:changeme でログインできます。
なお、初めてログインした時に、パスワードの変更が求められます。

<参考>
Linux上へのインストール は下記を参考にしてください。

  1.  splunk-6.3.3-f44afce176d0-Linux-x86_64.tgz を /opt に配置します。
  2.  splunk-6.3.3-f44afce176d0-Linux-x86_64.tgz を解凍します。
    #tar xvfz splunk-6.3.3-f44afce176d0-Linux-x86_64.tgz
  3.  /opt/splunk にSplunk がインストールされます。
  4.  $SPLUNK_HOME を設定します。
    –      .bashrcファイルに下記を追記
    export SPLUNK_HOME=/opt/splunk
    export PATH=$SPLUNK_HOME/bin:$PATH
    –      .bashrcファイルの読み込み
    #source .bashrc
  5. splunkの起動
    #splunk start

Splunk管理画面へのアクセス
ブラウザから、http://:8000 にアクセスします。

Splunk へのデータ取り込み

サンプルデータを Splunk へ取り込みます。
※サンプルデータは、 http://docs.splunk.com/images/Tutorial/tutorialdata.zip からダウンロードしてください。

  1. 任意のフォルダに tutorialdata.zip を配置し、解凍 します。
    Mailsv、vendor_sales、www1、www2、www3フォルダが作成されます。
  2.  「 Add Data 」 をクリックします。
  3.  Upload をクリックします。
  4.  Select File をクリックし、 Mailsフォルダ内の secure.log を選択しアップロード します。その後、Next をクリックします。
  5. Save as をクリックし、Source Type を設定後、Next をクリックします。
  6.  Constant value に host 名(mailsv) を入力後、Review をクリックし、Submit します。
  7. 下記画面が表示されたらアップロード完了です。

Splunk でデータを探索する(入門編)

  1. Search & Reporting をクリックします。
  2. サーチバーに、sourcetype=”Secure server logs” と入力すると、sourcetype が Secure server logs である Events が表示されます。
  3. Secure server logs において、アクセス元 IPアドレスのTop 5をサーチしてみます。
    <サーチコマンド>
    sourcetype="Secure server logs"
    | top ip limit=5
  4. Secure server logs において、アクセス元 IPアドレスの日別の推移をサーチします。

<サーチコマンド>

sourcetype="Secure server logs"
| timechart count by ip

 

下記のグラフを見ると、アクセス元IPアドレスとして一番多いのは、オレンジ色:10.3.10.46 で 3の結果と一致します。

このように、Splunkに マシンデータ を取り込むと 簡単に可視化 することができ、ビジネスにおいて 意味のある情報をリアルタイムに生成 することができます。サーチバーに記載するサーチコマンドは、Splunk 独自のサーチ処理言語(SPL) です。サーチコマンド自体は数百種類ありますが、よく使うサーチコマンドは限られています。

次回は、よく使うサーチコマンドを紹介し、より深くデータを探索する方法を紹介しますのでお楽しみに!!

記事は、予告なく変更または削除される場合があります。
記載された情報は、執筆・公開された時点のものであり、予告なく変更されている場合があります。
また、社名、製品名、サービス名などは、各社の商標または登録商標の場合があります。