Splunk Cấu hình onboard data trong Splunk Cluster - Phần 2

Ở phần một, chúng ta đã cùng tìm hiểu về Splunk Cluster.

Phần 1: http://securityzone.vn/index.php?threads/11782/

Các bước triển khai:
1.1 Tạo cấu hình cho Agent
1.2 Tạo cấu hình cho Indexer

Trong phần tiếp theo là cách sử dụng, quản lý Agent đã được cài đặt trên Windows/Linux server để monitor log.

1.1 Tạo cấu hình cho Agent.
Để tạo cấu hình cho Agent đã được cài trên Windows và Linux, sử dụng WinSCP, truy cập vào Deploy server, đồng thời cũng là master server:

Sử dụng WinSCP truy cập đến đường dẫn /splunk/splunk/etc/deployment-apps:

Tại đây, phải chuột chọn New, Chọn Directory… :



Đặt tên cho ứng dụng là TA_HG_Eoffice, chọn OK:


Sau đó truy cập vào thư mục TA_HG_Eoffice vừa được tạo:



Trong thư mục TA_HG_Eofice, tạo thư mục local bằng cách phải chuột, chọn New, chọn Directory:





Đặt tên thư mục là local:



Sau đó truy cập tiếp vào thư mục local, tạo file inputs.conf bằng các phải chuột, chọn New, chọn File:

Đặt tên file là inputs.conf :


File /splunk/splunk/etc/deployment-apps/TA_HG_Eoffice/local/inputs.conf sẽ chứa cấu hình cần push xuống các Agent.
Trước khi cấu hình cho Anent, phải thu thập được các thông tin sau:

• Đường dẫn log trên thiết bị cài Agent: Cần xác được đường dẫn chứa file log cần monitor trên thiết bị.
• Xác định nơi lưu trữ log trên indexer: xác định được sẽ lưu log tại thư mục nào trên indexer. Giá trị index sẽ là thư mục chứa log trong indexer. Ví dụ, với cấu hình của indexer dưới đây, thì trên indexer sẽ có một thư mục $SPLUNK_DB/eoffice_chat , và log sẽ được lưu tại index này, lúc này giá trị index=eoffice_chat .

• Xác định loại datasource cần lấy log: Xác định log cần lấy của nguồn nào để gán giá trị sourcetype tương ứng. Ví dụ: log cần lấy là từ web của IIS, thì sourcetype sẽ được quy định là ms:iis:auto.

Sau đó edit file inputs.conf với nội dụng như sau:





Giải thích cấu hình trên

[monitor://C:\inetpub\logs\LogFiles] #đường dẫn log cần monitor trong windows/linux

disabled=0 # giá trị 0= enable, 1 = disable chế độ monitor log

index=eoffice_iis # định nghĩa index mà dữ liệu log được index, phải trùng với index đã được cấu hình trên indexer.

sourcetype=eoffice:chat:live #định nghĩa sourcetype cho log trong đường dẫn log


Như vậy đã tạo xong cấu hình để push xuống các Agent đã được cài trên Window/Linux.

1.2 Tạo cấu hình cho Indexer.

Để tạo cấu hình cho Indexer, sử dụng WinSCP truy cập vào đường dẫn /splunk/splunk/etc/master-apps/ trên Deploy server(Master Server):



Kiểm tra để đảm bảo các Indexer đã được cấu hình index hay chưa.Truy cập vào thư mục TA_HG_system/local



Sau đó mở file indexes.conf:



Tạo thêm index mới cho eoffice bằng cấu hình sau:


Giải thích cấu hình:

[eoffice_chat]

homePath = $SPLUNK_DB/eoffice_chat/db #nơi lưu hot data

coldPath = /splunkdata1/eoffice_chat/colddb #nơi lưu cold data

thawedPath = /splunkdata2/eoffice_chat/thaweddb #nơi lưu thawed data

maxTotalDataSizeMB = 80000 #tổng dung lượng của hot và cold data

homePath.maxDataSizeMB = 50000 #tổng dung lượng của hot data

coldPath.maxDataSizeMM = 30000 #tổng dung lượng cold data

maxHotSpanSecs = 2592000 #giá trị thời gian tối đa(tính bằng giây) của hot data được lưu.

repFactor=auto # enable mode replication data đến các indexer khác


1.3 Push cấu hình index xuống Indexer.
Để push cấu hình xuống indexer, chọn Settings, chọn Indexer clustering:


Chọn Edit, chọn Configuration Bundle Actions:


Trên giao diện Configuration Bundle Actions, chọn Validate and Check Restart để kiểm tra cấu hình có gặp lỗi hay không:


Hiện bảng thông báo, chọn tiếp Validate and Check Restart để confirm lại lần nữa:





Nếu check không gặp lỗi, sẽ thông báo Succesful:


Sau khi Successful, tiến hành Push cấu hình xuống Indexer bằng cách ấn Push:



Ấn Push Changes để confirm:


Sau khi push cấu hình xuống, các indexer tiến hành nhận cấu hình và khởi động lại.

Dưới đây là thông báo đã push thành công, và thời gian push gần nhất:


Để kiểm tra cấu hình trên Indexer đã nhận hay chưa, truy cập 1 indexer bất kì để check, bằng cách chọn chọn Data Summary trong Search, quá trình đợi log về theo cấu hình mới này có thể mất 2-3 phút:



1.4.Tạo Server Classes
Để quyết định sẽ push các cấu hình xuống các Agent nào cần monitor log, cần phải tạo Server Classes để quyết định nhóm Apps(chứa file cấu hình cần push xuống Agent) và Clients(các server cần push cấu hình tương ứng) lại với nhau.

Để tạo server Classes: Trong Forwarder Management, chọn Server Classes, sau đó chọn , New Server Class:



Xuất hiện bảng, đặt tên cho Server Class, sau đó ấn Save:



Thêm Clients cho Server Class:


Xuất hiện giao diện sau, trong cột Host Name liệt kê sẵn các client đã có trên Deploy server.

Deploy server sẽ định danh các server thông qua tên trong Host Name:



Để thêm các Client vào Server Class, copy tên của các client muốn thêm, paste vào ô Include(whitelist):


Sau khi điền xong, ấn Matched để kiểm tra các Client đã điền có match với các Client có trong Deploy server hay không:




Sau khi kiểm tra, không báo lỗi, ấn Save:


Sau khi save thành công, ấn Back to Forwarder Management:




Tại giao diện của Forwarder Managemnet, đã có Server Classes vừa tạo là eoffice_iis:



1.5 Push cấu hình xuống Agent Windows.
Để push cấu hình xuống các Agent đã được cài đặt trên Windows/Linux server, thực hiện các bước dưới đây.

Trên giao diện web, truy cập Forwarder Management, chọn Apps(chú ý, cần làm mới lại trang web nếu chưa xuất hiện):



Chọn Edit của App TA_HG_Eoffice:



Trên giao diện Edit App:TA_HG_Eofice, chọn Server Classes bằng cách chọn icon dấu + , sau đó chọn server classes cần push cấu hình, ở đây ta chọn eoffice_iis:

Trên Server Classes eofice_iis, xuất hiện các Agent trên các máy windows cần push cấu hình, kiểm tra lại các server có trong Server Classes có thừa hay thiếu , hoặc có đúng các Agent cần push cấu hình từ deployment server:



Lúc này, bỏ tích Enable App và Restart Splunkd, sau đó tích lại để nhận lại cấu hình, sau đó ấn Save:


Sau khi save, giao diện hiển thị thông tin như sau:








Kết bài: Sau khi đã push cấu hình xuống indexer, push cấu hình xuống Agent, lúc này đăng nhập vào giao diện web của Splunk để kiểm tra log đã về trên Splunk đã đúng và đủ hay chưa. Nếu Log chưa đúng và đủ, tiền hành cấu hình lại đường dẫn log và các thông tin liên quan, push lại cấu hình và kiểm tra lại cho đến khi đúng theo yêu cầu.