보안 빅데이터 분석 플랫폼 구축과 활용

1장. 개요
1.1 왜 데이터 분석이 필요한가?
1.1.1 보안위협의 고도화 및 지능화
1.1.2 보안 담당자의 한계 봉착
1.1.3 기술 발전에 따른 보안 트렌드의 변화
1.2 왜 플랫폼으로 구축해야 하는가?
1.2.1 보안 데이터가 지니는 고유의 특성
1.2.2 보안 빅데이터 분석 플랫폼 정의
1.2.3 플랫폼의 진정한 힘: 네트워크 효과와 교차 네트워크 효과
1.3 왜 구축 가이드가 중요한가?
1.3.1 플랫폼 구축의 현실: Case By Case
1.3.2 성공적 구축은 성공적 활용의 전제조건
1.3.3 구축 가이드가 제공할 가치: 품질, 시간, 그리고 시너지
1.4 왜 스플렁크인가?

2장. 보안 빅데이터 분석 플랫폼 구축 워크플로우
2.1 워크플로우 개요
2.2 Phase 1: 구축 전 사전 준비
2.2.1 Why: 플랫폼 구축 목적 명시
2.2.2 What: 플랫폼 기본 구성 요소 정의
2.2.3 How: 주요 구성 요소별 플랫폼 구현 방안 수립
2.3 Phase 2: 플랫폼 인프라 구성
2.3.1 구성 기준 정의
2.3.2 스플렁크 인스턴스 설치
2.3.3 주요 구성별 설정 적용
2.3.4 주요 구성 변경 요건별 설정 변경 가이드
2.4 Phase 3: 플랫폼 콘텐츠 구현 및 활용
2.4.1 데이터 검색
2.4.2 데이터 분석
2.4.3 시나리오 구현 및 적용
2.4.4 대시보드 구성 및 활용
2.4.5 콘텐츠 강화를 위한 툴과 팁
2.5 Phase 4: 스플렁크 앱 기반 플랫폼 확장
2.5.1 상용 앱
2.5.2 무료 앱
2.6 Phase 5: 구축 후 운영 환경 최적화
2.6.1 플랫폼 운영 현황 점검 항목 정의
2.6.2 점검 항목별 현황 점검 수행
2.6.3 정상 여부 확인 및 비정상 항목 조치
2.6.4 플랫폼 구성 요소별 운영 효율성 강화 가이드
2.7 워크플로우 호환성: 꼭 스플렁크여야만 하는가

3장. Phase 1: 구축 전 사전 준비
3.1 Why: 플랫폼 구축 목적 명시
3.1.1 업무 개선 목표 달성
3.1.2 IT 목표 달성
3.1.3 기타 요건
3.2 What: 플랫폼 기본 구성 요소 정의
3.2.1 구축 환경
3.2.2 데이터 수집 및 전송
3.2.3 데이터 저장
3.2.4 데이터 검색
3.2.5 데이터 분석 및 활용
3.2.6 데이터 시각화
3.2.7 플랫폼 운영 및 관리
3.3 How: 주요 구성 요소별 플랫폼 구현 방안 수립
3.3.1 구축 환경 정의
3.3.2 데이터 수집 및 전송 방안
3.3.3 데이터 저장 방안
3.3.4 데이터 검색 방안
3.3.5 데이터 분석 및 활용 방안
3.3.6 데이터 시각화 방안
3.3.7 플랫폼 운영 및 관리 방안

4장. Phase 2: 플랫폼 인프라 구성
4.1 사전 공지사항
4.2 시뮬레이션 환경 구성 가이드
4.3 가상 데이터 수집 설정
4.4 단일 서버 환경 구성
4.4.1 구성 기준 정의
4.4.2 스플렁크 엔터프라이즈 설치 및 설정
4.4.3 데이터 수집 및 전송 설정
스플렁크 엔터프라이즈 라이선스 적용
스플렁크 엔터프라이즈에서의 데이터 수집 설정
4.4.4 데이터 저장 설정
4.4.5 데이터 검색 설정
4.4.6 스플렁크 유니버설 포워더 설치 및 설정
스플렁크 유니버설 포워더 설치
파일 및 디렉터리 모니터링 설정
로그 이벤트 속성 설정
로그 이벤트 전송 설정
4.4.7 플랫폼 인프라 구성 후 정상 동작 확인
4.5 복수 서버 환경 구성
4.5.1 구성 기준 정의
4.5.2 스플렁크 엔터프라이즈 인스턴스 설치
4.5.3 데이터 수집 및 전송 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
로그 이벤트 수신 설정
로그 이벤트 전송 설정
로그 이벤트 필터링 설정
로그 이벤트 마스킹 설정
4.5.4 데이터 저장 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
신규 인덱스 생성
전송 데이터의 대한 저장 설정
4.5.5 데이터 검색 설정
스플렁크 엔터프라이즈 라이선스 마스터 설정
검색 피어 등록
검색 데이터 필드 추출
4.5.6 스플렁크 유니버설 포워더 설치 및 설정
4.5.7 플랫폼 인프라 구성 후 정상 동작 확인
4.6 클러스터링 기반 분산 처리 환경 구성
4.6.1 구성 기준 정의
4.6.2 스플렁크 엔터프라이즈 인스턴스 설치
4.6.3 라이선스 마스터 & 클러스터 마스터 설정
라이선스 마스터 설정
클러스터 마스터 설정
인덱스 추가 생성 및 배포 설정
4.6.4 데이터 수집 및 전송 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용로그 이벤트 수신 설정
로그 이벤트 전송 설정
로그 이벤트 필터링 & 마스킹 설정
4.6.5 데이터 저장 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
인덱서 피어 노드 활성화
인덱스 생성 정보에 대한 정상 배포 확인
전송 데이터에 대한 저장 설정
4.6.6 데이터 검색 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
검색 피어 등록
검색 헤드 클러스터링 설정
검색 데이터 필드 추출
4.6.7 스플렁크 앱 배포 설정
스플렁크 엔터프라이즈 라이선스 슬레이브 적용
검색 헤드 클러스터 정보 등록
검색 헤드 클러스터 구성원 대상 배포 정보 수신 설정
배포 대상 앱 업로드
배포 대상 앱을 검색 헤드 클러스터 구성원에 배포
검색 헤드 클러스터 구성원에서 배포 앱 확인160
4.6.8 모니터링 콘솔 설정
검색 피어 추가 적용
분산 모드 전환 적용
4.6.9 스플렁크 유니버설 포워더 설치 및 설정
4.6.10 플랫폼 인프라 구성 후 정상 동작 확인
4.7 주요 구성 변경 요건별 설정 가이드
4.7.1 기존 수집 대상의 종류/용량 변경
4.7.2 기존 수집 방식과 동일한 신규 수집 대상 추가
4.7.3 수집 데이터 저장 기간 설정 및 변경

5장. Phase 3: 플랫폼 콘텐츠 구현 및 적용
5.1 사전 공지사항
5.2 데이터 검색
5.2.1 키워드 검색
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.2.2 이벤트 추이 검색
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.2.3 정규표현식을 활용한 고급 검색
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.2.4 검색 결과 저장 및 공유
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.3 데이터 분석
5.3.1 로그 이벤트에 대한 시계열 상관 분석
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.3.2 통계 함수를 활용한 분석 결과 구체화
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.3.3 차트 함수를 활용한 분석 결과 시각화
사용자 요건 정의
스플렁크를 통한 구현 예시
실무 활용 가이드
5.4 시나리오 구현 및 적용
5.4.1 사용자 요건 정의
5.4.2 스플렁크를 통한 구현 예시
5.4.3 실무 활용 가이드
5.5 대시보드 구성 및 활용
5.5.1 사용자 요건 정의
5.5.2 스플렁크를 통한 구현 예시
5.5.3 실무 활용 가이드
5.6 콘텐츠 강화를 위한 툴과 팁
5.6.1 경고
5.6.2 룩업
5.6.3 KV 스토어
5.6.4 Summary Index
5.6.5 보고서 가속화
5.6.6 데이터 모델 가속화

6장. Phase 4: 스플렁크 앱 기반 플랫폼 확장
6.1 Splunk Enterprise Security App
6.1.1 보안 포스처(Security Posture)
6.1.2 인시던트 검토(Incident Review)
6.1.3 조사 케이스(Investigation)
6.1.4 글래스 테이블(Glass Table)
6.1.5 보안 인텔리전스(Security Intelligence)
6.1.6 보안 도메인(Security Domain)
6.1.7 워크플로우 기반 보안 위협 대응 자동화(Adaptive Response)
6.2 주요 무료 앱
6.2.1 Splunk Add-on for *nix
6.2.2 Splunk DB Connect
6.2.3 Lookup Editor
6.2.4 Splunk Dashboard Examples
6.2.5 Timeline
6.2.6 보안 솔루션 관련 앱에 대한 설치 및 활용
6.2.7 Splunk Machine Learning Toolkit
쇼케이스 예시: 수치 예측(Predict Numeric Fields)
쇼케이스 예시: 범주 분류(Predict Categorical Fields)
쇼케이스 예시: 수치형 이상치 탐지(Detect Numeric Outliers)
쇼케이스 예시: 범주형 이상치 탐지(Detect Categorical Outliers)
쇼케이스 예시: 시계열 예측(Forecast Time Series)
쇼케이스 예시: 수치 데이터 군집화(Cluster Numeric Events)

7장. Phase 5: 구축 후 운영 환경 최적화
7.1 플랫폼 운영 현황 점검 항목 정의
7.2 데이터 수집 및 전송 영역 점검
7.2.1 Event Processing Queue 점검
점검 개요
점검 방법
정상 여부 판단 기준
7.2.2 필드 추출 정합성 유무 점검
7.2.3 데이터 수집 누락 여부 점검
7.2.4 데이터 비정상 수집 점검
7.2.5 가용성 데이터 정상 수집 여부 점검
7.2.6 Splunk DB Connect 에러 발생 여부 점검
7.3 데이터 저장 및 복제 영역 점검
7.3.1 인덱서 피어 노드 정상동작 여부 점검
7.3.2 인덱서 클러스터링 정상동작 여부 점검
7.3.3 버킷 오류 존재 유무 점검
7.3.4 버킷 저장 공간 상태 확인
7.3.5 인덱스별 데이터 보관주기 확인
7.4 데이터 검색 및 배포 영역 점검
7.4.1 Saved Search 구동 현황 점검
7.4.2 메모리 과다 사용 검색 점검
7.4.3 장시간 동작하는 검색 쿼리 점검
7.4.4 검색 헤드 클러스터링 상태 점검
7.4.5 캡틴 선출 내역 점검
7.4.6 KV 스토어 상태 점검
7.4.7 룩업 파일 활용 현황 점검
7.5 플랫폼 운영 및 관리 영역 점검
7.5.1 스플렁크 인스턴스 현황 확인
7.5.2 스플렁크 인스턴스 리소스 사용량 점검
7.5.3 스플렁크 내부 로그 내 ERROR/WARN 메시지 분석
7.5.4 플랫폼 사용 이력 점검
7.5.5 사용자 접근 통제 관리
7.5.6 스플렁크 라이선스 변동량 점검
7.6 플랫폼 구성 요소별 운영 효율성 강화 가이드
7.6.1 데이터 수집 및 전송 영역
7.6.2 데이터 저장 및 복제 영역
7.6.3 데이터 검색 및 배포 영역
7.6.4 플랫폼 운영 및 관리 영역

8장. 주요 장애 유형별 대응 가이드
8.1 장애 대응의 어려움과 신속한 조치의 중요성
8.2 데이터 수집 및 전송 영역
8.2.1 수집 데이터 파싱 오류
8.2.2 데이터 수집 누락
8.2.3 DB Connection fail 오류
8.2.4 Line Breaking Error
8.2.5 Timestamp Parsing Error
8.2.6 Max Events Error
8.2.7 간헐적 로그 미수집 및 스플렁크 인덱서 서버로의 미전송 오류
8.3 데이터 저장 및 복제 영역
8.3.1 스플렁크 인덱서 피어 다운 지속 발생
8.3.2 초과 버킷 발생
8.3.3 인덱스 보관주기 초과로 인한 데이터 저장 실패
8.3.4 데이터 복제 비정상 동작으로 인한 데이터 검색 실패
8.3.5 인덱서 클러스터링 오류
8.3.6 스플렁크 인덱서 서버의 CPU/MEMORY 과부하 현상 지속
8.4 데이터 검색 및 배포 영역
8.4.1 라이선스 마스터 또는 클러스터 마스터와의 연결 실패
8.4.2 배포 서버를 통한 배포 수행 시 오류 발생
8.5 플랫폼 운영 및 관리 영역
8.5.1 실시간 검색 과다로 인한 인덱싱 성능 저하
8.5.2 Saved Search 실패
8.5.3 대시보드 오류
8.5.4 경고 및 보고서 생성 실패
8.5.5 룩업 데이터 조회 시 검색 결과 미표시
8.6 장애 조치 시 참고사항
8.6.1 Splunk Answers 활용
8.6.2 Splunk Support Case Open
8.6.3 Community Based Support - Blog & Article

9장. 플랫폼 증설 가이드
9.1 스플렁크 라이선스 증설 시 중점 고려사항
9.1.1 기존/신규 라이선스 통합 적용 및 확인
9.1.2 스플렁크 라이선스 증설 후 추가 고려사항
9.2 서버 증설 시 중점 고려사항
9.2.1 사전 체크리스트 작성 및 확인
9.2.2 서버 증설 예시: 스플렁크 헤비 포워더 서버
9.2.3 서버 증설 예시: 스플렁크 인덱서 서버
9.2.4 서버 증설 예시: 스플렁크 검색 헤드 서버
9.2.5 서버 증설 후 추가 고려사항

10장. 입문자를 위한 퀵 스타트 가이드
10.1 스플렁크 앱 설치 및 환경 구성
10.1.1 Splunk Enterprise 7.2.4 다운로드하기
10.1.2 Splunk Enterprise 7.2.4 설치
10.1.3 Splunk Enterprise 7.2.4 로그인 및 실행 상태 확인
10.2 데이터 수집/저장 설정 및 적용
10.2.1 신규 인덱스 생성
10.2.2 스크립트를 활용한 데이터 수집 설정
10.2.3 로그 이벤트 병합 해제 설정
10.2.4 변경된 설정 적용을 위한 스플렁크 인스턴스 재시작
10.3 데이터 검색 및 분석 결과 시각화
10.3.1 필드 추출
10.3.2 데이터 검색 정상동작 여부 확인
10.3.3 데이터 시각화 지원 앱 설치 및 설정