침입 방지 시스템 (Intrusion Prevention System)

Jan 27, 2026

핵심 개념

IPS(Intrusion Prevention System)는 침입 시도를 실시간으로 탐지하고 적절한 대응(차단, 경고 등)을 수행하는 보안 시스템이다. 방화벽만으로는 허용된 트래픽 내의 공격을 탐지할 수 없기 때문에, IPS는 심층적인 트래픽 분석을 통해 방화벽을 보완한다.

IPS의 설계 축

축	옵션
탐지 시점	실시간 / 사후 분석
입력 유형	셸 명령, 시스템 콜, 네트워크 패킷
대응 방식	경고, 프로세스 종료, 허니팟 유도

동작 원리

1. Signature-based Detection (시그니처 기반)

알려진 공격 패턴(시그니처)을 매칭하는 방식이다.

[트래픽] ──┬── 패턴 A 매칭? → 차단
           ├── 패턴 B 매칭? → 경고
           └── 매칭 없음 → 통과

예시: 패킷에서 /etc/passwd 문자열 탐지, 바이러스 시그니처 스캔
장점: 알려진 공격에 정확
단점: Zero-day 공격 탐지 불가

비유하면, 수배자 사진을 대조하는 것과 같다.

2. Anomaly Detection (이상 탐지)

정상 행동 기준선을 설정하고, 이를 벗어나는 행동을 탐지하는 방식이다.

[기준선] ← 정상 행동 학습
[트래픽] ── 기준선과 비교 ── 편차 > 임계값? → 경고

예시: 데몬의 시스템 콜 패턴 이상, 비정상 시간 로그인, 특정 사용자의 이상 명령어
장점: 미지의 공격(Zero-day) 탐지 가능
단점: 기준선 정의 어려움, False Alarm 다발

비유하면, “평소와 다른 행동”을 감지하는 것과 같다.

False Alarm 문제

베이즈 정리를 적용한 현실적 시나리오:

100대 워크스테이션, 하루 100만 감사 레코드
실제 침입 2건 (각 10개 레코드) → P(I) = 20/1,000,000 = 0.00002

P(A|I)=0.8, P(A|¬I)=0.0001일 때:

P(I|A) ≈ 0.14 → 7번 경보 중 1번만 실제 침입!

Christmas Tree Effect: 과다 경보로 관리자가 경보를 무시하게 되는 현상.

Honeypot

공격자를 유인하는 가짜 시스템이다. 실제 시스템처럼 보이지만 격리되어 있으며, 공격 패턴 분석과 시간 벌기에 활용된다.

Virus Protection 기법

패턴 매칭: 시그니처 기반 탐지
행동 분석: 파일 쓰기 시도 감시
Sandbox: 격리 환경에서 실행 후 분석
파일 시그니처 검증: 파일 변조 탐지

예시

웹 서버가 갑자기 /etc/passwd 읽기를 시도하면:

Anomaly Detection이 이상 행동 탐지
IPS가 해당 프로세스 격리
관리자에게 경고 발송