IPsec - 3계층 암호화 통신의 구조와 원리

1. IPsec이란?

IPsec(Internet Protocol Security)은 IP 레이어(L3)에서 동작하는 보안 프로토콜 모음이다.

상위 레이어 애플리케이션의 수정 없이 패킷 단위로 암호화·인증·무결성을 보장할 수 있다는 것이 특징이다.

IPsec이 보장하는 네 가지 목표는 다음과 같다.

기밀성	데이터 암호화 — 도청 방지
무결성	데이터 변조 감지
인증	통신 상대방 신원 확인
재전송 방지	Replay Attack 차단

 

2. IPsec의 두 프로토콜: AH vs ESP

1️⃣ AH (Authentication Header) — Protocol 51

AH는 인증과 무결성만 제공한다.

암호화 기능은 없으며, IP 헤더를 포함한 패킷 전체를 인증 범위에 포함시킨다.

NAT 환경에서는 IP 헤더가 변조되기 때문에 AH 검증이 실패하여 사실상 사용이 불가능하다.

2️⃣ ESP (Encapsulating Security Payload) — Protocol 50

ESP는 인증 + 무결성 + 암호화를 모두 제공한다.

IP 헤더를 인증 범위에서 제외하므로 NAT 환경에서도 NAT-T(NAT Traversal)를 통해 동작 가능하다.

실무에서는 ESP가 표준으로 사용된다.

3. 두 가지 동작 모드: Transport vs Tunnel

1️⃣ Transport Mode

IP 헤더는 그대로 두고 페이로드(데이터 부분)만 보호한다.

종단 간(End-to-End) 통신, 즉 호스트 ↔ 호스트 구성에서 사용된다.

2️⃣ Tunnel Mode

원본 IP 패킷 전체를 캡슐화하고 새 IP 헤더를 추가한다.

게이트웨이 ↔ 게이트웨이 사이의 Site-to-Site VPN에서 주로 사용된다.

아래는 Tunnel Mode에서 ESP가 패킷을 감싸는 구조다.

새 IP 헤더는 ESP 인증 범위에 포함되지 않는다.

덕분에 NAT 장비가 IP 헤더를 수정하더라도 ESP 검증에 영향을 주지 않는다.

 

4. SA (Security Association): IPsec 통신의 설정 묶음

1️⃣ SA란?

SA는 두 통신 장치가 상호간의 통신 방법에 대해 합의한 단방향 설정 묶음이다.

SA는 단방향이기 때문에, 양방향 통신을 위해서는 SA 2개가 필요하다.

A ──→ B  방향 SA  (A→B 패킷에 적용되는 규칙)
A ←── B  방향 SA  (B→A 패킷에 적용되는 규칙)

2️⃣ SA 안에 담긴 정보

항목	예시
암호화 알고리즘	AES-256
인증 알고리즘	SHA-256
세션 키	a3f9... (실제 암복호화에 쓰는 키)
유효기간	8시간 또는 1GB 전송 후 만료
SPI	SA를 식별하는 인덱스 번호

이 정보들은 SAD (Security Association Database) 에 저장된다.

 

5. IKE: SA 협상 자동화 프로토콜

1️⃣ 왜 자동화가 필요한가?

SA를 수동으로 관리하면 다음 문제가 발생한다.

• 키 배포 문제 — 관리자가 수백 대 장비에 일일이 같은 키를 입력해야 한다.
• 키 노출 위험 — 이메일·전화로 키를 전달하는 순간 도청 위험에 노출된다.
• 키 교체 문제 — SA는 주기적으로 갱신해야 보안이 유지되는데, 수동이면 매번 작업이 필요하다.
• 확장성 없음 — VPN 사용자 1,000명이면 SA 2,000개를 수동으로 관리해야 한다.

2️⃣ IKE가 자동으로 처리하는 것

1. 상대방 인증      → 신원 확인
2. 알고리즘 협상     → "AES 쓸까, 3DES 쓸까?"
3. 키 생성/교환      → Diffie-Hellman으로 안전하게
4. SA 수립           → SAD에 등록
5. 주기적 갱신       → 만료 전 자동으로 새 SA 생성

 

3️⃣ IKE Phase 1 / Phase 2

아래는 IKE 전체 흐름의 시퀀스를 표현한 것이다.

 

IKEv2는 IKEv1보다 메시지 교환 횟수가 적고 구조가 간결하여, 특히 모바일 환경에서의 재연결 속도가 빠르다.

 

6. 주요 사용 사례

Site-to-Site VPN	두 사이트 네트워크를 Tunnel Mode로 연결
Remote Access VPN	재택근무자 등 원격 접속
보안 터널링	인터넷 구간에서 내부망 통신 보호

 

8. 전체 흐름 정리

[IKE Phase 1]

  ① DH로 공유 키 계산        ← 키를 안전하게 만듦
  ② PSK/인증서로 상대 인증   ← MITM 방지
  ③ IKE SA 수립

[IKE Phase 2]
  ④ IPsec SA 협상 (암호화 알고리즘 등)
  ⑤ SAD에 등록

[데이터 전송]
  ⑥ ESP로 암호화된 실제 통신
  ⑦ SA 만료 전 자동 갱신

 

SA는 암호화 통신을 위한 설정 묶음이고, IKE는 그 설정을 안전하게 자동 협상해주는 프로토콜이다.

그리고 DH는 키 자체를 전송하지 않고 수학적으로 양쪽이 같은 키에 도달하게 해주는 핵심 메커니즘이다.