[ML 스터디 1주차] 미분과 극한, 그리고 도함수

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드
참고 본문: 43~52p. 1.10 미분

--------------

오일러 수에 대해 정리하며 마지막에 경사하강법(Gradient Descent)이라는 것을 언급했다.

손실 함수(Loss Function)의 기울기를 계산하고 그 기울기의 반대 방향으로 파라미터를 조금씩 이동시켜 오차를 최소화한다는 원리인데, 결국 기울기는 "지금 이 순간 값이 어느 방향으로 얼마나 빠르게 변하는가"이며, 이 질문에 답하려면 미분을 알아야 한다.

1. 미분의 조건

1️⃣ 미분이 구하는 값

'함수를 미분한다'는 것은 특정 순간에 값이 얼마나 빠르게 변하고 있는지, 즉 순간변화율을 구하는 과정이다.

그래프 상에서는 특정 지점에서 접선의 기울기를 찾는 일이다.

자동차의 누적 주행 거리를 기록한 그래프를 놓고 '바로 지금 이 순간 계기판에 찍힌 속도'를 읽는 일이 미분에 해당한다.

주행 거리 그래프 전체는 '위치의 변화'를 담고 있지만, 특정 시점의 순간 속도는 그 지점에서 그래프가 얼마나 가파른지, 곧 접선의 기울기로 결정된다.

 

📊위치-시간 그래프에서 순간 속도가 접선의 기울기로 나타나는 관계

2️⃣ 미분 가능한 함수

모든 함수를 미분할 수 있는 것은 아니다.

어떤 함수를 미분하려면 그 함수가 먼저 '미분 가능한 상태'여야 한다.

이를 판단하는 기준이 연속과 미분가능성이다.

🔵 연속함수

그래프를 그릴 때 연필을 떼지 않고 한 번에 그릴 수 있는 함수다.

수학적으로는 특정 지점 x=a에서 좌극한과 우극한이 서로 같고, 그 값에 실제 함수값 f(a)가 정확히 존재해야 한다.

끊긴 곳, 구멍, 갑작스러운 도약이 없어야 연속이다.

🔵 미분가능함수

끊어지지 않을 뿐만 아니라, 뾰족한 곳이 없이 매끄러운 함수다.

모든 지점에서 접선을 하나로 부드럽게 그을 수 있어야 한다.

미분가능한 함수는 반드시 연속이지만, 연속함수라고 해서 모두 미분가능한 것은 아니다.

연속은 미분가능의 필요조건일 뿐 충분조건이 아니다.

 

📊 연속함수 ⊃ 미분가능함수 포함 관계

 

🔵 미분이 불가능한 예: 절댓값 함수

대표적인 예가 f(x) = |x| 같은 절댓값 함수다.

x=0에서 선이 끊어지지는 않기 때문에 연속이지만, V자 모양으로 뾰족하게 꺾여 있다.

이 꺾인 지점을 첨점이라 부른다.

첨점에서는 왼쪽에서 다가올 때의 기울기와 오른쪽에서 다가올 때의 기울기, 즉 좌미분계수와 우미분계수가 서로 다르다.

순간의 기울기를 하나로 정의할 수 없으므로 이 지점에서는 미분이 불가능하다.

 

📊 절댓값 함수 y=|x|의 첨점과 좌우 기울기 불일치

 

2. 극한(Limit)

1️⃣ 한 점에서 기울기를 구할 때 생기는 모순

미분은 '특정 순간의 접선 기울기'를 구하는 과정이라고 했다.

그런데 기울기를 구하려면 원칙적으로 두 개의 점이 필요하다.

두 점의 세로 변화량을 가로 변화량으로 나눈 것이 기울기이기 때문이다.

그런데 '하나의 순간'에는 점이 하나뿐이다.

같은 점 하나로 기울기를 구하려 하면 가로 변화량이 0이 되어, 수식상 분모가 0인 모순, 즉 0/0 꼴이 된다.

그러나 이 값은 정의되지 않는다.

 

2️⃣ '도착'이 아니라 '목적지'

이 딜레마를 해결하는 도구가 극한이다.

극한은 실제로 그 지점에 '도착'하는 것이 아니라, 한없이 가까워질 때 '어디로 향하는지'라는 목적지를 다루는 개념이다.

그래프 위의 두 점 사이의 간격을 0으로 한없이 밀어붙이면, 두 점을 잇던 직선(할선)이 점점 기울기를 바꾸다가 마침내 한 점에서 스치는 접선으로 수렴한다.

두 점의 간격 h가 0에 가까워질수록 두 점 사이의 평균변화율(할선의 기울기)이 순간변화율(접선의 기울기)에 수렴한다.

 

📊 할선이 접선으로 수렴하는 과정

극한은 '순간'이라는, 계산이 불가능해 보이는 대상을 다루기 위해 고안된 장치다.

미분이라는 개념도 결국 이 극한 위에 세워진다.

 

3. 미분의 정의와 실제 계산 과정

1️⃣ 미분계수의 정의식

앞서 본 극한의 원리를 수식으로 정리한 것이 미분계수의 정의식이다.

 

f'(x) = lim(h→0) [f(x+h) - f(x)] / h

 

이 식에 극한의 논리가 담겨 있다.

분자 f(x+h) - f(x)는 x에서 x+h로 이동했을 때의 세로 변화량이고, 분모 h는 가로 변화량이다.

둘의 비율은 두 점 사이의 평균변화율(할선의 기울기)이며, 여기에 h→0의 극한을 씌워 순간변화율(접선의 기울기)로 수렴시킨다.

 

2️⃣ f(x) = x^2을 미분하기

위 정의식을 이용해 f(x) = x^2을 미분하는 과정을 단계별로 정리하면 다음과 같다.

🔵 1단계: 함수 식 대입

정의식의 f(x+h) 자리에 (x+h)^2을 대입한다.

 

f'(x) = lim(h→0) [(x+h)^2 - x^2] / h

🔵 2단계: 분자 전개 및 정리

완전제곱식을 전개하고 x^2을 소거한다.

 

f'(x) = lim(h→0) [(x^2 + 2xh + h^2) - x^2] / h = lim(h→0) (2xh + h^2) / h

 

🔵 3단계: 약분하여 0/0 꼴 탈출

분자에서 h를 공통인수로 묶어 분모와 약분한다.

이렇게 하면 0/0의 모순을 벗어날 수 있다.

 

f'(x) = lim(h→0) h(2x + h) / h = lim(h→0) (2x + h)

 

🔵 4단계: 극한값 계산

분모의 h가 사라져 더 이상 0으로 나누는 문제가 없으므로, h 자리에 0을 대입해 최종 결과를 얻는다.

 

f'(x) = 2x + 0 = 2x

정의식에서 출발해 평균변화율을 세우고, 약분으로 0/0을 해소한 뒤 극한을 취하는 이 흐름이 모든 미분 계산의 원형이다.

 

4. 도함수(Derivative)

매번 특정 지점의 기울기를 구할 때마다 위와 같은 극한 계산을 반복할 수는 없다.

그래서 임의의 x에 대해 미리 일반화해 둔 식을 만들어 두는데, 이것이 도함수다.

도함수 f'(x)는 원래 함수 f(x)에서 파생되지만, 그 자체로 별개의 함수이다.

f(x)가 입력 x에 대한 출력값 y를 알려준다면, f'(x)는 각 x에서 f(x)의 순간변화율, 즉 그래프 상의 접선의 기울기를 알려준다.

f(x) = x^2을 예로 들면, 이 함수의 도함수는 f'(x) = 2x이다.

f(x)가 x의 제곱값을 출력한다면, f'(x)는 x의 2배값을 출력하는데, 이는 f(x) 그래프의 각 점 (x, x^2)에서 접선의 기울기가 2x라는 뜻이다.

이처럼 미분은 함수에서 도함수를 만들어내는 연산이다. 한 번 도함수를 구해 두면, 그 식에 x값을 대입하는 것만으로 해당 지점에서의 순간변화율을 바로 구할 수 있다.

 

📊 원함수 → 미분 → 도함수

 

미분이 극한 계산을 한 번 수행해 도함수라는 '식'을 만들어 내는 과정이라면, 이후의 기울기 계산은 그 도함수에 값을 대입하기만 하면 된다.

도함수는 한 번 만들어 두면 재사용 가능한 틀 같은 것이다.

5. 도함수의 두 가지 표기: f'(x)와 dy/dx

도함수를 표기하는 방법은 크게 두 가지로 나뉜다.

결국 같은 결과를 내지만, 상황, 분야에 따라 더 효율적인 방법이 있다.

f'(x) (라그랑주 표기법)

• 관점: 원래 함수에서 만들어낸 새로운 함수
• 장점: 식이 간결함. f'(2)처럼 특정 값 대입이 직관적
• 활용 분야: 순수 수학, 간단한 도함수 계산

dy/dx (라이프니츠 표기법)

• 관점: x의 미세한 변화에 따른 y의 변화율
• 장점: 어떤 변수로 미분하는지 명확함. 식 변형에 유리
• 활용 분야: 물리학, 공학, 복잡한 다변수 함수

단순한 함수식의 미분계수를 빠르게 표기할 때는 라그랑주 기호가 유용하다.

반면 복잡한 시스템 내부의 변수 관계나 시간에 따른 변화율처럼 여러 변수가 얽힌 현상을 분석할 때는 분수 형태의 라이프니츠 기호가 직관적이다.

 

특히 머신러닝에서 자주 등장하는 연쇄법칙(Chain Rule)은 라이프니츠 표기가 유용하다.

dz/dx = (dz/dy) · (dy/dx)처럼 분수의 약분과 유사한 형태로 변수 사이의 변화율을 연결할 수 있어, 신경망의 역전파(Backpropagation)처럼 여러 함수가 중첩된 구조를 다룰 때 사고 과정을 그대로 식으로 옮길 수 있다.