Journey to CS 96

[ML 스터디 4주차] 고유값과 고유 벡터 - 특성방정식과 정규화

행렬은 벡터에 곱해지면 그 벡터의 크기와 방향을 함께 바꾸는 선형 변환으로 작동한다.그런데 어떤 행렬을 곱해도 방향은 바뀌지 않고 크기만 변하는 특별한 벡터가 존재한다.이 벡터를 고유 벡터, 그 크기 변화의 배율을 고유값이라 부른다. 고유값과 고유 벡터는 PCA(주성분 분석)를 비롯한 머신러닝 기법의 수학적 토대이므로 그 값이 어떻게 계산되어 나오는지 이해해 둘 필요가 있다.1. 고유값과 고유 벡터의 정의1️⃣ 기본 관계식행렬 A에 대해 어떤 벡터 v가 존재하여, A를 곱해도 방향은 바뀌지 않고 크기(스칼라 배수)만 변하는 경우가 있다.이때의 관계식은 다음과 같다.Av = λv여기서 λ(람다)는 고유값(eigenvalue), v는 고유 벡터(eigenvector)다.이 식의 의미는 선형 변환 A를 적용해..

[ML 스터디 4주차] 행렬식(Determinant)의 기하학적 의미

행렬식(Determinant)은 정방행렬 하나에 대응하는 단 하나의 스칼라 값이다.n×n 크기의 정방행렬에 대해서만 정의되며, 행과 열의 개수가 다른 행렬에는 존재하지 않는다.표기는 det(A) 또는 |A|로 한다.2×2 행렬 [[a, b], [c, d]]의 경우 그 값은 ad - bc로 계산된다. 이 값은 연립일차방정식의 해가 존재하는지, 존재한다면 유일한지를 판별하기 위해 고안되었다.행렬식이 0이 아니면 해가 유일하게 존재하고, 0이면 해가 없거나 무수히 많다.이처럼 행렬식은 "해를 결정(determine)한다"는 의미에서 determinant라고 불린다.1. 행렬식은 면적의 변화 배율이다행렬식을 이해하는 가장 직접적인 관점은 "선형 변환을 거쳤을 때 면적 또는 부피가 원래보다 몇 배로 변했는지를 나..

[ML 스터디 4주차] p값과 통계적 유의성의 논리 구조 - 우연인가 진짠가?

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 116p. 3.5.3 p값 이해하기--------------데이터 분석이나 실험 결과를 마주할 때 반복적으로 등장하는 질문이 있다."이 결과는 진짜 의미가 있는가, 아니면 그저 우연인가." 이 질문에 수학적 근거를 부여하는 도구가 통계적 유의성(Statistical Significance)과 p값(p-value)이다.1. 가설 검정의 세 가지 핵심 개념가설 검정(Hypothesis Testing)은 새로운 주장이나 효과를 검증할 때 사용하는 통계적 절차다. 이 절차는 낙관이 아니라 철저한 의심에서 출발한다. 즉 "효과가 없다"를 기본 전제로 두고, 데이터가 이 전제를 반박할 만큼 극단적인지를 따진다.1️⃣ 귀무가설 (Null Hypo..

[ML 스터디 4주차] 중심 극한 정리와 신뢰 구간 - 표본으로 모집단을 추론

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 112p. 3.5.2 신뢰 구간--------------모집단 전체를 조사하는 일은 대부분의 현실 상황에서 불가능하다.전국의 성인 몸무게, 특정 품종 개의 평균 체중, 서버가 처리하는 응답 시간 전체를 빠짐없이 측정할 방법은 없다.그럼에도 통계학은 일부 표본만으로 모집단의 특성을 추론할 수 있는 근거를 제공한다.그 근거의 핵심에 중심 극한 정리가 있으며, 이 정리 위에서 신뢰 구간이라는 추론 도구가 작동한다.1. 중심 극한 정리: 모집단을 추론하는 이론적 근거1️⃣ 표본으로 전체를 추론한다는 문제세상의 모든 데이터를 측정하는 것은 불가능하다.대한민국 성인 남성 전체의 키, 존재하는 모든 골든 리트리버의 몸무게 같은 모집단 파라미터를 ..

[ML 스터디 3주차] Z스코어 - 서로 다른 분포의 값을 비교하는 방법

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 107p. 3.4.7 z 점수--------------분포마다 평균과 퍼짐의 정도는 제각각이다.그래서 수학 80점과 영어 85점 중 어느 쪽이 더 잘한 것인지, 과목마다 난이도와 점수 분포가 다르기에 답하기 어렵다.Z스코어(표준점수)는 어떤 값이 자기가 속한 분포의 평균에서 표준편차 몇 개만큼 떨어져 있는지를 계산해, 기준이 서로 다른 값들을 하나의 공통 잣대 위로 옮겨놓는다.1. Z스코어란 무엇인가1️⃣ 값의 위치를 '표준편차 단위'로 환산Z스코어는 하나의 값이 평균으로부터 표준편차 몇 배만큼 떨어져 있는지를 나타내는 수치다. 정의는 다음과 같다. x − μ z = ─────── σ각 기호의 의미는 다음과..

[ML 스터디 3주차] 확률밀도함수(PDF)와 누적분포함수(CDF)

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 102p. 3.4.5 정규분포 - 확률 밀도 함수(PDF)--------------연속형 데이터에서 확률은 점이 아니라 면적으로 존재하며, 이 면적을 왼쪽부터 쌓아 올린 것이 누적 확률이다.1. 확률밀도함수(PDF): 면적 = 확률1️⃣ 연속형 데이터에서 점의 확률은 0이다키, 몸무게, 시간처럼 값이 끊어지지 않고 이어지는 데이터를 연속형 데이터라 부른다.이런 데이터에서는 특정 값이 소수점 끝까지 정확히 일치할 확률이 수학적으로 0에 수렴한다.키가 정확히 175.000...cm인 사람을 특정하는 순간, 그 아래로 무한히 많은 소수점 자리가 존재하기 때문이다.따라서 연속형 데이터의 확률은 하나의 점이 아니라 구간으로 정의해야 한다.곡선..

[ML 스터디 3주차] 표본 분산은 왜 n이 아니라 n-1로 나누는가?

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 97p. 3.4.4 분산과 표준편차--------------1. 모집단과 표본모집단(population)은 분석 대상이 되는 전체 데이터를 뜻한다.예를 들어 대한민국 전체 인구가 모집단이다.표본(sample)은 그중 일부만 뽑아낸 데이터다. 조사를 위해 100명을 뽑았으면, 그 뽑은 100명이 표본이다.전체 데이터를 모두 조사하는 것은 대부분 불가능하므로, 일부를 뽑아 전체를 추정하는 것이 통계의 기본 방식이다.문제는 표본만으로 계산한 분산이 모집단의 실제 분산과 일정한 방향으로 어긋난다는 데 있다.그리고 그 어긋남의 방향은 항상 '실제보다 작게'로 정해져 있다.2. 표본 평균 기준의 편차는 작게 계산된다표본으로 분산을 구할 때, 편..

[ML 스터디 3주차] 분산과 표준편차 - 왜 제곱인가?

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 94p. 3.4.4 분산과 표준편차--------------1. 분산과 표준편차의 정의1️⃣ 퍼짐을 측정하는 출발점: 평균과의 차이데이터가 얼마나 퍼져 있는지를 측정하려면 각 데이터 값이 평균에서 얼마나 떨어져 있는지를 봐야 한다.가장 직접적인 방법은 각 데이터에서 평균을 빼는 것이다. 이 차이를 편차(deviation)라고 부른다.문제는 여기서 발생한다. 평균보다 큰 데이터는 편차가 양수(+)가 되고, 평균보다 작은 데이터는 편차가 음수(-)가 된다.이 편차들을 그대로 더하면 양수와 음수가 서로 상쇄되어 항상 0이 된다.평균은 데이터의 무게중심이므로, 정의상 편차의 합은 언제나 0이 된다.따라서 편차의 합만으로는 데이터가 퍼진 정도..

[ML 스터디 2주차] 이항 분포 vs 베타 분포

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 72p. 2.4 베타 분포--------------책에서 사용한 엔진 테스트 예시 대신에 좀 더 단순한 예시들을 가지고 이항 분포와 베타 분포의 차이를 알아본다. 1. 알고자 하는 것이항 분포와 베타 분포의 가장 큰 차이는 '무엇을 알고 있고, 무엇을 모르는가(무엇을 추정하려 하는가)'에 있다.똑같은 동전 던지기 상황을 다루더라도 두 분포에서 알고자 하는 것은 반대 방향을 가리킨다.1️⃣ 이항 분포: 동전의 성능을 알 때, 결과는 어떨까앞면이 나올 확률이 50%인 정상적인 동전이 있다고 하자. 이때 "이 동전을 10번 던졌을 때 앞면이 정확히 7번 나올 확률은 얼마인가"를 묻는다.성능(확률)은 이미 주어졌고, 궁금한 것은 성공 횟수,..

[ML 스터디 2주차] 제트 엔진 테스트 사례로 살펴보는 이항 분포와 통계적 의사결정

스터디 교재: "개발자를 위한 필수 수학" by 토마스 닐드참고 본문: 70p. 2.3 이항 분포--------------책에서 이항 분포 설명을 위해 다음과 같은 예시를 들었다. 새로 개발한 제트 엔진을 10회 테스트했더니 8회 성공, 2회 실패. 눈에 보이는 성공률은 80%다.목표치인 90%에 미치지 못한 이 결과를 두고 팀 내부에서는 "재설계가 필요하다"와 "표본이 부족하므로 추가 검증이 필요하다"는 두 입장이 대립했다.직관이 아닌 정량적 근거로 이 논쟁을 정리하려면 이항 분포(Binomial Distribution) 개념이 필요하다. 1. 이항 분포의 전제 조건1️⃣ 이항(Binomial)의 어원과 정의이항이라는 용어는 두 개를 뜻하는 접두사 Bi-와 항을 뜻하는 -nomial의 결합이다.통계학에..