Study Notes
Study notes on machine learning and statistics, explained step by step.
Series
cross-entropy 손실함수 완전 정복 — 심화 학습서
분류의 표준 손실 cross-entropy를 — 정보이론의 "놀람"에서 출발해 softmax·gradient·실전 함정까지 — 처음 배우는 학부생이 순서대로 따라 읽으며 스스로 완전 정복하도록 쓴 한 권의 심화 학습서다. 어느 ML 교재의 약 15줄짜리 §0.5("CE=$-\log q$") 한 절을, 기초부터 수식 완전유도·풍부한 예제·도식까지 풀어 썼다.
Start reading →
IR 카메라 원리 — NIR 중심·940nm 학습서
운전석 카메라는 어떻게 깜깜한 밤에도 운전자를 보는가. 빛의 물리에서 출발해 흑체복사·실리콘 센서·940nm 선택·능동 IR 조명·눈 안전·광학 필터·응용까지, 근적외(NIR) 카메라 원리를 한 권으로 쌓아 올린 입문 학습서.
Start reading →
MediaPipe Face Landmarker — 학부생을 위한 학습 교재
평범한 RGB 카메라 한 대로 얼굴을 찾아 478개의 점을 찍고, 표정을 52개 숫자로, 머리 자세를 4×4 행렬로 내주는 도구 MediaPipe Face Landmarker를, 처음 배우는 학부생이 순서대로 읽도록 구성한 한 권의 학습서다. CV/ML 사전지식은 최소만 가정한다.
Start reading →
신경망 추론의 메모리 트래픽 — 학습서
파라미터도 곱셈도 적은 가벼운 모델이 칩에서 느린 이유를 메모리 트래픽으로 풀어낸다. MobileNet-v2를 한 바이트씩 세어 활성값·확장·roofline까지 손으로 확인하는 입문 학습서.
Start reading →
ROC·AUC 완전 입문 — 처음부터 끝까지 따라 읽는 한 권
혼동행렬의 네 칸에서 출발해 ROC 곡선과 AUC를 손으로 그리고 계산하고, 임계값 선택·불균형·다중분류·흔한 오해까지 순서대로 통과하는 완전 입문 학습서.
Start reading →Latest
00. 기초 — cross-entropy를 읽기 위한 공통 토대
이 책을 다 읽고 나면 당신은 한 줄짜리 정의
01. cross-entropy의 뿌리 — 정보이론 기초
이 장이 세우는 개념 사슬을 먼저 한 장으로 보자.
02. 분류 손실로서의 cross-entropy — softmax · sigmoid · BCE · $p_t$ 통합
먼저 분류 한 번의 흐름을 못 박자. 분류 모델이 한 샘플을 처리해 손실을 낼 때까지는 항상 같은 4단계다.
03. cross-entropy의 gradient와 최적화 — 왜 $q-y$인가
신경망 학습은 결국 손실 $L$을 줄이는 파라미터 $\theta$를 찾는 일이다. 경사하강(gradient descent)은 이를 가장 단순하게 푼다.
04. cross-entropy 실전 심화 — 수치안정 · label smoothing · 변형 · 함정
| 기호 | 의미 | |---|---| | $z=(z1,\dots,zK)$ | 로짓: 정규화 안 된 점수, 음수·합≠1 허용 | | $qi=\text{softmax}(z)i=\dfrac{e^{zi}}{\sumj e^{zj}}$ | 예측 확률 | | $y=(y1,\dots,yK)$ |…
05. 통합 walkthrough — 한 예제로 전 과정을 끊김 없이
전체 여정을 한 장으로:
06. 결론 — 치트시트 한 장 · 결정표 · 함정 체크리스트
cross-entropy는 "모델 예측 분포 $q$의 놀람을 진짜 분포 $p$로 평균한 것"이고(01장), 라벨이 one-hot이면 정답 항만 살아남아 "정답에 준 확률의 음로그" $-\log q_c$가 된다(02장). softmax/sigmoid가 로짓을 확률로 짜고, 그 위에서 C…
00. 기초 — 이 책을 읽기 위한 공통 어휘
이 책의 주인공은 MediaPipe Face Landmarker다. 한 문장으로 말하면, 카메라로 찍은 평범한 RGB 사진(또는 영상) 한 장에서 사람 얼굴을 찾아, 그 얼굴 위에 478개의 점을 정확히 찍고, 덤으로 "지금 어떤 표정인지"를 숫자로 알려 주는 소프트웨어 도구다. 이…