딥러닝14 CS182 - [Lecture 5] Backpropagation Part 1 Neural Networks 이번 강의에서는 neural network의 구조와 파라미터의 업데이트 방법인 backpropagation에 대해 배운다. 먼저 neural network의 구조에 대해 살펴보자. 2개의 input으로 이루어진 x가 2개의 파라미터를 가진 모델에 입력되었을 때, MSE loss를 계산하는 과정을 도식화하면 다음과 같다. 최종적인 결과는 \( ||(x_{1}\Theta_{1} + x_{2}\Theta_{2}) - y||^{2} \)이 된다. 하지만 실제 계산에서는 각각의 원소에 대해 고려하는 것이 아닌, Input과 파라미터를 구성하는 여러 원소들을 하나의 vector 혹은 matrix로서 간주한다. 이에 따라 계산 과정을 도식화하면 위와 같으며, 곱은 dot pr.. 2022. 7. 2. CS182 - [Lecture 4] Optimization Part 1 Gradient Descent 해당 챕터에서는 loss를 감소시키는 데 사용되는 optimization에 대해 알아본다. 먼저 2장에서 언급했던 opitimization인 gradient descent에 대해 복습해보자. $ -\sum_{i}^{} logp_{\Theta}(y_{i}|x_{i}) $로 정의되는 loss function을 생각해보자. 파라미터가 2D라고 한다면 각 파라미터에 대한 loss를 우측 하단의 그래프처럼 시각화할 수 있다. Gradient descent는 loss를 감소시키기 위해 두 단계를 거친다. 1. Loss를 감소시키는 방향 v를 찾는다. 2. 해당 방향에 small constant인 $ \alpha $를 곱하여 파라미터에 더함으로써 파라미터를 업데이트한다.... 2022. 6. 29. CS182 - [Lecture 3] Error Analysis Part 1 Error Analysis 이번 강의에서는 모델이 가지는 Error에 대해 분석한다. Error에 살펴보기 전에, 이전 챕터 마지막 부분에서 배웠던 Empirical risk에 대해 복습해보자. 지도 학습의 목표는 Empirical risk를 최소화하는 것으로, 학습을 통해 줄일 수 있는 risk이다. True risk는 주어지지 않은 데이터셋에 대한 risk이기 때문에 학습 과정에서 직접적으로 줄이기란 불가능하며, 주어진 데이터에 대해 학습이 끝난 이후 모델이 실제 데이터나 테스트 데이터에 대해 가지는 risk다. 우리는 Empirical risk와 True risk의 값을 분석함으로써 모델이 가질 수 있는 문제점인 Overfitting과 Underfitting을 파악할 수 있다. Ove.. 2022. 6. 27. CS182 - [Lecture 2] Machine Learning Basics Part 1 Different types of learning problems 머신러닝 문제는 크게 지도 학습, 비지도 학습, 강화 학습으로 나눌 수 있다. 가장 기초적인 지도 학습 (Supervised Learning)은 X로부터 Y를 예측하는 것이다. Input인 x와 이에 상응하는 결과인 y가 주어지면, 모델은 이를 학습하고 새로운 x에 대해 y를 예측한다. 이때, 분류 문제에서 사용되는 y를 label이라 부른다. (지도 학습을 위한 y값을 입력값으로서 제공하기 위해서는 사람이 직접 라벨링 하는 과정이 필요할 것이다.) 결국, 지도학습이란 결괏값을 도출하는 함수를 학습하는 것이라 할 수 있다. 그렇다면 지도학습이 생성하는 함수를 어떻게 표현할 수 있을까? 이는 간단한 선형 방정식이나 비선형 방정식.. 2022. 6. 25. 이전 1 2 3 4 다음
