RL Researcher

활성화 함수(activation function)에 사용되는 w인 가중치(weight)와, b인 편향(bias)에 대한 설명을 하겠습니다. $$y = w_{1}x_{1} + b$$ 퍼셉트론(perceptron)은 독립변수(X)에 가중치(W)를 곱한 값에 편향(b)를 합하고, 합한 값이 0을 넘으면 활성화 하고, 0을 넘지 않으면 비활성화를 합니다. 1. 가중치(weight) 가중치(weight)란 각 독립변수(X)가 종속변수(Y)의 결과에 미치는 중요도를 조절하는 매개변수입니다. 모델을 짜는 사람들에게는 최적의 가중치(weight)를 찾아내는게 목표입니다. 2. 편향(bias) 편향(bias)이란 인공신경망(Neral Network)의 뉴런의 활성화를 조절하는 매개변수입니다. 또는, 뉴런의 활성화 조건을..

1. Sigmoid Function sigmoid함수는로지스틱 회귀분석 또는 Neural Network의 binaray classification 마지막 레이어의 활성함수로 사용합니다. $$\sigma (x) = \frac{1}{1+e^{-x}}$$ 로지스틱 회귀분석이란? - 데이터를 두개의 그룹으로 분류하는 가장 기본적인 방법입니다. ※ 회귀분석과의 차이는 사용자가 원하는 것이 실수인 예측값이기 때문에 종속변수의 범위가 실수이지만 로지스틱 회귀분석에서는 종속변수 y의 값이 0 또는 1을 가집니다. 따라서, 로지스틱 회귀분석을 사용할 때는 주어진 데이터를 분류할 때 0인지 1인지 예측하는 모델을 만들어야 합니다. sigmoid 함수는 별로 인기가 없었다가, Gradient vanishing이라는 널리 알..

1. 손실함수(Loss Function) 손실함수(Loss function)는 정답에 대한 오류를 나타내는 값입니다. 손실함수(Loss function)은 정답에 가까울수록 작은 값이 나오고, 정답과 멀어질수록 큰 값이 나오게 됩니다. 손실함수를 사용하는 이유?? 궁극적인 목표는 높은 'Accuracy'를 끌어내는 매개변수 값을 찾는 것입니다. 그렇다면 'Accuracy'라는 지표를 나두고 'Loss function'을 택하는 이유?? 신경망 학습에서는 최적의 매개변수(가중치(weight): w, 편향(bias) : b)를 탐색할 때 손실 함수의 값을 가능한 작게 만들 수 있는 매개변수 값을 찾습니다. 손실함수에서 미분? 가중치의 매개변수 값을 변화시켰을 때 손실 함수가 어떻게 변하게 되는가라는 의미입니..