가중치(weight), 편향(bias)

활성화 함수(activation function)에 사용되는 w인 가중치(weight)와, b인 편향(bias)에 대한 설명을 하겠습니다.

$$y = w_{1}x_{1} + b$$

퍼셉트론(perceptron)은 독립변수(X)에 가중치(W)를 곱한 값에 편향(b)를 합하고, 합한 값이 0을 넘으면 활성화 하고, 0을 넘지 않으면 비활성화를 합니다.

1. 가중치(weight)

---

가중치(weight)란 각 독립변수(X)가 종속변수(Y)의 결과에 미치는 중요도를 조절하는 매개변수입니다.

모델을 짜는 사람들에게는 최적의 가중치(weight)를 찾아내는게 목표입니다.

2. 편향(bias)

---

편향(bias)이란 인공신경망(Neral Network)의 뉴런의 활성화를 조절하는 매개변수입니다. 또는, 뉴런의 활성화 조건을 설정하는 매개변수입니다.

편향(bias)은 쉽게 생각하자면 지나치게 단순한 모델로 인한 error값입니다. 만약 편향값이 크다면 과소 적합(under-fitting)을 발생시킵니다. 모델에 편향이 크다는 것은 그 모델이 뭔가 중요한 요소를 놓치고 있다는 뜻입니다.