RL Researcher

1. 피처 스케일링 서로 다른 변수의 값 범위를 일정한 수준으로 맞추는 작업을 피처 스케일링(feature scaling)이라고 합니다. 대표적인 방법으로 표준화(Standardization)와 정규화(Normalization)가 있습니다. 표준화(Standardization)는 데이터의 피처 각각 평균이 0이고 분산이 1인 Gaussian 정규분포를 가진 값으로 변환하는 것을 의미합니다. 표준화를 통해 변환될 피처 x의 새로운 i번째 데이터를 x(i)(new)라고 한다면 이 값은 원래 값에서 피처 x의 평균을 뺀 값을 피처 x의 표준편차로 나눈 값으로 계산할 수 있습니다. $$x_{i}(new) = \frac{x_{i}-mean(x)}{stdev(x)}$$ 일반적으로 정규화는 서로 다른 피처의 크기를 ..

1. Data Encoding 머신러닝을 위한 대표적인 인코딩 방식은 레이블 인코딩(Label encoding)과 원-핫 인코딩(One Hot encoding)이 있습니다. 레이블 인코딩(Label encoding) Label encoding은 카테고리 피처를 코드형 숫자 값으로 변환하는 것입니다. 예를 들어 상품 데이터의 상품 구분이 TV,냉장고, 전자레인지, 컴퓨터, 선풍기, 믹서 값으로 되어 있다면 TV : 1, 냉장고 : 2, 전자레인지 : 3, 컴퓨터 : 4, 선풍기 : 5, 믹서 : 6과 같은 숫자형 값으로 변환하는 것입니다. 2. Label encoding Label encoding을 코드로 구현해 보겠습니다. from sklearn.preprocessing import LabelEncode..

1. Cross-Validation이란? 간략히 먼저 설명하자면 본고사를 치르기 전에 모의고사를 여러번 보는 것입니다. 즉, 본고사가 테스트 데이터 세트에 대해 평가하는 거라면 모의고사는 교차검증에서 많은 학습과 검증 세트에서 알고리즘 학습과 평가를 수행하는 것입니다. Machine Learning은 데이터에 기반합니다. 그리고 데이터는 이상치, 분포도, 다양한 속성값, 피처 중요도 등 여러가지 Machine Learning에 영향을 미치는 요소를 가지고 있습니다. 특정 Machine Learning 알고리즘에서 최적으로 동작할 수 있도록 데이터를 선별하여 학습한다면 실제 데이터 양식과는 많은 차이가 있을 것이고 결국은 성능저하로 이어질 가능성이 매우 높습니다. 교차 검증(Cross-validation)..

1. Sklearn 주요 모듈 분류 모듈명 설명 예제 데이터 sklearn.datasets 사이킷런에 내장되어 예제로 제공하는 데이터 세트 Feature 처리 sklearn.preprocessing 데이터 전처리에 필요한 다양한 가공 기능 제공(문자열을 숫자형 코드 값으로 인코딩, 정규화, 스케일링 등) sklearn.feature_selection 알고리즘에 큰 영향을 미치는 Feature를 우선순위대로 셀렉션 작업을 수행하는 다양한 기능 제공 sklearn.feature_extraction 텍스트 데이터나 이미지 데이터의 벡터화된 피처를 추출하는데 사용됨. 예를 들어 텍스트 데이터에서 Count Vectorizer나 Tf-ldf Vectorizer 등을 생성하는 기능 제공. 텍스트 데이터의 Featu..