728x90 반응형 information Entropy1 Information Gain (간단한 예제 & 파이썬 코드) 2021.08.21 - [Programming/Machine Learning] - Scoring Feature Importance by Information Gain 목차 Information Gain(IG)은 어떤 조건으로 데이터를 분류할 때 엔트로피가 얼마나 감소하는지를 측정하는 양이다. 여러 입력 데이터(input feature)를 통해 원하는 어떤 출력 값(output target)을 예측하고 싶을 때, 각각의 feature가 독립적으로 target을 얼마나 정확하게 예측할 수 있는지를 평가하는 지표로 활용된다. 대표적인 예는 Decision Tree를 구성할 때 노드들의 feature를 할당하는 것이다. 정보학 분야에서 엔트로피는 정보를 수치화하는 양으로 Shannon 엔트로피를 이용한다. $$.. 2020. 12. 12. 이전 1 다음 728x90 반응형
