728x90 반응형 Information gain2 Feature Importance with Information Gain Table of Contents 1 Description of Problem2 Load data3 Visualizing sensor signals4 Split dataset into features and target5 Clustering algorithm5.1 Principal Component Analysis5.2 k-means clustering5.3 Visualizing clustering results6 Ranking sensors6.1 Helper functions6.2 Information Gain6.3 Ranking Sensors Problem6.3.1 Check how it works (for sensor 0)6.3.2 IG scores for all sensors6.4 Alternati.. 2021. 8. 21. Information Gain (간단한 예제 & 파이썬 코드) 2021.08.21 - [Programming/Machine Learning] - Scoring Feature Importance by Information Gain 목차 Information Gain(IG)은 어떤 조건으로 데이터를 분류할 때 엔트로피가 얼마나 감소하는지를 측정하는 양이다. 여러 입력 데이터(input feature)를 통해 원하는 어떤 출력 값(output target)을 예측하고 싶을 때, 각각의 feature가 독립적으로 target을 얼마나 정확하게 예측할 수 있는지를 평가하는 지표로 활용된다. 대표적인 예는 Decision Tree를 구성할 때 노드들의 feature를 할당하는 것이다. 정보학 분야에서 엔트로피는 정보를 수치화하는 양으로 Shannon 엔트로피를 이용한다. $$.. 2020. 12. 12. 이전 1 다음 728x90 반응형
