재호아빠의 연구노트

엔트로피(Entropy)의 정의 엔트로피는 물질이나 시스템의 무질서함이나 혼란도를 나타내는 물리적, 그리고 정보이론적 개념이다. 열역학에서는 일반적으로 물질의 무질서함이나 에너지의 확산정도를 나타낸다. 정보 이론에서는 데이터의 불확실성을 측정하는 값이다. 엔트로피가 높다는 것은 불확실성이 높다는 것을 의미한다. 우리는 인공지능에서의 엔트로피를 말하기 위해 정보이론에서의 엔트로피를 다루도록 한다. 정보 이론에서 엔트로피는 샤넌 엔트로피(Shannon entropy)[1]로 불리기도한다. 샤넌 엔트로피는 확률 분포를 사용하여 불확실성의 정도를 측정하는데, 이산 확률 분포에 대한 샤넌 엔트로피는 다음과 같이 나타 낼 수 있다. $$ H(X) = -\sum P(X) log_2P(X)$$ 여기서 $H(X)$는 확..

1. Regularization 기계학습에서 일반적으로 regularization은 학습 모델이 데이터에 너무 fit하게 학습하는 경우, 즉 과적합(overfitting)이 발생하는 경우에 일반성을 부여하기 위해 사용한다. [그림 1]에서 Underfitting하는 경우에는 아직 결정경계가 두개의 클래스를 다 분류하기에 부족하게 학습이 진행되었다. 반면, Overfitting 케이스에서는 결정경계가 너무 과도하게 학습 데이터에 맞춰서 학습이 되었다. 이러한 경우, 학습 데이터에서 accuracy가 높더라도, 테스트 데이터에서는 accuracy가 낮게 나올 수 있다. 따라서 이런 현상이 발생한 경우, overfitting을 의심 할 수 있고 모델에 일반성(regularization)을 부여하는 것이 필요하..