쿨백 라이블러 발산과 동전던지기

쿨백  라이블러 발산(fULLBACK) 은 두 확률 분포의 차이를 계산하는 데 사용되는 함수로, 한 이상적인 분포에 근접한 다른 분포를 사용하여 표본을 수행할 경우 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피, 정보 이득, 정보 다양성이라고도 한다. 정보이론에서는 상대 엔트로피가 주로 사용되며, 기계 러닝의 의사결정 트리에서는 정보 획득량이 주로 사용된다.쿨백 라이블러 틈은 비대칭이며, 함숫값은 두 값이 위치하면 변한다. 따라서 이 함수가 반드시 거리 함수는 아니다.이전의 동전 던지기 사건을 다시 생각해 보자. 동전의 특정 면이 나타날 확률을 안다고 가정해 보자.(앞뒤의 확률과 같을 필요는 없다.) 코인 던지기 수행 시 결과 값 엔트로피는 짝 코인일 때 가장 높다. 불확실성을 극대화하고 결과 값을 예측하기 가장 어렵다는 뜻이다(전방과 후방의 확률이 각각 1/2일 때). 이때 동전 던지기 결과 값은 1비트에 해당하는 정보를 갖게 된다.그러나 이 구리 동전이 공평하지 않다는 것, 즉 P는 나타날 확률이고 Q는 나타날 확률임을 안다면 불확실성은 더 떨어질 것이다. 동전을 던질 때마다 특정 측면이 나타날 가능성이 높기 때문이다. 당시 불확실성의 감소는 엔트로피 감소로 정량화할 수 있다. 불공정한 토스의 결과 값 엔트로피가 1비트 이하의 정보라고 해석할 수 있다.이럴 때 가장 극단적인 경우는 양쪽을 다 갖췄지만 돌이킬 수 없는 동전을 사용하는 경우다. 이때는 전혀 불확실성이 없기 때문에(전선이 항상 전방에 있기 때문에) 엔트로피는 0이다. 다시 말해, 그러한 동전 던지기 결과는 어떠한 정보도 전달하지 않는다는 것이다.