Dywergencja Jensena-Shannona

Dywergencja Jensena-Shannona – miara rozbieżności między dwoma rozkładami prawdopodobieństwa^[1].

Definicja

Miara opisana jest następującym wzorem:

${\displaystyle \mathrm {JSD} (p_{1},p_{2})=H(\pi _{1}p_{1}+\pi _{2}p_{2})-\pi _{1}H(p_{1})-\pi _{2}H(p_{2}),}$

gdzie ${\displaystyle \pi _{1}}$ i ${\displaystyle \pi _{2}}$ oznaczają wagi, ${\displaystyle p_{1}}$ i ${\displaystyle p_{2}}$ oznaczają porównywane rozkłady, a ${\displaystyle H}$ jest funkcją entropii Shannona^[1].

W przypadku dwóch rozkładów opisujących zmienną losową ${\displaystyle X}$ i równych wag ${\displaystyle (\pi _{1}=\pi _{2}=0{,}5)}$ wzór na dywergencję Jensena-Shannona jest następujący^[1]:

${\displaystyle \mathrm {JSD} (p_{1},p_{2})={\frac {1}{2}}\sum _{x\in X}p_{1}(x)\log _{2}{\frac {p_{1}(x)}{{\frac {1}{2}}p_{1}(x)+{\frac {1}{2}}p_{2}(x)}}+{\frac {1}{2}}\sum _{x\in X}p_{2}(i)\log _{2}{\frac {p_{2}(x)}{{\frac {1}{2}}p_{1}(x)+{\frac {1}{2}}p_{2}(x)}},}$

co oznacza, że dywergencję Jensena-Shannona można wyrazić jako średnią dywergencji Kullbacka-Leiblera ${\displaystyle (KLD){:}}$

${\displaystyle \mathrm {JSD} (p_{1},p_{2})={\frac {1}{2}}KLD(p_{1},m)+{\frac {1}{2}}KLD(p_{2},m),}$

gdzie ${\displaystyle m={\frac {1}{2}}p_{1}+{\frac {1}{2}}p_{2}}$^[2].

Własności

Dywergencja Jensena-Shannona jest nieujemna i równa 0 w przypadku identyczności rozkładów. W przeciwieństwie do wielu miar dywergencji rozkładów pozwalających porównywać dwa rozkłady, dywergencja Jensena-Shannona może być uogólniona na dowolną skończoną liczbę rozkładów^[1].

Przypisy