Divergència Jensen-Shannon

En teoria i estadística de probabilitats, la divergència Jensen-Shannon és un mètode per mesurar la similitud entre dues distribucions de probabilitat. També es coneix com a radi d'informació (IRad) ^[1][2] o divergència total a la mitjana.^[3] Es basa en la divergència Kullback-Leibler, amb algunes diferències notables (i útils), inclòs que és simètrica i sempre té un valor finit. L'arrel quadrada de la divergència Jensen-Shannon és una mètrica que sovint es coneix com a distància Jensen-Shannon.^[4][5][6]

Definició

Considereu el conjunt ${\displaystyle M_{+}^{1}(A)}$ de distribucions de probabilitat on ${\displaystyle A}$ és un conjunt proveït d'alguna σ-àlgebra de subconjunts mesurables. En particular podem prendre ${\displaystyle A}$ per ser un conjunt finit o comptable amb tots els subconjunts mesurables.

La divergència Jensen-Shannon (JSD) és una versió simètrica i suavitzada de la divergència Kullback-Leibler ${\displaystyle D(P\parallel Q)}$. Es defineix per

${\displaystyle {\rm {JSD}}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M),}$

on ${\displaystyle M={\frac {1}{2}}(P+Q)}$ és una distribució de barreja de ${\displaystyle P}$ i ${\displaystyle Q}$.

La divergència geomètrica de Jensen–Shannon ^[7] (o divergència G-Jensen–Shannon) produeix una fórmula de forma tancada per a la divergència entre dues distribucions gaussianas prenent la mitjana geomètrica.

Una definició més general, que permet la comparació de més de dues distribucions de probabilitat, és:

${\displaystyle {\begin{aligned}{\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})&=\sum _{i}\pi _{i}D(P_{i}\parallel M)\\&=H\left(M\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i})\end{aligned}}}$

on

${\displaystyle {\begin{aligned}M&:=\sum _{i=1}^{n}\pi _{i}P_{i}\end{aligned}}}$

i ${\displaystyle \pi _{1},\ldots ,\pi _{n}}$ són pesos que es seleccionen per a les distribucions de probabilitat ${\displaystyle P_{1},P_{2},\ldots ,P_{n}}$, i ${\displaystyle H(P)}$ és l'entropia de Shannon per a la distribució ${\displaystyle P}$. Per al cas de dues distribucions descrit anteriorment,

${\displaystyle P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}}.\ }$

Per tant, per a aquestes distribucions ${\displaystyle P,Q}$

${\displaystyle JSD=H(M)-{\frac {1}{2}}{\bigg (}H(P)+H(Q){\bigg )}}$

Aplicacions

La divergència Jensen-Shannon s'ha aplicat en bioinformàtica i comparació del genoma, en comparació de superfícies de proteïnes, en ciències socials, en l'estudi quantitatiu de la història, en experiments de foc,^[8] i en l'aprenentatge automàtic.

Referències