Kovariancia

A kovariancia a valószínűségszámítás és a statisztika tárgykörébe tartozó mennyiség, ami megadja két egymástól különböző változó együttmozgását. Kis értékei gyenge, nagy értékei erős lineáris összefüggésre utalnak. Nem normált; normálással a korrelációt kapjuk.

Definíció

Létezésének szükséges feltétele, hogy létezzen mindkét véletlen valószínűségi változó, továbbá szorzatuk várható értéke. Ez biztosan teljesül, ha ${\displaystyle X}$ és ${\displaystyle Y}$ négyzetesen integrálható, azaz ${\displaystyle \operatorname {E} (|X|^{2})<\infty }$ és ${\displaystyle \operatorname {E} (|Y|^{2})<\infty }$. Értéke ${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} \left(\left(X-\operatorname {E} (X)\right)\left(Y-\operatorname {E} (Y)\right)\right)}$, ahol E az úgynevezett várhatóérték-operátor.

Folytonos és diszkrét valószínűségi változók kovarianciája:

${\displaystyle \operatorname {Cov} (X,Y)={\begin{cases}\sum _{i=1}^{n}\sum _{j=1}^{n}f(x_{i},y_{j})(x_{i}-\operatorname {E} (X))(y_{j}-\operatorname {E} (Y))&{\text{ha X és Y diszkrét}}\\\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }f(x,y)(x-\operatorname {E} (X))(y-\operatorname {E} (Y))\mathrm {d} x\mathrm {d} y&{\text{ha X és Y folytonos}}\end{cases}}}$.

Az n elemű ${\displaystyle \mathbf {x} {\text{ és }}\mathbf {y} }$ statisztikai minta tapasztalati (empirikus) kovarianciáját az alábbi képlettel adjuk meg:

${\displaystyle {\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}{n-1}}}$ , ahol ${\displaystyle x_{i}}$ az ${\displaystyle {\textbf {x}}}$, ${\displaystyle y_{i}}$ az ${\displaystyle {\textbf {y}}}$ minta ${\displaystyle i}$. eleme, ${\displaystyle {\bar {x}}}$ és ${\displaystyle {\bar {y}}}$ pedig az ${\displaystyle \mathbf {x} }$ és az ${\displaystyle \mathbf {y} }$ minták mintaátlagai. (Ugyanez a képlet átalakítható az ${\displaystyle {\frac {1}{n-1}}\sum _{i=1}^{n}{x_{i}y_{i}}-{\frac {n}{n-1}}{\bar {x}}{\bar {y}}}$ formára)

Példák

Legyen ${\displaystyle X=(X_{1},X_{2})}$ kétdimenziós normális eloszlású, és ${\displaystyle P_{(X_{1},X_{2})}={\mathcal {N}}(\mu ,\Sigma )}$ a ${\displaystyle \Sigma }$ kovarianciamátrixszal:

${\displaystyle \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&c\\c&\sigma _{2}^{2}\end{pmatrix}},}$ ekkor a kovariancia:

${\displaystyle \operatorname {Cov} (X_{1},X_{2})=c.}$

Legyen ${\displaystyle X=(X_{1},X_{2})}$ kétdimenziós multinomiális eloszlású (${\displaystyle P_{X}=M(n,(p_{1},p_{2}))}$), így:

${\displaystyle \operatorname {Cov} (X_{1},X_{2})=\operatorname {E} (X_{1}X_{2})-\operatorname {E} (X_{1})\operatorname {E} (X_{2})=n(n-1)p_{1}p_{2}-np_{1}np_{2}=-np_{1}p_{2}.}$

Tulajdonságai

• A kovariancia pozitív, ha ${\displaystyle X}$ és ${\displaystyle Y}$ között pozitív az összefüggés, ha ${\displaystyle X}$ nagy, akkor ${\displaystyle Y}$ is nagy, és ha ${\displaystyle X}$ kicsi, akkor ${\displaystyle Y}$ is kicsi.
• A kovariancia negatív, ha ${\displaystyle X}$ és ${\displaystyle Y}$ között negatív az összefüggés, ha ${\displaystyle X}$ nagy, akkor ${\displaystyle Y}$ kicsi, és ha ${\displaystyle X}$ kicsi, akkor ${\displaystyle Y}$ nagy. Ez nem fordított arányosságot jelez, hiszen a kovariancia csak lineáris összefüggés kimutatására képes.
• A kovariancia nulla, akkor ${\displaystyle X}$ és ${\displaystyle Y}$ között nincs lineáris összefüggés, de másfajta lehet.

Az eltolási tulajdonság:

${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y).}$

Bizonyítás:

${\displaystyle {\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} {\bigl [}(XY-X\operatorname {E} (Y)-Y\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)-\operatorname {E} (Y)\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)\qquad \Box \end{aligned}}}$

Kapcsolat a szórásnégyzettel

Tétel: A kovariancia a szórásnégyzet általánosítása, mivel

${\displaystyle \operatorname {Var} (X)=\operatorname {Cov} (X,X).}$

Bizonyítás:

${\displaystyle {\begin{aligned}\operatorname {Cov} (X,X)&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))^{2}{\bigr ]}\\&=\operatorname {Var} (X)\qquad \Box \end{aligned}}}$

Tehát a szórásnégyzet a valószínűségi változó önmagával vett kovarianciája.

A kovarianciával kiszámítható négyzetesen integrálható valószínűségi változók összegének szórásnégyzete. Általában:

${\displaystyle {\begin{aligned}\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)&=\sum _{i,j=1}^{n}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+\sum _{i,j=1,i\neq j}^{n}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+2\sum _{i=1}^{n-1}\sum _{j=i+1}^{n}\operatorname {Cov} (X_{i},X_{j}).\end{aligned}}}$

Speciálisan, két valószínűségi változó összegének szórásnégyzete:

${\displaystyle \operatorname {Var} (X+Y)=\operatorname {Var} (X)+\operatorname {Var} (Y)+2\operatorname {Cov} (X,Y).}$

Ahogy az közvetlenül következik a definícióból, ha az egyik valószínűségfi változó előjele megváltozik, akkor a kovariancia is:

${\displaystyle \operatorname {Cov} (X,-Y)=-\operatorname {Cov} (X,Y)}$

Így két valószínűségi változó különbségére:

${\displaystyle \operatorname {Var} (X-Y)=\operatorname {Var} (X+(-Y))=\operatorname {Var} (X)+\operatorname {Var} (Y)-2\operatorname {Cov} (X,Y).}$

Linearitás, szimmetria és definitség

Tétel: A kovariancia szimmetrikus pozitív szemidefinit bilineáris forma a négyzetesen integrálható valószínűségi változók terében.

Tétel: Bilineárisság: Az ${\displaystyle a,b,c,d,e,f,g,h\in \mathbb {R} }$ valós számokra:

${\displaystyle \operatorname {Cov} (aX+b,cY+d)=ac\operatorname {Cov} (X,Y)\qquad }$

${\displaystyle \operatorname {Cov} [X,(eY+f)+(gZ+h)]=e\operatorname {Cov} (X,Y)+g\operatorname {Cov} (X,Z).}$

Bizonyítás:

${\displaystyle {\begin{aligned}\operatorname {Cov} (aX+b,cY+d)&=\operatorname {E} {\bigl [}(aX+b-\operatorname {E} (aX+b))\cdot (cY+d-\operatorname {E} (cY+d)){\bigr ]}\\&=\operatorname {E} {\bigl [}(aX-a\operatorname {E} (X))\cdot (cY-c\operatorname {E} (Y)){\bigr ]}\\&=ac\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}\\&=ac\operatorname {Cov} (X,Y)\end{aligned}}}$

${\displaystyle {\begin{aligned}\operatorname {Cov} [X,(eY+f)+(gZ+h)]&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (eY+f+gZ+h-\operatorname {E} (eY+f+gZ+h)){\bigr ]}\\&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (eY-e\operatorname {E} (Y)+gZ-g\operatorname {E} (Z)){\bigr ]}\\&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot e(Y-\operatorname {E} (Y))+(X-\operatorname {E} (X))\cdot g(Z-\operatorname {E} (Z)){\bigr ]}\\&=e\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}+g\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Z-\operatorname {E} (Z)){\bigr ]}\\&=e\operatorname {Cov} (X,Y)+g\operatorname {Cov} (X,Z)\qquad \Box \end{aligned}}}$

Könnyen látható, hogy a kovariancia invariáns a konstans hozzáadására. A második egyenlőségben szimmetria miatt első változójában is lineáris.

Tétel: Szimmetria.

${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {Cov} (Y,X)}$

Bizonyítás:

${\displaystyle {\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} {\bigl [}(Y-\operatorname {E} (Y))\cdot (X-\operatorname {E} (X)){\bigr ]}\\&=\operatorname {Cov} (Y,X)\qquad \Box \end{aligned}}}$

Tétel (Pozitív szemidefinit):

${\displaystyle \operatorname {Cov} (X,X)\geq 0.}$

Bizonyítás:

${\displaystyle \operatorname {Cov} (X,X)=\operatorname {Var} (X)\geq 0\qquad \Box }$

A szimmetrikus szemidefinit bilineáris alakból következik, hogy teljesül a Cauchy–Bunyakovszkij–Schwarz-egyenlőtlenség:

${\displaystyle |\operatorname {Cov} (X,Y)|\leq {\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}}$

A linearitásból következik, hogy a kovariancia függ a véletlen változók nagyságáétól. Így a kovariancia a tízszeresére változik, ha ${\displaystyle X}$ helyett a ${\displaystyle 10X}$ valószínűségi változót használjuk. Így a kovariancia nagysága a valószínűségi változók mértékegységeitől is függ. Mivel ez a tulajdonság nehezen értelmezhetővé teszi a kovariancia nagyságát, azért helyette inkább a korrelációs együtthatót használják, ami skálafüggetlen:

${\displaystyle \rho _{X,Y}={\frac {\operatorname {Cov} (X,Y)}{{\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}}}\ .}$

Korrelálatlanság és függetlenség

Definíció: Ha ${\displaystyle X}$ és ${\displaystyle Y}$ valószínűségi változók, és ${\displaystyle \operatorname {Cov} (X,Y)=0}$, emiatt ${\displaystyle \varrho (X,Y)=0}$, akkor ${\displaystyle X}$ és ${\displaystyle Y}$ korrelálatlan.

Tétel: Ha ${\displaystyle X}$ és ${\displaystyle Y}$ független valószínűségi változók, akkor ${\displaystyle \operatorname {Cov} (X,Y)=0.}$

Bizonyítás: Független valószínűségi változók esetén ${\displaystyle \operatorname {E} (XY)=\operatorname {E} (X)\operatorname {E} (Y)}$, d. h.

${\displaystyle {\begin{aligned}\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)&=0\\\Leftrightarrow \qquad \qquad \qquad \operatorname {Cov} (X,Y)&=0.\qquad \end{aligned}}}$

A megfordítás nem mindig teljesül. Legyen az ${\displaystyle X}$ valószínűségi változó egyenletes eloszlású a ${\displaystyle [-1,1]}$ intervallumon, és ${\displaystyle Y=X^{2}}$. Nyilvánvaló, hogy ${\displaystyle X}$ és ${\displaystyle Y}$ nem függetlenek. Viszont

${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {Cov} (X,X^{2})=\operatorname {E} (X^{3})-\operatorname {E} (X)\operatorname {E} (X^{2})=0-0\cdot \operatorname {E} (X^{2})=0}$.

További példák korrelálatlan, de nem független valószínűségi változókra:

Legyenek ${\displaystyle X}$ és ${\displaystyle Y}$ valószínűségi változók úgy, hogy ${\displaystyle P(X=0,Y=1)={\tfrac {1}{2}}}$ und ${\displaystyle P(X=2,Y=0)=P(X=2,Y=2)={\tfrac {1}{4}}.}$

Ekkor ${\displaystyle P(X=0)=P(X=2)={\tfrac {1}{2}}}$ és ${\displaystyle P(Y=0)=P(Y=2)={\tfrac {1}{4}}}$, ${\displaystyle P(Y=1)={\tfrac {1}{2}}.}$

Következik, hogy ${\displaystyle \operatorname {E} (X)=\operatorname {E} (Y)=1}$ és ${\displaystyle \operatorname {E} (XY)=1}$, tehát ${\displaystyle \operatorname {Cov} (X,Y)=0.}$

Másrészt ${\displaystyle X}$ és ${\displaystyle Y}$ nem függetlenek, mivel ${\displaystyle P(X=0,Y=1)={\tfrac {1}{2}}\neq {\tfrac {1}{2}}\cdot {\tfrac {1}{2}}=P(X=0)P(Y=1)}$.

Legyenek ${\displaystyle X}$ és ${\displaystyle Y}$ valószínűségi változók Bernoulli-eloszlásúak a ${\displaystyle p}$ paraméterrel és függetlenek. Ekkor ${\displaystyle (X+Y)}$ és ${\displaystyle (X-Y)}$ korrelálatlan, de nem független.

A korrelálatléanság nyilvánvaló, mivel ${\displaystyle \operatorname {Cov} (X+Y,X-Y)=\operatorname {Cov} (X,X)-\operatorname {Cov} (X,Y)+\operatorname {Cov} (Y,X)-\operatorname {Cov} (Y,Y)=0.}$

De ${\displaystyle (X+Y)}$ és ${\displaystyle (X-Y)}$ nem függetlenek, hiszen ${\displaystyle P(X+Y=0,X-Y=1)=0\neq p(1-p)^{3}=P(X+Y=0)P(X-Y=1).}$

Források

• Norbert Henze: Stochastik für Einsteiger: Eine Einführung in die faszinierende Welt des Zufalls. 10. Auflage. Verlag Springer Spektrum, Wiesbaden 2013, ISBN 978-3-658-03076-6, Kapitel 21, doi:10.1007/978-3-658-03077-3_21.
• Karl Bosch: Elementare Einführung in die Angewandte Statistik: Mit Aufgaben und Lösungen, 9. erw. Auflage. Vieweg+Teubner Verlag 2010, ISBN 978-3834812292, doi:10.1007/978-3-8348-9705-3.

Fordítás

Ez a szócikk részben vagy egészben a Kovarianz (Stochastik) című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.