Estimador centrat de mínima variància

En estadística un estimador centrat de mínima variància és aquell que té menor variància que qualsevol altre estimador centrat (o no esbiaixat) per tots els possibles valors del paràmetre.

Per als problemes estadístics pràctics, és important determinar si existeix aquest estimador, ja que, naturalment, s'evitarien procediments subòptims, mantenint constant la resta de les condicions. Això ha portat al desenvolupament substancial de la teoria estadística relacionada amb el problema de l'estimació òptima. Encara que la memòria particular de "òptim" aquí - que requereix que no hi hagi biaix i mesurar la "bondat" amb la variància - pot no ser sempre el que es vol per a qualsevol situació pràctica donada, és una on es troben els resultats útils i d'aplicació general.

Definició

Considerem l'estimació g ( θ ) {\displaystyle g(\theta )} basada en les dades d'una mostra X 1 , X 2 , … , X n {\displaystyle X_{1},X_{2},\ldots ,X_{n}} d'algun membre de la família de les densitats p θ , θ ∈ Ω {\displaystyle p_{\theta },\theta \in \Omega } , on Ω {\displaystyle \Omega } és l'espai de paràmetres. Un estimador δ ( X 1 , X 2 , … , X n ) {\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})} de g ( θ ) {\displaystyle g(\theta )} és no esbiaixat (o centrat) de variància mínima si ∀ θ ∈ Ω {\displaystyle \forall \theta \in \Omega } es compleix:

v a r ( δ ( X 1 , X 2 , … , X n ) ) ≤ v a r ( δ ~ ( X 1 , X 2 , … , X n ) ) {\displaystyle \mathrm {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \mathrm {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}

per a qualsevol altre estimador no esbiaixat δ ~ . {\displaystyle {\tilde {\delta }}.}

Si un estimador no esbiaixat de g ( θ ) {\displaystyle g(\theta )} existeix, aleshores es pot provar que hi ha una Estimador centrat de mínima variància essencialment únic. Usant el Teorema de Rao-Blackwell també es pot provar que la determinació de l'Estimador centrat de mínima variància és simplement una qüestió de trobar un estadístic complet i suficient per a la família de paràmetres p θ , θ ∈ Ω {\displaystyle p_{\theta },\theta \in \Omega } i condicionament qualsevol estimador imparcial sobre el mateix.

A més, pel teorema de Lehmann-Scheffé, un estimador centrat és una funció d'una completa, i l'estadístic suficient és l'estimador UMVUE.

Formalment, suposem δ ( X 1 , X 2 , … , X n ) {\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})} és imparcial per a g ( θ ) {\displaystyle g(\theta )} , i que T {\displaystyle T} és un estadístic suficient i complet per a la família de densitats. Llavors

η ( X 1 , X 2 , … , X n ) = E ( δ ( X 1 , X 2 , … , X n ) | T ) {\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\mathrm {E} (\delta (X_{1},X_{2},\ldots ,X_{n})|T)\,}

és el MVUE per g ( θ ) . {\displaystyle g(\theta ).}

Un cas anàleg bayesià és un estimador de Bayes, en particular amb error quadràtic mitjà mínim (MMSE).

Selecció de l'estimador

Un estimador eficient no té per què existir, però si ho fa i si és imparcial, és el MVUE. Ja que l'error quadràtic mitjà (MSE) d'un estimador és δ

MSE ⁡ ( δ ) = v a r ( δ ) + [ b i a s ( δ ) ] 2   {\displaystyle \operatorname {MSE} (\delta )=\mathrm {var} (\delta )+[\mathrm {bias} (\delta )]^{2}\ }

la MVUE minimitza MSE entre els estimadors no esbiaixats. En alguns casos, estimadors esbiaixats tenir menor MSE perquè tenen una variància més petita que ho fa qualsevol estimador centrat.

Exemple

Considerem la possibilitat que les dades són una sola observació d'una distribució absolutament contínua a R {\displaystyle \mathbb {R} } amb la densitat:

p θ ( x ) = θ e − x ( 1 + e − x ) θ + 1 {\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{(1+e^{-x})^{\theta +1}}}}

i desitgem trobar l'estimador de UMVU

g ( θ ) = 1 θ 2 {\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}

En primer lloc, reconeixem que la densitat es pot escriure com

e − x 1 + e − x exp ⁡ ( − θ log ⁡ ( 1 + e − x ) + log ⁡ ( θ ) ) {\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp(-\theta \log(1+e^{-x})+\log(\theta ))}

Què és una família exponencial amb estadístic suficient T = l o g ( 1 + e − x ) {\displaystyle T=\mathrm {log} (1+e^{-x})} . De fet, aquesta és una família exponencial de rang complet, i per tant T és complet i suficient. Veure família exponencial per a una derivació que mostra

E ( T ) = − 1 θ , v a r ( T ) = 1 θ 2 {\displaystyle \mathrm {E} (T)=-{\frac {1}{\theta }},\quad \mathrm {var} (T)={\frac {1}{\theta ^{2}}}}

Per tant

E ( T 2 ) = 2 θ 2 {\displaystyle \mathrm {E} (T^{2})={\frac {2}{\theta ^{2}}}}

Clarament δ ( X ) = T 2 2 {\displaystyle \delta (X)={\frac {T^{2}}{2}}} és no esbiaixat, per la qual cosa l'estimador és UMVU

η ( X ) = E ( δ ( X ) | T ) = E ( T 2 2 | T ) = T 2 2 = log ⁡ ( 1 + e − X ) 2 2 {\displaystyle \eta (X)=\mathrm {E} (\delta (X)|T)=\mathrm {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log(1+e^{-X})^{2}}{2}}}

Aquest exemple il·lustra com una funció imparcial de l'estadístic suficient i complet és un estimador centrat de mínima variància.

Referències

  • Keener, Robert W. Statistical Theory: Notes for a Course in Theoretical Statistics. Springer, 2006, p. 47–48, 57–58. 
  • Voinov V. G.,, Nikulin M.S.. Unbiased estimators and their applications, Vol.1: Univariate case. Kluwer Academic Publishers, 1993, p. 521p.