De forma simplificada e intuitiva:
Consistencia es la capacidad del estimador para descubrir, por término medio, el verdadero valor del coeficiente. Por ejemplo, si el verdadero valor de algún coeficiente $\beta=2$ entonces el estimador $E[\hat{\beta}]=\beta=2$ también. Un estimador que en las expectativas no diera el verdadero coeficiente beta no sería consistente.
Eficiencia es la capacidad del estimador para estimar el valor de $\beta$ con la mayor precisión posible. Debido a la naturaleza probabilística del problema, cada vez que se estima algo en estadística habrá algún intervalo de confianza. La eficiencia, en muchos modelos estándar que asumen la normalidad, significa que el estimador tiene el menor intervalo de confianza para la verdadera estimación que otros posibles estimadores.
Por ejemplo, el estimador que le dice que $E[\hat{\beta}] = 3 \pm 0.5$ es más eficiente que el estimador que dice $E[\hat{\beta}] = 3 \pm 1$ .
Además, hay que tener en cuenta que los estimadores pueden ser
- Consistente y eficiente
- Consistente pero no eficiente
- Inconsistente pero eficiente
- Inconsistente y poco eficiente
Todo lo anterior es posible, todo depende de las propiedades asintóticas del modo en el que se esté buscando.
Me pregunto si la eficiencia es el AIC y la consistencia es el BIC que se menciona en este post.
No AIC y BIC son criterios de información que son estimadores en su propio derecho que el post allí sólo discute las propiedades de AIC y BIC mencionando que la ventaja de uno es que es consistente y el otro que es eficiente
2 votos
Puede acceder a un grupo más amplio de expertos que formulan la pregunta en Cross Validated Stack Exchange.