A menos que tenga una cantidad infinita de datos, cualquier estimador sólo proporciona una "estimación" (una medida aproximada) de cualquier parámetro (como las covarianzas).
En el caso del problema de Markowitz, la gravedad de la cuestión se puso de manifiesto ya en 1974: Barry, C.B. "Portfolio Analysis under Uncertain Means, Variances and Covarianzas", Journal of Finance, 1974. El problema surge porque el número de covarianzas que hay que estimar tiende a ser grande en comparación con el número de observaciones disponibles (por ejemplo, con 500 acciones hay que estimar 125.250 covarianzas, pero desde 1929 sólo ha habido 1056 meses de datos bursátiles). En consecuencia, cada elemento de la matriz estimada es muy incierto (esto puede demostrarse tanto teórica como empíricamente).
Dos referencias algo más recientes sobre este problema son Broadie "Computing Efficient Frontiers with Estimated Parameters", Annals of Operations Research, 1993 y Chopra y Ziemba "The Effects of Errors in Means, Variances and Covariances on Optimal Portfolio Choice", Journal of Portfolio Management, 1993. En una palabra, el efecto es drástico, y se encuentran carteras óptimas muy diferentes si los insumos varían una cantidad plausible. Para ilustrar el problema se puede utilizar una técnica denominada "Resampled Frontier" de Michaud, que consiste en resolver el problema de Markowitz una y otra vez con la matriz de covarianza perturbada al azar en una cantidad prudente.
Se han hecho intentos de proponer alternativas al "estimador tradicional". El principal es el estimador de Bayes Stein Jorion "Bayes-Stein Estimation for Portfolio Analysis", Journal of Financial and Quantitative Analysis, septiembre de 1986. También existen modelos factoriales de la covarianza. Todas estas soluciones tratan de imponer alguna estructura a la matriz de covarianza en lugar de intentar estimar cada entrada de forma independiente.
Además, existe el problema mencionado por Eduardo de que la matriz de covarianza puede cambiar debido a los cambios en la economía. Pero el "problema de la estmación" para grandes matrices de covarianza es grave incluso en ausencia de cambios económicos a largo plazo.