¿Por qué es posible calibrar sus probabilidades subjetivas?

Question

Los seres humanos tienden a ser demasiado confiados en sus predicciones; cuando la mayoría de la gente dice que hay un 95% de posibilidades de que algo ocurra, suelen equivocarse mucho más del 5% de las veces. Mientras que lo que debería ocurrir es que para todos $x$ Si una persona hace muchas predicciones de la forma "Hay un $x\%$ probabilidad de que se produzca P", entonces alrededor de $x\%$ de ellos debe hacerse realidad. Si las predicciones de una persona satisfacen esta propiedad, se dice que sus probabilidades subjetivas son bien calibrada .

Ahora bien, puede que no haya nadie que esté perfectamente bien calibrado, pero algunas personas son mejores que otras; véase el libro "Superprevisión" para obtener información sobre las personas que están extremadamente bien calibradas. Pero la calibración no es algo fijo desde el nacimiento; puedes entrenarte para estar mejor calibrado jugando a un juego en el que asignas probabilidades a un montón de cosas y luego te puntúan según lo bien calibradas que estén tus probabilidades subjetivas (usando, por ejemplo la puntuación de la Brier ). Véase este sitio web y este sitio web .

Pero mi pregunta es, ¿por qué es posible llegar a estar bien calibrado utilizando un juego de este tipo? Dejemos que $A$ sea el conjunto de eventos posibles $f$ sea una función de $A$ a $\mathbb R$ que ofrece una evaluación numérica del grado de confianza que siente una persona en un evento determinado. Entonces, lo que se pretende con el juego es ayudar a encontrar una función creciente $g$ de $\mathbb R$ a $[0,1]$ tal que $g \circ f$ está bien calibrada.

Pero para que tal $g$ para que exista, tiene que darse el caso de que para todos los $x,y \in \mathbb R$ , si $x>y$ entonces el porcentaje de resultados en $\{P \in A: f(P) =x\}$ que son verdaderos tiene que ser mayor que el porcentaje de resultados en $\{P \in A: f(P) =y\}$ que son verdaderos. En otras palabras, ya tiene que ser cierto que se acierta con más frecuencia en las afirmaciones en las que se confía más que en las que se confía menos. Pero, ¿por qué debería ser así? ¿Existen supuestos teóricos de decisión o axiomas de racionalidad que impliquen que esto es así? ¿Se ha observado empíricamente que los seres humanos aciertan más a menudo en lo que tienen más confianza?

Ciertamente sería una habilidad evolutiva útil si los niveles de confianza interna de los humanos reflejaran la realidad externa, pero nunca he oído a nadie discutir esto.

Answer 1

Empíricamente sí, parece que la confianza tiene una correlación positiva con la corrección. Una referencia es Bordalo et al. 2018 Creencias sobre el género Véase la figura 1, por ejemplo. La probabilidad real de una respuesta correcta es diferente de la estimación propia o ajena de la probabilidad de una respuesta correcta, pero si la probabilidad estimada es mayor, entonces la probabilidad real es mayor.

En cuanto a los axiomas o supuestos teóricos, basta con suponer que las estimaciones de la gente sobre su corrección son crecientes. O suponer una actualización bayesiana sobre la propia corrección, en cuyo caso las conjeturas correctas pasadas aumentarían la confianza del adivinador en su propia corrección. A su vez, el número de aciertos pasados está positivamente correlacionado con la corrección real del adivinador (por la ley de los grandes números).