Al tratar una función de utilidad relativa y normalizada como pmf, ¿cuál es la interpretación de la entropía de Shannon o de la información de Shannon?

Question

Supongamos que $\Omega$ es un conjunto de resultados mutuamente excluyentes de una variable aleatoria discreta y $f$ es una función de utilidad donde $0 < f(\omega) \leq 1$ , $\sum_\Omega f(\omega) = 1$ etc.

Cuando $f$ se distribuye uniformemente sobre $\Omega$ y $f$ es un función de masa de probabilidad la entropía de Shannon $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ se maximiza ( $=log|\Omega|)$ y cuando un elemento de $\Omega$ tiene todos los $f$ la entropía de Shannon se minimiza ( $0$ De hecho, es una de las más importantes.) Esto corresponde a las intuiciones sobre surprisal (o reducción de la incertidumbre ) y los resultados y incertidumbre (o sorpresa esperada ) y las variables aleatorias:

• Cuando $f$ se distribuye uniformemente, la incertidumbre se maximiza, y cuantos más resultados haya para que la masa se distribuya uniformemente, más incertidumbre tendremos.
• Cuando $f$ tiene toda su masa concentrada en un resultado, no tenemos incertidumbre.
• Cuando asignamos a un resultado una probabilidad de $1$ No obtenemos ninguna información (no nos sorprende) cuando lo observamos.
• Cuando asignamos a un resultado una probabilidad cada vez más cercana a $0$ La observación de su ocurrencia es cada vez más informativa ("sorprendente").

(Todo esto no dice nada sobre la interpretación de codificación mucho más concreta -pero menos epistémica- de la información/entropía de Shannon, por supuesto).

Sin embargo, cuando $f$ tiene la interpretación de un función de utilidad ¿existe una interpretación sensata de $log\frac{1}{f(\omega)}$ o $\sum f(\omega)log\frac{1}{f(\omega)}$ ? Me parece que sí:

• si $f$ como PMF representa una distribución uniforme sobre $\Omega$ entonces $f$ como función de utilidad corresponde a indiferencia sobre los resultados que no podrían ser mayores*
• una función de utilidad en la que un resultado tiene toda la utilidad y el resto no tiene ninguna (una utilidad tan sesgada como podría haber) corresponde a preferencias relativas muy fuertes -- la falta de indiferencia.

¿Existe alguna referencia que amplíe esta información? ¿Me he perdido algo sobre las limitaciones en la comparación de funciones de masa de probabilidad y utilidades relativas normalizadas sobre variables aleatorias discretas?

*Conozco las curvas de indiferencia y no veo cómo podrían ser relevantes para mi pregunta por varias razones, empezando por mi enfoque en un espacio muestral categórico y por el hecho de que no estoy interesado en la "indiferencia" per se, sino más bien en cómo interpretar las utilidades como probabilidades y cómo interpretar las funciones sobre las probabilidades cuando la "distribución de probabilidad" (discreta) en cuestión tiene realmente o (adicionalmente) la interpretación de una función de utilidad.

Answer 1

Después del intercambio con el OP en mi otra respuesta, vamos a trabajar un poco con su enfoque.

Tenemos un aleatorio discreto de la variable $X$, con finito de apoyo, $X = \{x_1,...,x_k\}$, y la función de masa de probabilidad (FMP), $\Pr(X=x_i)=p_i, i=1,...,k$

Los valores en el apoyo de $X$ son también entradas en un valor real cardenal función de utilidad, $u(x_i) > 0\; \forall i$. Podemos entonces considerar la normalizado de la función de utilidad

$$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \etiqueta{1}$$

y se nos dice que

$$w(x_i) = p_i \etiqueta{2}$$

Tenga en cuenta que nosotros no solo hacer la observación de que una normalizado no negativo función discreta de finito de dominio, satisface las propiedades de una función de masa de probabilidad en general -nos específicamente suponga que $w(x_i)$ tiene la forma funcional de la FUERZA de la variable aleatoria cuyos valores $w(x_i)$ toma como entradas.

Desde $w(x_i)$ es una función medible de una variable aleatoria, es también una variable aleatoria. Así que de manera significativa puede considerar las cosas como su valor esperado. Usando la Ley de la Inconsciente Estadístico hemos

$$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \etiqueta{3}$$

Esta es una función convexa, y si tratamos de extremize encima de los $p_i$'s en virtud de la restricción de $\sum_{i=1}^kp_i=1$ es fácil de obtener

$$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \etiqueta {4}$$

y hemos obtenido un resultado general:

La normalizado de la función de utilidad definida anteriormente ha mínima esperada valor de fib de la distribución de $X$ es Uniforme.

Obviamente, en tal caso $w(X)$ será una función constante, un degenerado variable aleatoria con $E[w(X)]=1/k$ cero y varianza.

Pasemos a la Entropía de Shannon, que es el foco de la OP. Para calcular la Entropía de Shannon necesidades de la función de masa de probabilidad de la variable aleatoria... así que debemos encontrar la FUERZA de la variable aleatoria $w(X)$...

Pero me da la impresión de que esto no es lo que el OP tiene en mente. Más bien, las vistas de la Entropía de Shannon como una métrica que tiene algunos deseable propiedades algebraicas y tal vez puede medir de forma compacta en una manera significativa de algo de interés.

Esto ha sido hecho antes en la Economía, específicamente en la Organización Industrial, fueron los Índices de Concentración de Mercado ("grado de competencia/estructura monopólica de un mercado") han sido construidos. Tomo nota de las dos que se ven particularmente relevante aquí.

A) El Índice de Herfindahl, tiene como argumentos de las cuotas de mercado de $n$ las empresas que operan en un mercado, $s_i$, por lo que se suma a la unidad por la construcción. Su versión es sin escala

$$H = \sum_{i=1}^n s_i^2$$

que es una expresión que tiene exactamente la misma estructura con el valor esperado de $w(X)$ derivados de arriba.

B) El Índice De Entropía $$R_e = -\sum_{i=1}^n s_i\ln s_i$$ que tiene la misma forma matemática con la Entropía de Shannon.

Encaoua, D., & Jacquemin, A. (1980). Grado de monopolio, los índices de concentración y la amenaza de entrada. International Economic Review, 87-105., proporcionar una axiomática de la derivación de "admisible" de la concentración de los índices, es decir, se definen las propiedades que dicho índice debe poseer. Desde su enfoque es abstracto, creo que puede ser útil para lo que el OP quiere explorar y relacionar el significado.

Answer 2

Antes de discutir la entropía de Shannon, hay otro punto que debe ser discutido: parece que usted tiene en mente cardenal utilidad en lugar de ordinal .

Las funciones de utilidad "normalizadas" pueden derivarse, por supuesto, en ambos casos. Pero el concepto de "preferencia relativa" sólo puede definirse y medirse en el contexto de la utilidad cardinal.

Y la cuestión no se plantea en los dos extremos que describes, sino en todos los casos intermedios posibles.

Un ejemplo sencillo: supongamos que hay tres "resultados", $A, B, C$ (digamos, niveles de consumo, o tres bienes diferentes, cada uno de ellos en cierta cantidad). Su función de utilidad les asigna los valores

$$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$$

Bajo la utilidad ordinal, esto sólo nos dice que

$$A <_{pr} B <_{pr} C$$

Ciertamente, podemos normalizarlos dividiendo por $100$ para obtener

$$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$$ y se mantiene la clasificación de los tres resultados

Pero bajo la utilidad ordinal, podríamos perfectamente utilizar otra función de utilidad que asignara

$$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$$

y obtener

$$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$$

La clasificación es la misma por lo que las dos funciones de utilidad $V$ y $W$ son equivalente bajo la utilidad ordinal.

Pero en lo que usted describe, el $W$ La función de utilidad representa diferentes preferencias relativas que $V$ y por tanto no es la misma función de utilidad. Pero esto sólo tiene sentido bajo cardenal utilidad, donde se supone que las comparaciones cuantitativas entre los números de utilidad tienen sentido.

¿Conoce las cuestiones relacionadas con la utilidad del cardenal?

Answer 3

Parece que la función de utilidad no sólo es cardinal aquí, sino que incluso se define en una escala de proporción. Consideremos dos resultados con utilidades de 1/4 y 3/4. Claramente, podemos aplicar la transformación afín: $v=v*2-0.5$ en cuyo caso las utilidades pasan a ser 0 y 1. Sin embargo, ¡ahora hemos cambiado la entropía de un valor estrictamente positivo a cero!

Por lo tanto, tendría que proporcionar primero una escala de relación significativa a su utilidad. Una forma de hacerlo es dar una interpretación al nivel de utilidad natural 0. Sin esta especificación, la entropía no tiene sentido.