Es complicado.
La formulación original del teorema de representación de von Neumann y Morgenstern en su libro no hacía referencia a la aditividad contable. En realidad, estaba definido para un conjunto abstracto $L$ de loterías dotado con una operación de mezcla que toma dos loterías $p,q$ y un número $\lambda$ en el intervalo unitario y produce una mezcla $\lambda p~\oplus~(1-\lambda)q$. El resultado produce entonces una función $v:L\to\mathbb{R}$, única hasta transformaciones afines positivas, con la propiedad de que $$v\big(\lambda p~\oplus~(1-\lambda)q\big)=\lambda v(p)+(1-\lambda)v(q).$$ Este enfoque abstracto fue posteriormente refinado por Hernstein y Milnor.
Ahora, si cada lotería es una distribución de probabilidad sobre un número finito de resultados (y, por lo tanto, trivialmente aditiva contablemente) con la operación de mezcla siendo la natural, el resultado nos permite reducir la función $v$ a su restricción a loterías "ciertas", que corresponden a resultados. Entonces se puede ver $v$ como definido solo en resultados. Esta es la conocida representación de utilidad esperada.
Ahora, sea $X$ un conjunto de resultados y sea $L$ consistente en todas las medidas de probabilidad aditivamente finitas definidas en todos los subconjuntos de $X$. Si los axiomas de von Neumann y Morgenstern se cumplen, debemos obtener una representación $v$ como se mencionó anteriormente. Dado que $L$ incluye todas las distribuciones de probabilidad sobre un número finito de resultados, también obtenemos una función especial $u:X\to\mathbb{R}$, la restricción de $v$ a ciertas loterías. La pregunta es si obtenemos una representación de la forma $$v(p)=\int u~\mathrm dp.$$ La respuesta podría, en general, ser no. Para tener tal representación, se puede imponer una topología adecuada en $L$ y requerir que las preferencias a ser representadas sean continuas. Entonces, $v$ será continua con respecto a esta topología también. Una topología en $L$ que funciona es la topología de convergencia por conjuntos, la topología más pequeña que hace que la función $p\mapsto p(A)$ sea continua para cada subconjunto $A$ de $X$. Bajo esta topología, las distribuciones de probabilidad sobre conjuntos finitos son densas, y la integral es una función continua. No conozco ninguna fuente particularmente accesible para las matemáticas relevantes; lo aprendí del "Comparison of Statistical Experiments" de Torgersen.