Maximizar la rentabilidad esperada minimizando el riesgo es el núcleo de la revolución cuantitativa de las finanzas en teoría moderna de la cartera .
A partir de Harry Markowitz (1952) "Selección de carteras" En la actualidad, una gran parte de las finanzas cuantitativas se dedica a perfeccionar las ideas en torno a la optimización de la cartera de media-varianza. El objetivo es encontrar un vector de pesos $w$ que minimizará:
$$w^T \Sigma w$$
con sujeción a:
$$R^T w = \mu$$
Al evaluar el rendimiento, el ratio de Sharpe es la medida de rendimiento más utilizada, y aborda directamente (aunque de forma un poco burda) la compensación entre riesgo y recompensa.
$$S = \frac{E[R-R_f]}{\sqrt{\mathrm{var}[R]}}$$
Recomiendo la lectura del libro de Peter Bernstein "Ideas capitales" como una suave introducción a este tema.