La interpretación de $\sigma_j(s_j)$ es que es la probabilidad con la que el jugador $j$ usa su estrategia pura $s_j$. En tu ejemplo de imagen, esa sería la probabilidad de que el jugador de la fila elija una fila en particular o el jugador de la columna elija una columna en particular. Dado que cada jugador decide de forma independiente, el producto $\Pi_{j=1}^I\sigma_j(s_j)$ representa la probabilidad conjunta de que ocurra el resultado $s$ cuando cada jugador $j$ usa la estrategia mixta $\sigma_j$.
En contraste, $\sigma_j(s)$ significaría la probabilidad que el jugador $j$ asigna al perfil de estrategia pura $s$. En otras palabras, $\sigma_j(s)$ es la probabilidad de una celda en particular en el juego de matriz. Pero $j$ no puede "elegir" un resultado particular del juego, ya que se asume que los jugadores no cooperan en este contexto. Tampoco tiene sentido multiplicar la probabilidad que cada jugador asigna a un resultado $s$, es decir, $\Pi_{j=1}^I\sigma_j(s)$.
En el libro de texto, el último párrafo de la página 5 tiene un ejemplo detallado de cómo se aplica la función de pago al juego en la Figura 1.1. Eso podría ayudar a entender.