Yo también he reflexionado sobre esta pregunta.
Encontré una definición interesante en el libro 'Existence and Optimality of Competitive Equilibria' de Charalambos D. Aliprantis, Donald J. Brown, Owen (ver página 9). La cito aquí:
"Matemáticamente, una curva 'convexa hacia el origen' se describe diciendo que si $A$ y $B$ son dos puntos en la curva, entonces un rayo que pasa por el origen $O$ y cualquier punto $X$ en el segmento de línea $AB$ se encontrará con la curva como máximo en un punto $D$ entre $O$ y $X$". EDIT - esto debería leerse como 'exactamente en un punto $D$ entre $0$ y $X$ en lugar de como máximo uno; parece que el autor cometió un error.
Bajo esta definición, una curva con forma de la mitad izquierda de una parábola en forma de U, pero que nunca alcanza un punto en el que su derivada sea 0, es el tipo de bonita curva de indiferencia convexa hacia el origen con la que soñamos como economistas. Si permitiéramos que la pendiente de la curva de indiferencia se volviera positiva después de algún punto, entonces sería posible trazar una línea desde el origen que cruza dos puntos de la curva, en cuyo caso la curva no sería convexa hacia el origen.
Cuando una función de utilidad es una función de dos variables x e y, una curva de indiferencia es convexa hacia el origen si las derivadas de las curvas de indiferencia son siempre negativas y las segundas derivadas son positivas. Es decir, las curvas de indiferencia tienen una pendiente descendente siempre pero la pendiente de la pendiente aumenta (de un valor negativo a un valor menos negativo) a medida que nos movemos hacia la derecha. Es decir, la tasa marginal de sustitución (el negativo de la pendiente de la curva de indiferencia o, de manera equivalente, la magnitud de la pendiente de la curva de indiferencia) disminuye a medida que nos movemos hacia la derecha a lo largo de una curva de indiferencia.
Saludos,
Dutchman
Edit en respuesta al comentario de Giskard:
Giskard tiene razón, la definición tendría que ser corregida a 'exactamente uno'.