Aquí tienes un ejemplo de por qué tu pregunta es difícil y depende del marco de trabajo.
Caso 1: Toma el caso clásico de OLS $Y = \beta X + \epsilon$.
En este caso, el $\epsilon$ puede considerarse como un término de error que representa el ruido alrededor de la respuesta. Por lo tanto, la media de la respuesta es $\beta X$, pero en cualquier respuesta en particular no va a ser exactamente igual a esa media debido a $\epsilon$, que representa la variación alrededor de esa media.
Caso 2: Toma un modelo dinámico simple en econometría como el ADL(1,0) de modo que $Y_t = \rho Y_{t-1} + \beta X_{t} + \epsilon_t$.
En este caso, $\epsilon_t$ no es realmente ruido porque va a permanecer en $Y_{t}$ después de que ese período haya finalizado, por lo que es realmente parte del modelo. Es casi como una variable exógena en lugar de ruido, por lo que, para mí, el mejor término en este caso para $\epsilon$ probablemente sería innovación. Tiene lo que los economistas se refieren como un efecto "permanente" en la respuesta.
Por lo tanto, mi punto es que cada caso puede ser diferente. Este documento de Qin explica todo esto con mucho más detalle y de forma más clara.