Normalización del volumen

Question

Supongamos que tenemos volúmenes cada minuto como los siguientes

100, 200 , 19,  0 , 200 , 12 , 100

Quiero convertir todos estos números a menos de 10 , donde 10 es el máximo y 1 el mínimo.

Puedo hacer esto con la normalización pero el problema ocurre cuando hay algún volumen alto repentino viene como abajo

100, 200 , 19,  0 , 200 , 12 , 20000

donde cuando uso la normalización para los últimos 100 volúmenes, , este 20000 está afectando a todos los demás volúmenes.

¿Hay algo que pueda hacer tomando los promedios de los volúmenes y haciendo una normalización para eso o algo así?

Answer 1

Como es tu modelo puedes hacer cualquier cosa. Lo que yo haría es utilizar alguna exclusión dinámica de valores atípicos. Por ejemplo, en este caso sabes que el mínimo es cero.

Un método (de entre muchos) podría ser evaluar la mediana (ya que podría ser más sólida que la desviación estándar o la media) y utilizar 2 x mediana como límite superior:

>>> arr = np.array([100,200,19,0,200,12,20000])
>>> upper_lim = np.median(arr) * 2
>>> arr_adj = np.where(arr>upper_lim, upper_lim, arr) / upper_lim
>>> arr_adj *= 10
>>> arr_adj
array([5, 10, 0.95, 0, 10, 0.6, 10])