¿R está siendo reemplazado por Python en los escritorios cuánticos?

Question

Sé que el título suena un poco extremo, pero me pregunto si R es eliminado por un montón de escritorios cuánticos en los bancos de venta lateral, así como los fondos de cobertura en favor de Python. Tengo la impresión de que con las mejoras en Pandas, Numpy y otros paquetes de Python la funcionalidad en Python está mejorando drásticamente para extraer de forma significativa datos y series temporales de modelos. También he visto implementaciones bastante impresionantes a través de Python para paralelizar el código y extender los cálculos a varios servidores/máquinas. Sé que algunos paquetes en R son capaces de eso también, pero siento que el impulso actual favorece a Python.

Necesito tomar una decisión sobre la arquitectura de un subconjunto de mi marco de modelación yo mismo y necesito algún aporte sobre cuál es el sentimiento actual por otros cuentos.

También tengo que admitir que mis reservas iniciales con respecto a la ejecución a través de Python están en su mayoría desactualizadas porque algunos de los paquetes hacen un uso intensivo de implementaciones C bajo el capó y he visto implementaciones que superan claramente incluso el código de lenguaje OOP escrito y compilado eficientemente.

¿Puede comentar lo que está usando? No estoy pidiendo opiniones sobre si crees que uno es mejor o peor para las tareas de abajo, sino específicamente por qué usas R o Python y si incluso las colocas en la misma categoría para realizar, entre otras, las siguientes tareas:

• adquirir, almacenar, mantener, leer, limpiar series temporales
• realizar estadísticas básicas sobre series temporales, modelos estadísticos avanzados como análisis de regresión multivariante,...
• realizando cálculos matemáticos (transformadas de Fourier, solucionador de PDE, PCA, ...)
• visualización de datos (estáticos y dinámicos)
• derivados de precios (aplicación de modelos de precios como los modelos de tipos de interés)
• interconexión (con Excel, servidores, UI, ...)
• (Añadido en enero de 2016): Capacidad para diseñar, implementar y entrenar redes de aprendizaje profundo.

EDITAR Pensé que el siguiente enlace podría añadir más valor aunque está ligeramente anticuado [2013] (por alguna oscura razón esa discusión también se cerró...): https://softwareengineering.stackexchange.com/questions/181342/r-vs-python-for-data-analysis

También puede buscar varios mensajes en el sitio web de r-bloggers que tratan sobre la eficiencia computacional entre los paquetes R y Python. Como se trató en algunas de las respuestas, un aspecto es la poda de datos, la preparación y configuración de los datos de entrada. Otra parte de la ecuación es la eficiencia computacional cuando se realizan realmente cálculos estadísticos y matemáticos.

Actualización (Enero 2016)

Quería proporcionar una actualización de esta cuestión ahora que las redes de Inteligencia Artificial/Aprendizaje Profundo son perseguidas muy activamente en los bancos y los fondos de cobertura. He dedicado una buena cantidad de tiempo a profundizar en el aprendizaje profundo y he realizado experimentos y trabajado con bibliotecas como Theano, Torch y Caffe. Lo que destacó de mi propio trabajo y de las conversaciones con otros fue que muchas de esas bibliotecas se utilizan a través de Python y que la mayoría de los investigadores de este espacio no utilizan R en este campo en particular. Ahora, esto todavía constituye una pequeña parte del trabajo cuántico que se está realizando en los servicios financieros, pero todavía quería señalarlo ya que toca directamente la pregunta que hice. Añadí este aspecto de la investigación cuántica para reflejar las tendencias actuales.

Answer 1

Mi negocio es HFT así que lo que me importa es

1. leer/cargar datos de un archivo o una base de datos rápidamente en la memoria
2. realizar operaciones muy eficientes de manipulación de datos (agrupar, transformar)
3. visualizar fácilmente los datos

Creo que está bastante claro que 3. va a R, gráficos y ggplot2 y otros permiten trazar cualquier cosa desde cero con poco esfuerzo.

Sobre 1. y 2. Me asombra leer los post anteriores para ver que la gente aboga por python basándose en pandas y que nadie cita tabla de datos Data.table es un paquete fantástico que permite agrupar/transformar rápidamente tablas con 10 millones de filas. En este banco puedes ver que data.table es varias veces más rápido que pandas y mucho más estable (pandas tiende a fallar en tablas masivas)

Ejemplo

R) library(data.table)
R) DT = data.table(x=rnorm(2e7),y=rnorm(2e7),z=sample(letters,2e7,replace=T))
R) tables()
     NAME       NROW NCOL  MB COLS  KEY
[1,] DT   20,000,000    3 458 x,y,z    
Total: 458MB
R) system.time(DT[,.(sum(x),mean(y)),.(z)])
   user  system elapsed 
  0.226   0.037   0.264 

R)setkey(DT,z)
R)system.time(DT[,.(sum(x),mean(y)),.(z)])
  user  system elapsed 
  0.118   0.022   0.140 

Luego está la velocidad, como trabajo en HFT ni R ni python se pueden usar en producción. Pero el Rcpp le permite escribir código C++ eficiente e integrarlo en R de forma trivial (añadiendo literalmente 2 líneas). Dudo que R esté desapareciendo, dado el número de paquetes nuevos que se crean cada día y el impulso que tiene el lenguaje...

EDITAR 2018-07

Unos años después, me sorprende cómo ha evolucionado el ecosistema de R. Para el cómputo en memoria tienes herramientas inigualables, desde fst para una lectura/escritura binaria ultrarrápida, fork o paralelismo en cluster en one liners. La integración de C++ es increíblemente fácil con Rcpp. Obtienes gráficos interactivos con los clásicos como plotly, características locas como ggplotly (sólo hace tu ggplot2 interactivo). Por probar python con pandas sinceramente no entiendo como puede haber siquiera una coincidencia. La sintaxis es torpe y el rendimiento es pobre, debo estar demasiado acostumbrado a R supongo. Otra cosa que realmente falta en python es la programación litera, nada se acerca a rmarkdown (lo mejor que pude encontrar en python fue jupyter pero eso ni siquiera se acerca). Con todo el alboroto que rodea a la guerra del lenguaje R vs Python me doy cuenta de que la gran mayoría de la gente está simplemente desinformada, no saben lo que es data.table, que no tiene nada que ver con un data.frame, no saben que R soporta completamente tensorflow y keras.... Para concluir creo que ambas herramientas pueden hacer de todo y parece que el lenguaje python tiene muy buenas relaciones públicas....

Answer 2

En lugar de hacer conjeturas sobre el futuro de R/python en la comunidad, he aquí algunos hechos:

La siguiente consulta en StackExchange Data Explorer cuenta el número de preguntas que tienen <r> o <python> etiquetas. Si se desplaza hacia abajo en una de las tres páginas web proporcionadas a continuación, puede ver un gráfico con datos sobre una base mensual. También puede realizar esta consulta en las bases de datos de otros sitios (sólo tiene que ir a "Cambiar de sitio" justo debajo de la consulta).

estadísticas http://data.stackexchange.com/stats/query/350129/r-versus-python-tags#graph

pila http://data.stackexchange.com/stackoverflow/query/350129/r-versus-python-tags#graph

quant http://data.stackexchange.com/quant/query/350129/r-versus-python-tags#graph

Los resultados:

• En términos absolutos, R tiene más aciertos para ambos stats.stackexchange.com y quant.stackexchange.com (este último con muy pocos datos). Python tiene más aciertos para stackoverflow.com .

• En términos relativos, la brecha entre R y python se está cerrando para stackoverflow.com (proporción aproximada de 1 a 3 en este momento). La relación entre las etiquetas R y python en stats.stackexchange.com es más o menos estable desde mediados/finales de 2013 (aproximadamente un factor 10 o un poco más).

Realmente creo que las estadísticas de las etiquetas en el universo de stackexchange son un buen indicador de la actual interés por un determinado lenguaje de programación, probablemente incluso más por su futuro popularidad.

En general, estoy seguro de que los datos actuales son un argumento sólido contra la hipótesis de Matt Wolf de que "R podría ser obsoleto en 3-4 años" . ;)

---

Actualización: Ya han pasado 6 meses desde mi respuesta inicial. Todavía tenemos que esperar otros 2,5-3,5 años para ver definitivamente si R se ha quedado obsoleto :) Mientras tanto, una rápida adición debido al comentario de Matt Wolf. Aquí hay variaciones de las consultas anteriores que dan los ratios de las etiquetas (a eso me he referido en el segundo punto de mi respuesta). Todos los ratios son etiquetas de python divididas por etiquetas de R.

estadísticas

http://data.stackexchange.com/stats/query/421036/r-versus-python-tags-quotient-py-r#graph

No veo una tendencia clara aquí. El ratio Py/R está en torno a 0,07 (aunque hubo un pico de 0,095 en noviembre). Desde mediados de 2013, la relación varía entre 0,04 y 0,11. Así que yo lo llamaría relativamente estable.

SO

http://data.stackexchange.com/stackoverflow/query/421032/r-versus-python-tags-quotient-py-r#graph

En efecto, desde el 15 de julio se observa una tendencia a corto plazo a favor de Python (la relación Py/R pasó de 3,1 a 3,5). Así que la afirmación de que "R está cerrando la brecha con respecto a la relación Py/R" podría considerarse obsoleta en este momento.

quant

http://data.stackexchange.com/quant/query/421042/r-versus-python-tags-quotient-py-r#graph

Sigue siendo muy ruidoso. Parece que Python se ha recuperado un poco en los últimos meses. Pero es difícil decirlo con tan pocos datos.

Answer 3

Esto es interesante porque veo otra tendencia: Matlab está siendo reemplazado por R, pero supongo que esta es otra historia.

Utilizo R para mi trabajo académico (también estoy enseñando esta materia) así como para mi trabajo de consultoría (estoy trabajando principalmente en el $\mathbb{P}$ zona, con algunas excursiones a $\mathbb{Q}$ ). Probé con Python pero no me funcionó. Creo que las principales razones por las que me quedaré con R son:

• especialmente en el ámbito de la estadística y la analítica existe tal cantidad de paquetes de alta calidad con métodos a veces incluso muy recientes que no tiene rival en ningún otro lenguaje.
• Para mí, R tiene la mezcla adecuada de capacidades de bajo nivel de, por ejemplo, (re)organización de datos y comandos de alto nivel (por ejemplo, incluso k-means en el paquete principal)
• la velocidad está bien para mí porque no estoy trabajando en el área de HFT y hay muchas posibilidades de acelerar el código (vectorización, paralelización, buena conectividad con C asf)
• la comunidad está realmente muy metida en el tipo de cosas que me interesan mientras que con Python es realmente todo el mundo y su perro haciendo todo tipo de cosas que no me interesan... Supongo que también se trata de la mentalidad de cómo abordar algunos problemas, no lo sé.

Creo que en general hay que centrarse: yo no trataría de construir una página web o un juego con R, pero cuando se trata de estadísticas y análisis creo que Python no es un competidor real y recomendaría encarecidamente R como su futura configuración.

Editar
También escribí una entrada en el blog con puntos adicionales sobre por qué R es más adecuado para la ciencia de datos que Python: http://blog.ephorie.de/why-r-for-data-science-and-not-python

Answer 4

He utilizado tanto R como Python con Pandas en un trabajo financiero cuantitativo profesional para realizar proyectos a gran y pequeña escala. Recomendaría encarecidamente Python con Pandas sobre R para la mayoría de los nuevos proyectos en el campo, especialmente en el análisis de series temporales.

Aunque no discuto a vonjd en el sentido de que encontrarás más bibliotecas en R con algoritmos en la vanguardia de la investigación estadística, las bibliotecas en Python son muy robustas y están muy desarrolladas en esa área. Además, encuentro en mi trabajo y en el de mis colegas que estamos cogiendo bibliotecas de ingeniería eléctrica, visión por ordenador, big data y más. La gente de estos campos tiene en su mayoría bibliotecas en Python, no en R.

Sin embargo, la principal ventaja de Python sobre R en este campo es el flujo de trabajo. El flujo de trabajo con R solía consistir en utilizar Perl/Python para la limpieza de los datos y la preparación de la base de datos, ya que R era demasiado lento e incómodo para los grandes conjuntos de datos complicados, aunque esto está mejorando. Luego se construía el modelo estadístico en R aprovechando sus bibliotecas. Después, el modelo de R se reescribía en C para obtener velocidad, control, interfaz, paralelización y gestión de errores para la producción.

Python puede manejar este flujo de trabajo completo de principio a fin. Todos los pasos de interconexión que rodean a los principales proyectos de investigación son mucho más robustos y se ahorra mucho tiempo en el desarrollo al utilizar el mismo lenguaje en todo momento. Además, con Pandas la parte de investigación principal y el manejo de los datos es ahora más fácil y limpio en mi opinión.

En general, si sólo te centras en la estadística avanzada/la investigación de series temporales de minería de datos, entonces R y Python con Pandas son intercambiables, al menos por ahora. Sin embargo, parece que por tu pregunta también te preocupa la interconectividad y la arquitectura, para lo cual Python es muy superior.

Editar para el 2018: Es increíble lo fácil que es entrar en la munición de datos en Python hoy en día en comparación con cuando escribí esto por primera vez. Pruebe Anaconda para aquellos que quieran conocer Python/Pandas sin complicaciones.

Answer 5

Para el análisis de datos, en particular para los grandes proyectos de análisis de datos, casi la mayoría de los principales fondos de cobertura quant y muchos de los bancos están utilizando Python (en lugar de R) por un par de razones, pero muchos todavía tienen trozos de R para paquetes o funciones específicas (yo trabajo en un banco y la interfaz con un buen número de fondos de cobertura quant en el análisis de datos):

1. El anterior Python 2 solía tener muchos problemas de retrocompatibilidad, pero Python 3 es más estable entre versiones. Incluso las versiones de Pandas desde 0.13 son muy estables entre versiones. Nadie quiere usar un lenguaje para el que tenga que revisar y reescribir códigos significativos en algún momento en el futuro.

2. La gente necesitaba los mismos códigos para funcionar tanto en Linux como en Windows. Instalar y compilar paquetes en Python puede ser un gran dolor, tanto en Linux como en Windows. Mucha gente no quería hacer ningún proyecto nuevo en Python 2, ya que en algún momento en el futuro habría que pasar a Python 3 y se quedaron con R durante bastante tiempo. Además, durante un tiempo, Python 3 sólo estaba disponible con la distribución WinPython y WinPython sólo funcionaba en Windows. Anaconda, que es la principal distro de Python para Linux (y Mac), salió con soporte para Python 3 en algún momento de 2014, lo que provocó una gran migración.

Ventajas de Python (frente a R):

(i) La velocidad bruta es el mayor motivo (permite hacer mucho más análisis de datos estadísticos en el mismo tiempo)

(ii) Pandas puede leer archivos csv muy rápidamente (una de las razones por las que mucha gente se pasó de Matlab a R en algún momento)

(iii) Cython es más flexible que RCpp (al menos en mi experiencia)

(iv) organizar los archivos de código ordenadamente en directorios lógicos y clases dentro de los archivos (las clases en R son un descuido) y el proyecto se ve mucho mejor

(v) A partir de 2015, PyCharm es un IDE significativamente mejor que RStudio (aunque RStudio es mejor que Spyder). Las herramientas importan

Desventajas de Python (frente a R):

(i) El gran problema de Pandas solía ser que no tenía su propio formato de datos binarios. El formato RData de R es una gran ventaja. El almacenamiento basado en HDF5 de PyData no es fácilmente comprimible, da muchos errores de vez en cuando, y para los big data era un estorbo. Pickle, y otros formatos no acababan de cuajar. Después de años de exploración Python-vs-R, la mayoría terminó escribiendo su propio formato de datos binarios personalizado (para almacenar el marco de datos de Pandas) o utilizando modificaciones significativas de PostgreSQL para el almacenamiento de big data.

Los paquetes estadísticos son, por lo general, estupendos con ambos idiomas.

Tengo proyectos en R que tardaban 4 horas en ejecutarse cada día (durante la noche). Ahora, en Python, tardan un total de 20 minutos (con mucho menos uso de códigos de Cython que de RCpp en R). Esa es la diferencia de velocidad para ti.

Para responder a su pregunta:

• Adquirir, almacenar, mantener, leer y limpiar series temporales: Python es mejor

• realizar estadísticas básicas sobre series temporales, modelos estadísticos avanzados como análisis de regresión multivariante, etc.: tanto en Python como en R

• Realización de cálculos matemáticos (transformadas de Fourier, solucionador de PDE, PCA) visualización de datos (estáticos y dinámicos): tanto en Python como en R

  • valoración de derivados (aplicación de modelos de fijación de precios, como los modelos de tipos de interés): tanto en Python como en R

  • interconectividad (con Excel, servidores, UI): Python es mejor