¿Ya no admite Yahoo/Google el raspado web de datos FOREX?

Question

Utilizo Python 3.6 para desarrollar estrategias cuantitativas de trading en FOREX. Solía utilizar Yahoo o Google junto con pandas.datareader con el fin de recopilar datos de divisas para el desarrollo de estrategias diarias. Sin embargo, últimamente, estos pandas La API no ha funcionado en absoluto. No estoy seguro de si han cambiado la forma de acceder a los datos FOREX... Usando algo como EURUSD=X' or EUR=X`suele funcionar como argumento para el "nombre" del valor.

También he probado a utilizar ffn para python. Es un paquete que hace que la descarga de datos/retroalimentación sea muy sencilla. Sin embargo, he descubierto que incluso esto ha dejado de funcionar.

¿Han cambiado yahoo y google sus políticas de datos en torno a los datos FOREX? ¿O estoy haciendo algo completamente equivocado?

Tanto el datareader como el ffn intentan acceder a esta URL sin éxito: Yahoo: http://ichart.finance.yahoo.com/table.csv

Answer 1

Yahoo ha cambiado la estructura de su sitio. Las nuevas URL de descarga tienen este aspecto:

https://query1.finance.yahoo.com/v7/finance/download/MSFT?period1=1463461200&period2=1494910800&interval=1d&events=history&crumb=lHxk.yfuuzZ

Estos enlaces se originan en páginas como ésta: https://finance.yahoo.com/quote/MSFT/history?period1=1463461200&period2=1494910800&interval=1d&filter=history&frequency=1d

Han cambiado a marcas de tiempo Unix para el formato de la fecha, y la URL de descarga ahora valida una cookie (el crumb en la cadena de consulta), lo que significa que cualquier persona que quiera raspar los datos tendrá que lidiar con las cookies.

Hay una discusión más completa en Elite Trader: https://www.elitetrader.com/et/threads/yahoo-historical-data-did-they-change-the-url-recently.309554/

Answer 2

Están tratando de hacer esto más difícil. En matlab, se puede eludir fingiendo ser un usuario de chrome usando weboptions, y fingiendo que se accede desde Chrome:

https://www.mathworks.com/help/matlab/ref/weboptions.html

options.UserAgent = 'Chrome';

¿Tal vez sea posible algo similar en python?

Answer 3

Parece que después de varios cambios Yahoo Finance cerró su API para siempre. La API se cerró el 15 de mayo, hace ya un mes.

He probado varias alternativas y he descubierto que  https://eodhistoricaldata.com  el mejor para los que utilizan Yahoo Finanzas. Proporcionan datos en bruto, cierres ajustados y divisiones/dividendos.

También tienen salida en CSV, con un formato muy similar para los usuarios de Yahoo Finanzas. También hay un  https://intrinio.com/  proveedor de datos, se ve bien, pero son mucho más caros, no tienen datos para los fondos de inversión y la API es muy diferente en comparación con Yahoo Finanzas. Entonces usted tiene que cambiar significativamente su código.

Answer 4

La API de Yahoo! Finance no funciona, ¿has probado? API de CityFALCON ?