¿Por qué los bancos no dan acceso a toda su actividad transaccional?

Question

En la era de los grandes datos, me parece sorprendente que los bancos y las compañías de tarjetas de crédito sólo ofrezcan acceso a un número ridículamente pequeño de transacciones, a menudo sólo los últimos 180 días, si acaso. La más larga que he visto era de 720 días atrás. Sospecho que lo almacenan todo, pero limitan el acceso intencionadamente.

Estas transacciones son sólo de texto, ocupan muy poco espacio, y el almacenamiento de un de por vida El valor de una transacción ocuparía menos de 10 MB de datos; más o menos el almacenamiento que requieren dos archivos MP3, y unos 250.000 registros por persona a lo largo de su vida, si suponemos generosamente que todo el mundo hace 10 transacciones al día. Pero yo me conformaría con sólo los últimos 10 años de transacciones, es decir, alrededor de 1MB por cliente. Uno de los mayores bancos, JP Morgan Chase, tiene ~70MM de clientes de tarjetas de crédito . Esto significa 70TB de datos para 10 años de registros - apenas impresionante para una corporación de ese tamaño, con 17.000 millones de dólares de red ingresos en 2013 cuando 1TB de almacenamiento en la nube cuesta 10 dólares al mes .

En comparación, ¿soportarías que Gmail o cualquier proveedor de correo electrónico en línea guardara sólo los correos electrónicos más recientes de 120 días? (Y los correos electrónicos ocupan mucho más espacio que las transacciones, son mucho más numerosos y tienen que poder recuperarse al instante).

Los requisitos de almacenamiento para la actividad transaccional son triviales en una época en la que se habla de petabytes y zetabytes.

¿Existe alguna razón de peso para que los bancos no ofrezcan acceso a todas sus transacciones, aparte del software heredado por su parte?

---

ACTUALIZACIÓN: Por alguna razón no había encontrado esta pregunta de 2011 en Quora preguntando lo mismo.

Answer 1

Para añadir detalles técnicos a otras respuestas, sus estimaciones (y las de algunos comentaristas) sobre el almacenamiento de esos datos son lamentablemente (muchos órdenes de magnitud) fuera.

Tomemos sus 10MB de datos de transacciones por usuario.

1. Sólo está estimando los registros de texto como en Quicken.

   Ahora añade el volumen de almacenamiento de la imagen de cada cheque. Eso son 100K (si no 500Kb dependiendo de la resolución del escaneo) por cheque. Si tienes 100 cheques al año (no es irreal, si pagas todas las facturas de servicios públicos/magages con cheques, así como las compras), ahora tienes 10Mb/año a 50MB/año. Ahora pides 10 años de esto, así que tienes 100-500MB por cliente. NO 10MB-70MB, como supuso inicialmente. Tomemos una cifra media, 300 MB.

2. Usted estaba estimando el uso de almacenamiento barato de consumo (que Facebook puede permitirse para sus datos, ya que no almacenan transacción datos). Ahora subamos eso a los discos duros de los servidores empresariales. Sus costes de almacenamiento acaban de aumentar entre 2 y 5 veces.

3. Ahora bien, lo típico es tener RAID. Así que 2 veces más.

4. La mayoría de las grandes instituciones financieras tienen varios centros de datos. Suelen almacenar todas las copias de los datos en esos centros de datos con fines de RD. Su multiplicador añadió otro 2x-4x

5. La mayoría de los servidores de datos de producción tienen varias copias (servidor de BD de escritura + una o más copias de sólo lectura). Multiplique por 2x-4x

6. Salvo raras excepciones, la mayoría de los bancos no tienen un solo servidor central de bases de datos. Cada aplicación o línea de negocio importante tiene su propia base de datos, por lo que hay que multiplicar esa cifra por 2 o por 20 dependiendo del banco, especialmente si ha llegado a su tamaño mediante la fusión con otros bancos y tiene docenas de sistemas heredados.

7. múltiples copias de seguridad. Los requisitos reglamentarios de las copias de seguridad significan que no sólo se hace una copia de seguridad de los datos una vez al año. Lo haces a diario, hasta que los datos se purgan de la base de datos.

   Es decir, no almacena UNA copia de su transacción en la copia de seguridad. Usted almacenó, digamos, 10*365 copias, asumiendo una retención de 10 años)

Así, en el bajo final, sus estimaciones de costes son 30*2*2*2*2 = 900 veces menos ( 3 órdenes de magnitud ) sólo para en directo almacenamiento de la base de datos, y 3500 veces menos por los costes de las copias de seguridad.

En el extremo superior, podrían estar 50*5*2*4*4*20=16.000 veces fuera ( 4-5 órdenes de magnitud )

En este rango, no, no vale la pena para el banco mantener sus transacciones disponibles en DB y en línea más allá de lo absolutamente necesario.

Answer 2

Se han planteado muchos puntos buenos, y me limitaré a enlazarlos aquí, para facilitar.

Fuente: Trabajo en una empresa de procesamiento de transacciones con tarjetas de crédito/débito en los equipos de Base de Datos y Software de Procesamiento.

1. Seguridad

Ver Respuesta de mhoran_psprep .

2. Tradición

Ver La respuesta de Chris .

3. Integridad del sistema

Lo crea o no, los bancos no exponen su base de datos primaria (o secundaria) a los usuarios finales. No exponen su base de datos más rápida / más robusta a los usuarios finales. Al almacenar sólo x días de datos en esa base de datos orientada al cliente y limitando el alcance de cualquier consulta, es mucho menos probable que cualquier consulta que se ejecute en ella cause lentitud en todo el sistema.

Sin duda tienen archivos de bases de datos que se mantienen fuera de línea, y sin duda tienen una base de datos orientada a los empleados que les permite consultar rangos de datos más amplios.

4. Sin valor añadido

¿Qué ganaría un banco si le permitiera consultar un año completo de transacciones?

Answer 3

Archivos heterogéneos

Un gran problema de los datos históricos en el sector bancario es que no pueden residir en un único sistema.

Los archivos de un banco típico incluirán docenas de archivos diferentes realizados por distintas empresas en sistemas diferentes e incompatibles. Por ejemplo, véase http://www.motherjones.com/files/images/big-bank-theory-chart-large.jpg como ejemplo de las fusiones y adquisiciones de bancos, y, según parece, eso no incluye muchas operaciones pequeñas. El historial de 10 años de una cuenta determinada puede estar en un sistema diferente.

A menudo, cuando se integran estos sistemas, se llega a un compromiso: si el banco A adquiere el banco B que ha adquirido antes el banco C, si la adquisición de C fue hace unos años, entonces se puede omitir la integración de los archivos de C en sus sistemas en línea, mantenerlos separados y utilizarlos sólo cuando/si se necesitan (y minimizar esa necesidad con fuertes tarifas).

Como se supone que la lista de precios y los servicios son iguales para todos, entonces no importa cómo se originaron sus cuentas, si el 10% de los archivos son un problema lo suficientemente costoso de integrar, entonces tiene sentido financiero restringir el acceso al 100% de los archivos más antiguos que algún umbral arbitrario.

Answer 4

Ya sé por qué lo hace el Rabobank en los Países Bajos. Puedo retroceder alrededor de un año y medio con mi banca por Internet. Pero sólo puedo ir más atrás (hasta 7 años) después de contactar con el banco y pagar 5 euros por transcripción (una transcripción contiene alrededor de un mes de actividades).

Necesitaba las transcripciones de un año para mis impuestos y tuve que desembolsar más de 50 euros.

EDITAR Parece que recientemente han cambiado su política de forma que se pueden solicitar tantas transcripciones como se quiera por un coste máximo de 25 euros, por lo que la tendencia a facilitar el acceso es visible.

Answer 5

Si necesita acceder a sus datos más allá de la disponibilidad en línea, puede descargar las transacciones y gestionar el archivo usted mismo. Entre seis y dieciocho meses suele ser tiempo suficiente para que la mayoría de la gente gestione sus propios datos archivados.

Los grandes bancos tienen el poder de almacenar y recuperar todos los datos en línea. Desgraciadamente, no se accede con frecuencia a los registros más antiguos. ¿Por qué tener estos registros en línea cuando rara vez se va a acceder a ellos? Las copias de seguridad de los datos tardarán más. Las consultas para recuperar los datos tardarán más. Todo llevará más tiempo sólo para tener registros a los que el 99% de los clientes nunca accederán.