Creando las bases de datos científicas más grandes

Se llevó cabo una reunión anual sobre bases de datos extremadamente grandes donde se continuó discutiendo la creación de un nuevo motor de bases de datos open source llamado SciDB, específicamente para fines científicos.

La tercera reunión anual de Bases de datos tuvo lugar en Francia a fines de agosto, organizado por el ingeniero Jacek Becla y miembros de su equipo en SLAC, junto con la 35º conferencia sobre Bases de datos.

Este año la reunión XLDB se enfocó en alcanzar a comunidades fuera de Estados Unidos y comunidades científicas relacionadas con las geociencias, radio astronomía y biología que no habían estado representadas en las reuniones anteriores.

Las reuniones anteriores de XLDB llevaron a la creación de un proyecto para realizar un motor de bases de datos llamado SciDB, pensado específicamente para los complejos análisis científicos en escalas descomunales. La iniciativa ya atrajo a muchos profesionales de todo el mundo para diseñar y crear el software.

"El sistema que estamos creando es muy diferente. Finalmente entendemos bien las necesidades de la ciencia y estamos creando un motor que realizará bien estas necesidades", señaló Becla.

Las bases de datos extremas son medidas, actualmente, en petabytes. Un petabyte son 1.015 bytes. Los discos rígidos de las computadoras de escritorio modernas pueden tener entre 80 y 320 GB normalmente. Un petabyte son un millón de GB. ¡Un millón de GB son mil billones de bytes!.

(Es posible hoy en día adquirir discos de 1 TB, ya sea que escondan dos de 500 GB o uno realmente de esa capacidad y se anunciaron discos de 300 TB para el próximo año... Un petabyte son MIL Terabytes).

Podemos tratar de comprender la capacidad enorme que representa con otro enfoque, del blogger Daniel Abadi según dice en su blog DBMS Musings:

... si cada letra en este blog es de unos 3 milímetros de ancho en tu pantalla y cada letra es guardada en un carácter ASCII, de 1 byte y, asumiendo que todo el contenido está en una sola línea, ¿cuán larga (en distancia) sería hacer que este post alcanzara 1 petabyte de datos?, ¿Un kilómetro?, ¿100?, ¿Cruzaría el Océano Atlántico?, ¡NO!. Este post llegaría a la Luna. Y volvería. Y luego lo haría 3.400 veces más. O serían 10 idas y vueltas hasta el Sol!!!.


En el mundo tan informatizado que vivimos, existen varias agrupaciones que ya coleccionan petabytes de datos. Google o eBay son dos ejemplos a la mano. El equipo de Becla creó la base de datos del detector BaBar y ahora son responsables del diseño de la base para el Large Synoptic Survey Telescope, estimando que generará más de 100 petabytes de datos.

Más y más disciplinas científicas están adquiriendo semejantes cantidades de datos y necesitan software para almacenarlos y procesarlos, pero los fabricantes comerciales no producen sistemas que puedan manipular estas cantidades a costos y niveles de rendimiento razonables. Como resultado, las Bases de Datos Extremadamente Grandes son creadas por los propios usuarios, pero eso las convierte en muy costosas de desarrollar y mantener.
La astronomía, a través de sus variados y cada vez más potentes observatorios, viene recolectando una cantidad ingente de datos. Y todo hace pensar que esa cantidad se irá incrementando con las nuevas instalaciones. Que los investigadores posean un motor de bases de datos acorde es, sin duda, imprescindible.