Que viene el BIG DATA!!!

Big Data, big data, últimamente solo oigo hablar de este concepto, pero el tratamiento de la información es un problema que viene de lejos… ¿acaso ya nadie se acuerda de los Data Warehouses y las explotaciones de datos, la minería de datos, etc..??. Pues bien, ahora hablamos de Big data, pero al fin y al cabo, estamos hablando de un problema que ya se ha estado tratando hace tiempo y “que se veía venir”…

Desde hace tiempo, los tecnólogos, hemos estado muy  preocupados de proporcionar a las instituciones y empresas “soluciones” que les permitan almacenar la información de la mejor manera posible. Yo creo que este es un objetivo que hemos cumplido ampliamente y ahora estamos ante un escenario totalmente distinto ¿qué hacemos con toda esta información que almacenamos? Y no solo eso; es evidente que cada vez más, esta información se extiende dentro del mundo “social media” y está saliendo del círculo cerrado de las instituciones y empresas, por no hablar de la rápida implantación que está teniendo la famosa “nube”. Todo ello, hace pensar que ya no debemos tratar datos ordenados y perfectamente clasificados como hasta ahora, sino que debemos tratar datos heterogéneos, de multitud de fuentes, con estructuras y formatos muy diversos. El mundo online en general, sobre todo las redes sociales, producen cantidades ingentes de datos impensables hace años.

De esta forma, según mi estimada Wikipedia, "Big data" es un término aplicado a conjuntos de datos que superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable. Los tamaños del "big data" se encuentran constantemente en movimiento creciente, de esta forma en 2012 se encontraba dimensionada en un tamaño de una docena de terabytes hasta varios petabytes de datos en un único data set. En la metodología MIKE2.0 dedicada a investigar temas relacionados con la gestión de información, definen big data en términos de permutaciones útiles, complejidad y dificultad para borrar registros individuales.

Así pues, es evidente que hoy en día existe una gran cantidad de información. Desde Oracle, señalan que cada día se generan datos por valor de 1.5 trillones de bytes. Esta cantidad, solo puede ser aprovechada si se selecciona y procesa adecuadamente.

El Big data es muy interesante, por ejemplo, para empresas del mundo del consumo, que pueden procesar toda la información social publicada por sus potenciales clientes y aprovecharla para crear un perfil robot de sus consumidores y para adelantarse a sus peticiones y necesidades (según  indica en su página sobre BigData, la web de TICbeat), aunque es aplicable a todo tipo de instituciones y empresas.

Para ello, los tecnólogos debemos adaptarnos, ya no es suficiente con ser un “analista de datos”, hay que ser lo que se viene llamando “un científico de datos”. El científico de datos, debe tener, según Gartner, una formación similar a la del analista de datos, pero además de los fuertes conocimientos de informática (sobre todo en herramientas y lenguajes como Hadoop, Pig, Pyton y Java), estadística, análisis y matemáticas, también debe tener un sólido conocimiento del negocio y, sobre todo, la capacidad de comunicarse tanto con las áreas de tecnología como las de negocio, dentro de la organización.

Según IBM, “Los buenos científicos de datos no solo solucionan los problemas del negocio, dentro de la organización, sino que escogen aquellos que deben ser resueltos antes por brindar un mayor valor a la organización”. A veces, se le ha llegado a describir como “en parte analista, en parte artista”.

Así pues, no podemos perder de vista este concepto, que, según un informe de la universidad de Harvard “El científico de datos…es el trabajo más sexy del siglo XXI”.

Algunos de los “mandamientos” de esta nueva forma de gestión de la información, según TICbeat son:

-       Garantizar el flujo de la información (la información adecuada, a la persona adecuada, en el momento adecuado)

-       Extender la gestión de la información (ampliar la cobertura de la información que somos capaces de gestionar)

-       Reducir la complejidad y reducir los silos de información (accesible desde cualquier dispositivo, en cualquier momento y en cualquier lugar con la capacidad de agregar fuentes, formatos y localizaciones en una visión única).

Los datos, organizados y empleados debidamente, pueden convertirse en información. La información, absorbida, comprendida y aplicada por las personas, puede convertirse en conocimientos. Los conocimientos aplicados frecuentemente en un campo pueden convertirse en sabiduría, y la sabiduría es la base de la acción positiva

- Mike Cooley