Datos y Algoritmos: retrospectiva y mirada al futuro

Hace unos meses me pidieron un artículo para el 35º Aniversario de ComputerWorld España. Podéis encontrar el articulo aquí junto otros artículos. Lo reproduzco para facilitar su lectura:

Cuando aún muchas organizaciones están lidiando con la revolución que ha supuesto los factores de base tecnológica conocidos como SMAC (Social, Mobile, Analytics y Cloud Computing), hemos empezado ya a hablar de la siguiente etapa. Ya sea haciendo referencia a la cuarta revolución industrial, que se trata de una redefinición de los procesos de producción, hablando de una cuarta plataforma fundamentada en sensores/IoT, machine learning, y una interacción natural entre máquinas y personas que crea efectos asintóticos en red o de las organizaciones exponenciales, caracterizadas por su rápido crecimiento y fundamentadas por unas capacidades organizaciones diferentes respecto el dato, los activos, la interacción, la fuerza de trabajo y las comunidades con las que se vincula.

Sea cual sea la forma en la que describimos la siguiente etapa para las organizaciones, tanto el presente como el futuro coinciden en que el dato y nuestra capacidad de analizarlo de forma adecuada van a ser absolutamente cruciales.

Aprovechando que ComputerWorld cumple su 35 aniversario es un buen momento para hacer una retrospectiva sobre cómo ha evolucionado la gestión y análisis de la información en las últimas décadas.

La necesidad de analizar datos no es nueva. Ya en la década de los 70 las organizaciones empezaron a usar sistemas de informes y la estadística para comprender el rendimiento operacional. A este primer enfoque lo llamamos, sistemas de gestión de la información. Cabe comentar estamos hablando de informes estáticos generados mediante procesos batch contra los sistemas operacionales.

A lo largo de la siguiente década nuestras necesidades se ampliaron y empezamos a hablar de los sistemas de información ejecutivos y nuevas tecnologías emergieron. Por un lado, el data warehouse con una doble finalidad: tener una fuente de datos fiables y relevantes para la toma de decisiones y, además, para reducir el impacto de los informes sobre los sistemas operacionales. Por otro lado, la aparición de nuevas formas de análisis más flexibles con capacidades exploratorias como OLAP (Online Analytical Processing) y las consultas ad-hoc.

La década de los 90 puede considerarse como un punto de inflexión relevante en este mercado puesto que asistimos a la aparición de las primeras plataformas completas de inteligencia de negocio. Esto se tradujo en nuevas funcionalidades tanto orientadas a los usuarios (como los cuadros de mando o las primeras capacidades de colaboración) como orientadas a facilitar la implementación de estos sistemas de información como los procesos ETL (para dejar atrás cargas de datos fundamentadas en SQL o lenguajes de programación).

La siguiente década, del 2000 al 2010, se puso foco en la analítica de negocio, es decir, en la aplicación de técnicas analíticas para resolver problemas de negocio muy específicos como, por ejemplo, detectar el fraude, segmentar clientes u optimizar el inventariado. Al mismo tiempo, se puso foco en mejorar las estructuras relacionales de almacenamiento del dato ya fuera con bases de datos especializadas o mediante la combinación optimizada de software y hardware.

Es el momento de parar un momento. Y centrarnos qué ha pasado en los últimos seis años. Y para muchos esto se resume en una palabra: Big Data. Fenómeno que marca un antes y un después. La progresiva digitalización de los procesos de negocio, la explosión en nuevos dispositivos y canales de interacción, la democratización del acceso a tecnología,… entre otros ha facilitado que se haya magnificado la creación de datos. En los últimos años hemos creado más datos que en toda la historia anterior de la humanidad. Y lo más interesante es que estos conjuntos de datos presentan una mayor complejidad (expresada de múltiples formas, pero frecuentemente en términos de volumen, velocidad y variedad).

Este nuevo escenario ha propiciado la emergencia de nuevas tecnologías. En primera instancia para el procesamiento y el almacenamiento del dato, y en segunda para su análisis. El mercado actual se ha enriquecido con tecnologías para procesamiento batch, procesamiento en streaming y NoSQL. Muchas de ellas estructuradas en componentes, plataformas y ecosistemas que compiten y colaboran al mismo tiempo. Y además nos hemos empezado a replantear las arquitecturas de datos: ¿es suficiente el data warehouse? ¿necesitamos cubrir escenarios batch y streaming al mismo tiempo? ¿es posible crear un repositorio para datos complejos? ¿y qué pasa entonces con el gobierno del dato?

Y no se trata de dominar simplemente estas tecnologías sino de transformarse en nuevo tipo de empresas: una organización orientada al dato. En la que el dato y los algoritmos se transforman en uno de los activos más relevantes para la gestión de la organización permeando todas sus capas desde el trato al cliente a la gestión de los empleados pasando por la eficiencia operacional.

Tenemos ya pistas por dónde irá ese futuro: algoritmos inteligentes formaran parte de productos y servicios automatizando decisiones y dando soporte ágil a nuestras decisiones. Machine learning, deep learning, sistemas cognitivos serán el pan de cada día de las organizaciones. Si a esto lo combinamos con Internet of Things, el futuro volverá a empujarnos a revisar nuestra arquitectura, ya no sólo a nivel de software sino también en hardware.

Y tendremos de resolver preguntas cruciales: ¿dónde estará la inteligencia de nuestra organización? (quizá mediante fog computing o edge analytics), ¿continuaran siendo válidos nuestros algoritmos de machine learning una vez que nuestros competidores, usuarios y empleados saben que los usamos para entenderlos? ¿cuándo tendremos GPU computing y ordenadores cuánticos a nuestra disposición para potenciar nuestras capacidades de análisis?

Sin duda alguna el futuro depara retos muy interesantes para las organizaciones que deben, sí o sí, preguntarse cómo van a apalancarse en los datos y los algoritmos para competir mejor. Tendremos de estar atentos a tantos avances para no quedar fuera de juego.

2 opiniones en “Datos y Algoritmos: retrospectiva y mirada al futuro”

  1. Hola Josep, excelente artículo, que refleja la evolución de la información. Con 15 años dedicados al mundo del BI, tengo que decir que me he encontrado con todas esas tecnologías fluyendo en la decada del 2000 al 2010. Ya en el 2012-3 es cuando empecé a escuchar el famoso Big data, que a día de hoy para mi sigue siendo algo desconocido y al alcance de pocos, o al menos eso pienso yo, puesto que cuando encuentras bbdd con varios millones de registros ya lo denominan Big data y eso no es así….

  2. Hola Javier,

    Gracias. Coincido contigo que a pesar que llevamos varios años hablando de Big Data, sigue siendo un término confuso. Es lo que tiene no disponer de una definición formal. Desde mi perspectiva, en lugar de pensar sólo en cantidades de datos, es necesario pensar en casos de uso (vinculados con datos) relevantes para la organización y qué arquitectura/plataforma soporta dichos casos de uso. Como puedes imaginar un tema para hablar largo y tendido.

    Un saludo

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *