Semantic Data Fabric: La importancia de dotar a los datos de un tejido semántico mediante ontologías

El grafo de conocimiento es el corazón de Semantic Data Fabric

La solución Semantic Data Fabric está basada en la construcción de un grafo de conocimiento unificado, que actúa como la mente del sistema dando servicio a otros componentes y está representado semánticamente, es decir, modelado mediante una ontología.

Una ontología representa conceptos que pertenecen a una parte específica del mundo; puede considerarse por tanto que gestiona conocimiento altamente especializado con independencia del modo, lenguaje, lugar o sistema de escritura del mismo. La ontología o modelo ontológico opera como un sistema de representación e interpretación del conjunto de contenidos y recursos digitales de un dominio dado de conocimiento, así como cualquier objeto potencialmente enlazado con ellos y, especialmente, entiende el modo en que este conjunto de entidades está todo él conectado.

Este enfoque va más allá del data lake, que pone a disposición de los usuarios conjuntos de datos (datasets). Supone una visión integral y avanzada de la gestión y explotación de datos, permitiendo descubrir conocimiento de una forma más profunda e intuitiva.

En este sentido, la capa semántica de los grafos de conocimiento permite que toda la información almacenada en las diferentes bases de datos de una empresa u organización sea interrogable y semánticamente interpretada. Además, habilita el procesamiento y la comprensión en lenguaje natural, necesarios para extraer entidades de los recursos digitales alojados en los diversos repositorios que, por lo general, poseen empresas u organizaciones de cierto tamaño.

De este modo, las personas pueden consultar la información de manera simultánea y eficiente. En resumen, este enfoque facilita la integración de la gestión del conocimiento, el aprendizaje informal y el trabajo colaborativo en un entorno de datos enlazados (Linked Data).

La semántica y representación formal subyacente al uso de ontologías permite representar datos y metadatos de diferentes tipos en un grafo de conocimiento de forma que puedan ser analizados e interpretados conjuntamente, sin ambigüedades ni pérdidas de información. Esto proporciona una base sólida para la integración y unificación eficaz de los datos.

Condiciones o requisitos de una plataforma Data Fabric

Para comprender cómo Semantic Data Fabric satisface las demandas de los entornos empresariales modernos, es necesario examinar las condiciones que debe satisfacer un sistema gobernado de acuerdo con los requisitos Data Fabric y cómo son satisfechas mediante un grafo de conocimiento representado semánticamente.

Una plataforma Data Fabric requiere una estructura de datos y una arquitectura de gestión que pueda optimizar el acceso a los datos distribuidos y organizarlos de forma inteligente. El grafo de conocimiento consolida los datos en un ecosistema digital sobre esta estructura unificada.

Debe ofrecer entrega en régimen de autoservicio a los consumidores de datos, siendo interrogable por personas y máquinas de un modo no administrado. El grafo de conocimiento satisface precisamente esta condición, permitiendo consultas directas sin intermediación técnica constante.

La plataforma debe aumentar el valor de los datos de la organización proporcionando a los usuarios acceso a los datos adecuados en el momento oportuno, independientemente de dónde estén almacenados. El grafo de conocimiento unifica datos heterogéneos y distribuidos, eliminando las barreras de ubicación y formato.

Requiere una arquitectura de datos agnóstica con respecto a los entornos, los procesos, el uso y la ubicación de los datos, a la vez que integra las capacidades básicas de gestión de datos. El grafo de conocimiento cuenta con un modelo de representación del conocimiento basado en ontologías que proporciona esta independencia.

Finalmente, debe automatizar el descubrimiento, el gobierno y el consumo de datos, proporcionando datos listos para el negocio para la analítica y la IA. El grafo de conocimiento funciona en la práctica con un artefacto cognitivo que posibilita los procesos cognitivos de razonamiento, descubrimiento de conocimiento y realización de inferencias.

Condiciones o requisitos de una plataforma Data Fabric	Grafo de conocimiento
Una estructura de datos y una arquitectura de gestión que puede optimizar el acceso a los datos distribuidos y organizarlos de forma inteligente.	Consolida los datos en un ecosistema digital sobre un grafo de conocimiento.
La entrega en régimen de autoservicio a los consumidores de datos.	Es interrogable por personas y máquinas de un modo no administrado.
El aumento de valor de los datos de la organización proporcionando a los usuarios acceso a los datos adecuados en el momento oportuno, independientemente de dónde estén almacenados.	Unifica datos heterogéneos y distribuidos.
Una arquitectura de datos agnóstica con respecto a los entornos, los procesos, el uso y la ubicación de los datos, a la vez que integra las capacidades básicas de gestión de datos.	Cuenta con un modelo de representación del conocimiento basado en ontologías.
Automatización del descubrimiento, el gobierno y el consumo de datos, proporcionando datos listos para el negocio para la analítica y la IA.	Funciona en la práctica con un artefacto cognitivo que posibilita los procesos cognitivos de razonamiento, descubrimiento de conocimiento y realización de inferencias.

Beneficios de Semantic Data Fabric

Semantic Data Fabric adopta un enfoque unificador para integrar orígenes de datos mediante el uso de metadatos para crear una capa de datos virtualizada, evitando mover datos de su ubicación de almacenamiento y preservando su gobernanza. Además, añade conocimiento semántico (ontologías empresariales e industriales) para el contexto y el significado, y procesos de enriquecimiento de datos.

Una de las principales ventajas de los grafos de conocimiento es su capacidad para crear una capa semántica dentro del ecosistema de datos de una organización. Al integrar conjuntos de datos provenientes de diversas fuentes y con diferentes características estructurales, los grafos de conocimiento proporcionan un marco que facilita la comprensión del significado subyacente en los datos. Estos elementos ayudan a los sistemas a distinguir palabras con múltiples significados, como Apple la marca y Apple la fruta.

Para que un sistema "interprete el significado" debe estar escrito en un lenguaje técnico, como una ontología expresada en OWL que posibilita que las máquinas o sistemas "comprendan" y traten correctamente el conjunto de entidades representado para, de ese modo, colaborar con las personas en sus procesos de interrogación, recuperación de la información y descubrimiento de conocimiento. Esta capacidad se materializa en seis beneficios estratégicos.

1. Desiloficar

Los grafos de conocimiento permiten desiloficar la información. El uso de grafos de conocimiento no implica imponer otro formato a los datos, sino que superpone un tejido de datos semánticos que virtualiza o materializa los datos a un nivel de abstracción más cercano a la forma en que los usuarios quieren hacer uso de ellos. Las múltiples y variadas “vistas” de los datos son ahora posibles sin modificar los datos en su origen o en el sistema anfitrión.

2. Normalización

El modelo ontológico y las herramientas de gestión de datos permiten gestionar datos maestros, mediante la definición de entidades específicas o modelando tesauros, taxonomías o sistemas de clasificación normalizados, cuando la naturaleza de los datos se represente bien con estas estructuras.

3. Procedencia y seguridad

Los datos se cargan en el grafo de conocimiento con información de su procedencia, que incluye la seguridad con la que el propietario del dato lo cede (seguridad data contract). Esta seguridad acompaña al dato en todos los procesos en los que intervenga, tanto en su transformación como en su publicación, limitando sus usos y visualizaciones. Esto contribuye a los ejes generales de control: confidencialidad, integridad, autenticidad, trazabilidad y disponibilidad.  

4. Enriquecimiento y evolución

El uso de un grafo de conocimiento habilita el enriquecimiento y evolución de la información, es decir, el aprendizaje, por dos vías complementarias.

En primer lugar, un grafo tiene la capacidad de enlazar nuevos conjuntos de datos, enriqueciendo de ese modo el conocimiento que atesoraba el conjunto de datos originales. Es decir, la evolución del modelo y el incremento de su expresividad es independiente de la construcción del modelo original, gracias a la adopción en su diseño y construcción de estándares semánticos y de buenas prácticas de datos enlazados.

En segundo lugar, mediante la aplicación de tecnologías de Aprendizaje Profundo (Deep Learning) en el Procesamiento de Lenguaje Natural (NLP, por sus siglas en inglés), que servirán para metadatar (por ejemplo, categorizar) automáticamente y de manera supervisada los recursos del sistema.

5. Open Data y FAIR Data

La solución Semantic Data Fabric cuenta con un interfaz de publicación de datos semantizados del grafo unificado hacia espacios de datos abiertos enlazados (Linked Open Data), que es la manera óptimo de publicar FAIR Data.

6. Estandares y gobernanza

Semantic Data Fabric soporta el cumplimiento de los estándares de calidad y gobernanza de los datos, al tiempo que permiten un intercambio de datos fluido entre aplicaciones y modelos de IA.

Lago o pantano de datos

Los data lakes o lagos de datos, aunque prometedores en teoría, a menudo se convierten en "pantanos de datos" (data swamps) donde se acumulan grandes cantidades de información sin significado ni estructura. Este enfoque de almacenamiento masivo e indiscriminado genera problemas de visibilidad, usabilidad y calidad de los datos, dificultando la extracción de valor real.

Para superar estas limitaciones, es necesario evolucionar hacia un data lake semántico consolidado en un grafo de conocimiento unificado, esto es, a una solución Semantic Data Fabric. Esta aproximación permite dotar de significado y contexto a los datos almacenados, facilitando su interpretación, análisis y utilización efectiva en la toma de decisiones. 

La fórmula es clara: Data Lake + Semantic Layer = Semantic Data Fabric

Intercambio entre aplicaciones y modelos de IA

Una capa de datos empresariales semánticos va más allá de la simple agregación de datos empresariales. Materializa los datos de la organización con un contexto específico del negocio, lo que permite a los LLM y a las herramientas de IA Generativa comprender los datos con los que trabajan y generar resultados precisos.

La toma de decisiones debe basarse en datos fiables. Las organizaciones no deberían implementar soluciones de IA generativa sin considerar en primer lugar la calidad y el significado real de sus datos. Esta precaución responde a tres problemáticas fundamentales.

1. Los LLM, aunque son capaces de generar grandes cantidades de texto de calidad humana con rapidez, pueden ser incapaces de procesar los datos técnicos correctamente, lo que da lugar a respuestas inexactas (también conocidas como "alucinaciones") y a una toma de decisiones errónea. Las posibles respuestas proporcionadas por la IA a veces pueden ser inexactas y, a menudo, hay poca o ninguna posibilidad de que los usuarios humanos determinen de dónde provienen.
2. Muchas aplicaciones y servicios en la nube que actualmente implementan chatbots impulsados por Gen AI sólo funcionan como aplicación individual o dentro de entornos de nube específicos, lo que dificulta su capacidad para brindar información de inteligencia empresarial dentro de la organización.
3. Además, las herramientas eficaces de IA generativa deben hacer cumplir los protocolos de gobernanza de datos para garantizar que los empleados solo puedan acceder a la información relevante para sus funciones. Es decir, deben protegerse contra el acceso no autorizado y garantizar que los usuarios puedan aprovechar todo el conocimiento de su empresa a través de una única plataforma. Por tanto, hay que tener en cuenta la seguridad de los datos de la organización, que en las herramientas abiertas de IA generativa serán utilizadas para tomar decisiones, y ser luego utilizadas por competidores. 

Debido a estos problemas, las empresas que buscan utilizar la IA generativa tienen que confiar en formas de arquitectura de datos que puedan proporcionar a los usuarios de esta tecnología las habilidades y el tiempo necesarios para implementar sus soluciones internamente. Las herramientas de IA Generativa deben incorporar el contexto empresarial y las ontologías para ayudarles a operar de forma segura y eficaz.

Aquí es donde ayuda la aplicación de una capa de negocio semántica centralizada. Las ontologías semánticas, que pueden ser privadas de la organización, y los grafos de conocimiento "fundamentan" los resultados de LLM en la realidad, definiendo lo que está y lo que no está contenido en el entorno digital de una organización, evitando errores, alucinaciones y falsedades.

La estructura de datos guía la implementación de la IA generativa, ya que los datos en la estructura están seguros, tienen alta calidad y significado comercial, lo que facilita la conexión de cualquier herramienta de IA generativa, incluida la diseñada específicamente para la empresa.

Relación de Semantic Data Fabric con UX-Ergonomía

El modelado ontológico de un Semantic Data Fabric no se limita únicamente a resolver problemas relacionados con la representación del conocimiento, el modelado de datos y la forma en que estos pueden ser interpretados y utilizados por máquinas y sistemas. Va más allá, al establecer una relación directa entre estos modelos y las necesidades e intereses de las personas.

En otras palabras, permite abordar cuestiones que se engloban en la disciplina conocida como Human-Computer Interaction (HCI), que reúne los conocimientos fundamentales que, desde el punto de vista del producto, configuran lo que se denomina Experiencia de Usuario (User Experience, UX).