1 Ingeniería del Conocimiento José M. Molina Luis MartíTema 3: Adquisición José M. Molina Luis Martí Curso Máster en Bibliotecas y Servicios de Información Digital

2 Hoy: Cómo adquirimos conocimientos. Contenido del tema:Contexto Vimos cómo sabemos si el problema que queremos resolver compete a la Ingeniería de Conocimiento. Hoy: Cómo adquirimos conocimientos. Contenido del tema: Fuentes de conocimiento, Proceso de adquisición: extracción y educción, Técnicas de educción.

3 ¿Cuándo?

4 Fuentes de conocimientoDocumentación formal: Libros y manuales, Revistas especializadas, etc. Documentación informal: Presentaciones, apuntes, registros internos. Visitas/entrevistas con expertos humanos

5 Etapas del proceso de adquisición de de Conocimiento

6 Extracción de conocimiento desde la documentaciónEstudio inicial de documentación: Buscar terminología, identificar conceptos básicos. Comprender la naturaleza de la tarea. No ocuparse de cómo se resuelven las tareas. Análisis estructural de textos: Buscar términos dependientes del dominio. Buscar estructuras textuales mediante la detección de patrones: definiciones de conceptos ("se usa para", "es un", "está compuesto por"), afirmaciones sobre relaciones ("es causa de", "se relaciona con", "es la finalidad de"), principios básicos de funcionamiento, pasos.

7 Ejemplo de Extracción Texto:Te presentamos nuestro seguro HOGAR CarlosIII para dar cobertura y defender tu patrimonio ante posibles daños y sucesos ocurridos en tu vivienda o sufridos por las personas que habitan en ella, bien mediante la reparación de los mismos o su indemnización directa. Conceptos: Seguro, cobertura, patrimonio, daño, sucesos, vivienda, habitante vivienda, objeto de cobertura, reparación, indemnización

8 Ejemplo de Extracción Relaciones: Propias del dominio:Seguro da cobertura patrimonio Genéricas: Reparación ES UN Cobertura Indemnización ES UN Cobertura Vivienda ES UN objeto cobertura Habitante vivienda ES UN objeto cobertura Patrimonio ES UN objeto cobertura

9 Ejemplo de Extracción Nuevo texto:Cubrimos las pérdidas ocasionadas por un atraco en la calle a cualquier miembro de tu familia. Responsabilidad civil en el caso de los daños ocasionados involuntariamente a terceros, hasta €. Nuevos Conceptos: Atraco a familiar, responsabilidad civil, terceros, valor de un daño

10 Ejemplo de Extracción Características o atributos de los conceptos:Valor de un daño tiene un máximo Una indemnización tiene un valor Nuevas Relaciones: Daño = Objeto Cobertura Atraco a familiar ES UN objeto cobertura Daño a Terceros ES UN objeto cobertura Responsabilidad civil ES UN daño a terceros

11 Ejemplo de Extracción Dudas a resolver en futuras sesiones:¿Existen daños a terceros distintos de responsabilidad civil? ¿Existe algún nombre específico para determinar un objeto de cobertura? ¿Hay valores mínimos para las indemnizaciones? ¿Se cumple Vivienda ES UN patrimonio? Si es afirmativo, para qué otros conceptos se cumple esa relación?

12 Educción de conocimientoPsicológicamente un experto : Analiza lo que percibe. Asocia lo percibido con los conceptos del dominio. Encuentra causas en base a relaciones de conceptos. Infiere y verifica hipótesis. Problemas con el experto Paradoja de la experiencia: Los expertos más competentes son incapaces de describir los conocimientos que usan para resolver los problemas

13 Técnicas de educción Ayudan a adquirir y validar el conocimiento de los expertos Tres grupos: Técnicas naturales Tecnicas artificiosas Técnicas de modelado

14 Clasificación de técnicasArtificiosas Naturales Modelado Entrevistas Método triádico Abiertas Clasificación de conceptos Conceptos Procesos Estados Semiestructuradas Emparrillado Estructuradas Tareas con restricciones Cuestionarios 20 cuestiones Técnicas de observación ‘Teach back’ Técnicas de grupo Análisis de Protocolos

15 Técnicas de educción del conocimientoTécnicas Naturales

16 Técnicas Naturales: IntroducciónTécnicas que implican al experto realizando tareas que haría normalmente como parte de su trabajo, ya sea mediante la observación o preguntando al experto acerca de esas tareas. Buenas para obtener conocimiento explícito pero malas para para obtener conocimiento tácito (implícito, pero sin que la persona sea consciente de poseer ese conocimiento) Técnicas más conocidas Entrevistas (abierta, semi-estructurada y estructurada) Técnicas de observación Técnicas de grupo Cuestionarios

17 Entrevista abierta Diálogo informal (permite divagar):¿Cómo resuelves este problema? ¿Elementos que influyen... ? ¿Información necesaria... ? Alentar a continuar hablando (pero no interrumpir): ¿Y después... ? ¿Qué quieres decir con .. ? ¿Por qué? Indagar un poco sobre: Parecidos y diferencias con otros del dominio. División en subproblemas/subtareas. Completitud de solución/datos de entrada. Justificación de razonamiento seguido.

18 Entrevista semi-estructuradaSe utilizan preguntas preparadas previamente para focalizar y fijar los límites del problema abordado Incluye el uso de preguntas suplementarias no preparadas para clarificar y comprobar cosas Las preguntas se deben: Diseñar cuidadosamente Enviar al experto con anterioridad a la entrevista Ser preguntadas literalmente (tal y como están escritas) Consideraciones temporales: dar cierto tiempo para responder Técnica recomendada durante las primeras fases de análisis del problema

19 Entrevista estructuradaCentrada en algunos (no todos) los conceptos, relaciones e inferencias del experto. Sugerencias: Concretar: Buscar contestaciones cortas y concisas mediante preguntas cerradas. No cambiar de tema bruscamente. Agrupación de las cuestiones de forma lógica.

20 Problemas con las entrevistasConsumen mucho tiempo, confían en sinceridad y memoria de expertos, problemas con el lenguaje, habilidad entrevistadora del IC, capacidad docente del experto. Palabras ambiguas: proceso, sistema, sustancia, eso, etc. Frases incompletas: los factores A y B tienen una función de protección (¿contra qué? ¿por separado o juntos?). Comparaciones: Este es el mejor sistema (¿más fácil, más rápido, más barato?). Conexiones causales: puede, debería, necesario, no quiere (¿qué sucedería sí...?¿qué hace que no pueda ser así?) Palabras absolutas usadas indebidamente: nunca, todos, etc..

21 Observación de tareas habitualesObservar a un experto trabajar en un problema real habitual. ¿Presente el I.C. o grabación? No se debe interferir en la actuación del experto. Dejar hacer. Pedirle qué diga lo que hace según lo va haciendo. Puede no servir para comprender cómo razona el experto, pero sí para detectar lagunas ocultas (conoc. implícito) en tareas a realizar. Puntos débiles: consumo de tiempo, alteración al ser observado, escaso interés por parte del experto. Alternativas: Uso de un novato corregido por experto. Plantear un caso inventado.

22 Incidentes críticos El experto describe cómo resolvió casos límite por su rareza, escasez de información de entrada, síntomas que confunden, etc. Información útil para completar conceptualización, puede llevar a futuras preguntas en entrevista estructurada. En los casos complejos se obtienen detalles que normalmente se pasan por alto. Casos críticos inventados no son tan útiles. Alternativa: Imponer restricciones sobre información de entrada conocida.

23 Cuestionarios Entrevista estructurada de forma indirecta.Facilidad para responder. Útiles para describir conceptos y revelar relaciones. Fichas para: Conceptos: Nombre / Descripción / Tipo de Valores / Clase de tamaño y valores / ¿información de entrada? ¿necesaria? / Dependencia de otros conceptos. Relaciones y secuencia de tareas/decisiones: Gráficos y diagramas. Escalas o etiquetas lingüísticas cuando no valores numéricos.

24 Educción en grupo Inconvenientes de la técnica individual:Disposición temporal del experto. Posibles sesgos. Limitación a una sola línea de razonamiento. Incompletitud de la experiencia del dominio. Ventajas de las técnicas en grupo: Asegura la completitud. Mejora la verosimilitud de conocimientos especializados. Mejora el entendimiento del dominio. Provoca interacciones entre los expertos.

25 Técnicas de educción en grupoTormentas de ideas: se lanzan muchas ideas sin pensar, pensada para incrementar creatividad. Reunión desestructurada. Útil para aclarar conceptos y sacar conocimiento oculto. Técnica nominal del Grupo: Generación de escritos de ideas, Petición de ideas en círculo, Discusión secuencial de ideas y Votación. Entrevistas de Grupo: Establecer la relación con el grupo. Provocar discusiones. Intentar concluir a partir de las respuestas para ver el grado de acuerdo. Método Delphi: Diseño iterativo de cuestionario. Retroalimentación de respuestas.

26 Técnicas de educción del conocimientoTécnicas Artificiosas

27 Técnicas Artificiosas: IntroducciónTécnicas que implican al experto realizando tareas que no realizaría normalmente como parte de su trabajo Muchas de estas técnicas provienen de la psicología Son útiles para capturar el conocimiento tácito y para elaborar conceptualizaciones Técnicas más conocidas Clasificación de conceptos (“laddering”) Método triádico (“three card trick”, “triadic method”) Emparrillado (“repertory grid”) Tareas con restricciones 20 preguntas Generación de protocolos “Teach back”

28 Clasificación de conceptos (Laddering)Sirve para organizar conceptos y detectar relaciones. Pasos: Haber educido previamente una serie de conceptos. Representar cada concepto a un papel / una ficha. El experto los clasifica en grupos en función de varias características. Obtención de una jerarquía y de relaciones entre conceptos. Variantes: Agrupar varios conceptos al azar, quitar o añadir conceptos a un grupo, preguntar por completitud de listas de conceptos

29 Método triádico Consiste en la presentación de 3 conceptos aleatorios (de una lista) y preguntar al experto en qué se son 2 de ellos parecidos y en que se diferencian del resto Está pensando para descubrir como “ve” el experto el dominio Muy útil para obtener conocimiento tácito

30 Emparrillado Sesión de valoración y recuerdo. Permite establecer prioridades entre características diferenciadoras de elementos. Tabla de características (filas) y elementos (columnas). El experto establece graduación de características aplicables a elementos (de 1 a n). A menor valor, menor importancia de característica en elemento. Concluiremos una clasificación de las características y de los elementos (que el experto puede estar usando implícitamente en su árbol de búsqueda).

31 Resultado emparrillado

32 Etapas del emparrilladoIdentificación de los elementos. Identificación de las características. Diseño de la parrilla: Dicotómica (binaria), Clasificatoria (de 1 a n), Evaluativa (cualquier valor). Formalización: Clasificación de los elementos. Clasificación de las características. Análisis de resultados: contraste con conocimiento previamente adquirido. Examen y discusión de clasificaciones con el experto.

33 Ventajas e inconvenientes del emparrilladoEl experto piensa dos veces. Ayuda a clarificar las conclusiones o impresiones mentales de experto. Se encuentran patrones y asociaciones ocultas. Inconvenientes: Alto grado de subjetividad.

34 Tareas con restriccionesEl experto realiza una tarea habitual pero con limitaciones, bien en el tiempo, bien en los datos. Útil para focalizar al experto en los aspectos más importantes del conocimiento y establecer prioridades.

35 20-Cuestiones En esta técnica el IC piensa en un concepto/escenario, que el experto debe averiguar El experto hace preguntas de tipo SI/NO al IC para “descubrir” el escenario/concepto El ingeniero del conocimiento no necesita saber mucho sobre el dominio, simplemente responder SI o NO, a veces incluso aleatoriamente Las preguntas hechas por el experto son un buen medio de averiguar atributos con un orden de prioridad

36 “Teach back” En esta técnica el ingeniero del conocimiento explica parte del dominio al experto, y entonces el experto hace comentarios. Es útil para detectar aspectos mal comprendidos y clarificar la terminología

37 Análisis de protocolosAnálisis de un protocolo o caso concreto de forma global. Tres profundidades: Análisis del Asunto o Materia (dependencias entre conceptos interrelacionados que se infieren en secuencia). Análisis de Tareas (pasos del procedimiento). Distinguir el caso dentro de la materia y la tarea asociada.

38 Análisis de protocolosEjemplo: Reparto de espacio y muebles entre profesores del departamento. Análisis del asunto: Categoría, antigüedad, Pertenencia a grupos de trabajo, etc. Análisis de tareas: preguntar preferencias, reunirse, medir despachos, observar luminosidad, establecer orden de elección, etc. Distinguir del caso: un catedrático que solo colabora con jóvenes becarios.

39 Etapas del análisis de protocolosGrabación del protocolo: El IC explica lo que espera del experto, propuesta de casos, solución de los casos por parte del experto. Transcripción del protocolo: segmentarlo en instrucciones, incluir silencios, gestos de dudas. Codificación del protocolo: Identificación de conceptos, características, valores y relaciones. Representación del árbol de búsqueda. Identificación de los operadores. Identificación de las inferencias. Detección de sinónimos, “metacomentarios” e incertidumbres. Interpretación del IC sobre reglas implícitas, planes y estrategias del experto.

40 Ventajas e inconvenientes del análisis de protocolosMejor conocimiento aplicado que descrito. Ayuda a traducción desde lenguaje natural a codificación: Conceptos como marcos. La secuencia de aplicar los operadores como algoritmo. Inferencias como reglas de producción. Las heurísticas, estrategias, planes como metareglas. Limitaciones: Coste de utilización diez veces mayor que tiempo con experto. Incompletitud del método.

41 Ejemplo Análisis de ProtocolosProtocolo correspondiente a un sistema experto para diagnosticar enfermedades exantemáticas (erupciones en la piel que se dan en la infancia) Únicamente diagnóstico, no tratamiento El experto es un médico.

42 Ejemplo Análisis de ProtocolosLlegó un paciente a la consulta de 2 años, que tenía tos, irritabilidad, erupción, fiebre y estaba llorando. Le tomé la fiebre y tenía 37’8ºC, al existir fiebre pensé en varicela o exantema súbito. Me fijé en que la erupción tenía forma de mácula-pápulas, que aparecían en el tronco y miembros inferiores y le pregunté la madre desde cuándo tenía la erupción y dijo que desde hacía dos días. En la varicela además existen vesículas y costras, y el niño no las tenía por lo que no podía ser varicela. En conclusión, el juicio clínico es exantema súbito

43 Ejemplo Análisis de Protocolos: SegmentaciónLlegó un paciente a la consulta … de 2 años … Que tenía tos, … irritabilidad, … erupción, … fiebre … y estaba llorando. Le tomé la fiebre … Y tenía 37’8ºC Al existir fiebre … pensé en varicela … o exantema súbito Me fijé en que la erupción tenía forma de mácula-pápulas Que aparecían en el tronco Y miembros inferiores Le pregunté a la madre Desde cuándo tenía la erupción Y me dijo que desde hace dos días En la varicela existen además vesículas Y costras El niño no las tenía Por lo que no podía ser varicela En conclusión, el paciente sufre de exantema súbito

44 Ejemplo Análisis de Protocolos: Codificación(a) Identificar el vocabulario utilizado por el experto para identificar los conceptos y su tipo, así como las características y las relaciones Paciente tiene erupción Paciente tiene enfermedad Enfermedad parte de erupción

45 Ejemplo Análisis de Protocolos: Codificación

46 Ejemplo Análisis de Protocolos: Codificación(b) El razonamiento del experto Puede verse como una búsqueda en el espacio de estados posibles Trataremos de intuir la línea de búsqueda que sigue el experto, tratando de delimitar los distintos estados por los que pasa el experto hasta llegar al diagnóstico. Partiendo de los síntomas descritos por el paciente, lo primero que hace es determinar si tiene fiebre para reducir el espacio de búsqueda a dos posibles diagnósticos: exantema súbito varicela A continuación explora la erupción para discriminar entre las dos posibilidades

47 Ejemplo Análisis de Protocolos: Codificación(c) Identificación de los operadores. Son los medios para asignar valores a características, con los que la búsqueda pasará de un estado a otro test_fiebre: asigna valor a característica y aumenta credibilidad de dos hipótesis reconocimiento_erupción: descarta una hipotesis y establece la otra

48 Ejemplo Análisis de Protocolos: Codificación(c)Identificación de las inferencias Ceñirse a las inferencias que de forma explícita aparecen en el texto: Si fiebre=37’8ºC entonces otorga certeza a la relación el paciente tiene fiebre aumenta credibilidad de varicela y exantema súbito Si la erupción.forma costras y erupción.forma vesículas entonces descarta hipótesis varicela

49 Ejemplo Análisis de Protocolos: Codificación(d) Sinónimos, metacomentarios e incertidumbres incertidumbre: cuando aparece suele ser sinónimos: paciente y niño metacomentarios: el papel de la madre

50 Técnicas de educción del conocimientoTécnicas de modelado y otras técnicas

51 Técnicas de modelado Técnicas basadas en el uso de modelos que guían la adquisición, validación y modificación del conocimiento. Diferentes tipos de modelado Diagrama de procesos: bueno para adquirir conocimiento procedural y tácito Mapa conceptual: bueno para adquirir conocimiento declarativo Diagramas de estados: variación de los diagramas de procesos, buenos para todo tipo de conocimiento.

52 Modelado de procesos Implica la construcción, modificación y validación de modelos de proceso. Método valioso para obtener conocimiento procedural y tácito.

53 Modelado de procesos obj. investigación fuentes información T1Revisión Precedentes obj. investigación T2 realizar experimentación estado del arte recursos dispon. fuentes información doctorandos resultados exps ¿se requieren experimentos? sí T3 Escribir artículo no profesor artículo

54 Mapa conceptual escrito por Author Oliver Twist Charles Dickens es unescribió es un escribió admiraba es un más corto que Dostoevsky escribió sobre Bleak House Libro es un nacido en Rusia se compone de Página Papel hecha de

55 Diagrama de estados Recibir Llamada Colgado no suena Colgado suenaLevantarauricular Terminar llamada Levantar auricular Descolgado - conversación Colgar Descolgado tono llamada Llamada respondida Colgar Descolgado llamando Marcar número Descolgado marcando Número completado

56 Herramientas de inducción automáticaPermite generar automáticamente reglas. Necesitan de: conjunto de ejemplos con valores numéricos. Clara definición de atributos y clases. Utilizan un algoritmo de inducción (ID3). Problemas: Encontrar un conjunto completo y adecuado de ejemplos. Educir correctamente clases y atributos

57 Ejemplo de inducción automáticaurgente baja severo 65 metal no urgente alta leve 58 moderado 40 81 73 concrete 80 55 68 60 62 cemento grado humedad daño temp material Conjunto de datos de entrenamiento

58 Ejemplo de inducción automáticacaso temp < 62 temp > 62 daño leve daño moderado daño severo no urgente no urgente urgente urgente

59 Técnicas de educción del conocimientoGuía práctica

60 Conocimiento explícito Conocimiento tácito Conocimiento procedural (el cómo) Conocimiento declarativo (el qué) Tareas con restricciones & 20-cuestiones Método triádico Mapeo de Procesos Análisis de Protocolos Emparrillado Ordenación de conceptos Clasificación de conceptos Entrevistas Mapeo de conceptos Observación Diagrama De estados “Teach Back”

61 Reglas para una buena educciónConseguir la cooperación del experto. No imponer la visión del IC sobre la del experto. Limitar las sesiones en duración y contenido. Intentar comprobar la información. No limitarse al diálogo, usar textos. No espaciar demasiado las sesiones de educción. Elegir el lugar adecuadamente. No ser propio experto. No creer todo lo que dice que hace

62 Ciclo de educción El conocimiento se educe mediante la sucesiva aplicación de sesiones de educción. Para completar una sesión el ingeniero del conocimiento debe realizar los siguientes pasos Preparación de la sesión. Ejecución. Transcripción. Análisis de la sesión. Evaluación.

63 Preparación de una sesiónSesiones a distancia: Decidir la información a tratar: Amplitud, profundidad, etc. Decidir la técnica adecuada. Preparación formal (por escrito) de la sesión. Sesiones en directo: Repaso de lo que se trató en sesiones anteriores. Explicación al experto de los objetivos de la sesión. Educción propiamente dicha. Hacer resumen de lo hablado y esperar comentarios del experto. Transcripción (a distancia).

64 Análisis de una sesión (I)Análisis de la sesión: Lectura de la transcripción de la sesión para tener una visión global. Extracción de conocimientos concretos de la sesión. Lectura detallada de todas las sesiones para recuperar detalles olvidados que puedan estar relacionados. Dudas, lagunas o incoherencias detectadas por parte del IC.

65 Análisis de una sesión (II)Organización de la información: Diccionario de términos o conceptos: Nombre / tipo / sinónimos / características / valores posibles / importancia / prerequisitos / referencias cruzadas / comentarios. Librería de casos: Enunciado del caso / transcripción de la sesión / resultado de la solución / comentarios. Documento de Conocimientos: Conceptos / relaciones (clasificaciones, jerarquías, etc.) / los distintos procedimientos de resolución / la división en subproblemas. Actualización tras el análisis de cada sesión: Determinar comprensión del IC, y si es necesario preguntar más sobre el tema. Producir documentos para fases posteriores.

66 Análisis de una sesión (III)Proceso de razonamiento de resolución : Búsqueda de inferencias: Identificación de conocimiento sobre definiciones, fórmulas o especificaciones del cálculo de valores numéricos y heurísticas que guían al experto. Analizar casos buscando: Qué pensaba el experto. Por qué era importante esa línea de razonamiento. Cómo llegaba el experto a cada conclusión. Cuándo llegaría el experto a la misma conclusión. Cuándo llegaría el experto a otra conclusión. Comprobación de suposiciones obvias. Analizar si es necesario el uso de la incertidumbre.

67 Evaluación de una sesión¿Se han conseguido los objetivos de la sesión? Conclusiones sobre futuras sesiones

68 ¿Cuándo aplicar cada técnica de educción?Primeras reuniones: Entrevistas abiertas y semi- estructuradas (en directo). Observación de tareas habituales (a distancia). Educir el conocimiento declarativo (el ‘qué’): Entrevista estructurada (en directo), Incidentes críticos (en directo), Clasificación de conceptos (a distancia), Emparrillado (a distancia). Educir el conocimiento procedural del experto (el ‘cómo’): Análisis de protocolos (a distancia), Entrevistas estructuradas (en directo). Validar: Cuestionarios (en directo), Entrevistas estructuradas (en directo).

69 Resumen de las principales técnicas y herramientasHerramientas gráficas específicas y análisis de clusters Especificación del modelo del dominio Emparrillado Herramientas gráficas para generar pilas y nuevas características Ordenación de conceptos Herramientas gráficas para construir múltiples jerarquías Trabajo preparatorio para especificar un modelo jerárquico del dominio Clasificación de conceptos Herramientas de anotación de textos Comprobar una plantilla de tarea; especificar modelo de inferencias y tareas Análisis de protocolos Herramientas de anotación; editores de reglas (para completar la BC) Identificación del conocimiento; especificación inicial; completar BC. Entrevista estructurada Herramientas de anotación y análisis de textos Familiarizarse con el dominio de aplicación Entrevista abierta Herramientas Utilización Técnica