1 Ofelia Cervantes Minería de Opinión - Análisis de Sentimiento: encuentro del PLN con las Ciencias Sociales 1

2 Ofelia Cervantes Minería de Opinión - Análisis de Sentimiento: encuentro del PLN con las Ciencias Sociales  Redes Sociales, Análisis de Sentimiento, Minería de la Opinión  Visualización de resultados  Expression: un caso de estudio

3 Ofelia Cervantes Minería de Opinión  El análisis de los medios sociales para entender cual es el sentimiento asociado a un tópico de interés, se ha vuelto una área relevante en los últimos años, debido al gran volumen de textos disponibles  El uso de distintas técnicas* basadas en el procesamiento del lenguaje natural y el aprendizaje automático han sido diseñadas e implementadas con el propósito de entender y analizar este tipo de contenido.  La minería de opinión incluye el análisis de las redes sociales (grafos), así como el análisis del contenido de las expresiones de los actores (análisis de textos). * Pang, B. & Lee, L. (2008). Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 2, 1--135.

4 Ofelia Cervantes STSC, Hawaii, May 22-23, 2010 Bing Liu 4 Importancia de las opiniones o Cuando tomamos una decisión, apreciamos las opiniones de la gente en quien confiamos. o En el pasado, individuos: opiniones de familiares y amigos Asesores especializados: estudios sobre grupos focales, reportes consumidores, consultores, etc., …  De boca en boca a través del web: o Medios generados por otros usuarios: la gente expresa su opinión a través de redes sociales, foros abiertos, grupos de discusión, blogs, … o Opiniones de escala global: ya NO están limitadas a: Individuos: mi círculo cercano Negocios: investigaciones sobre grupos focales, reducidos,...

5 Ofelia Cervantes Importancia de las opiniones  Lo que otras personas piensan es una pieza esencial para cualquier proceso de toma de decisiones.  El uso masivo de las redes sociales en la web ha hecho posible una gran cantidad de información diaria relacionada a la opinión de los usuarios en distintos tópicos. “Habrá más palabras escritas en Twitter en los proximos 2 años que en el contenido de todos los libros alguna vez escritos.” ―Christian Rudder, Dataclysm: Who We Are (2014)Christian RudderDataclysm: Who We Are

6 Ofelia Cervantes http://blog.hostalia.com/redes-sociales-aumenta-confianza-marca-31-espanoles/

7 Ofelia Cervantes FRECUENCIA DE USO: WhatsApp es la que más engancha con un promedio de uso de 5h 14m a la semana. El principal uso de las redes sociales es chatear/enviar mensajes (79%), ver vídeos/música (57%) y ver qué hacen los contactos (48%). http://blog.hostalia.com/redes-sociales-aumenta-confianza-marca-31-espanoles/

8 Ofelia Cervantes http://blog.hostalia.com/redes-sociales-aumenta-confianza-marca-31-espanoles/

9 Ofelia Cervantes http://blog.hostalia.com/redes-sociales-aumenta-confianza-marca-31-espanoles/http://blog.hostalia.com/redes-sociales-aumenta-confianza-marca-31-espanoles/ y http://www.iabspain.net/noticias/el-85-de-los-internautas-sigue-a-influencers-a-traves-de-redes-sociales/

10 Ofelia Cervantes Minería de la Opinión: área de oportunidad !  Nuevas aplicaciones al obtener información semántica relevante asociada a la opinión (metadata) : o Sentimiento. o Autor. o Perfil demográfico. o Recomendaciones. o Etc.

11 Ofelia Cervantes Problema fascinante !  Desafío intelectual y gran cantidad de aplicaciones o Tema de popularidad creciente en los últimos años o Combina PLN, aprendizaje de máquina, big data o Sólo en USA: más de 50 compañías especializadas …  En el pasado: poca atención a PLN… ahora… cada vez mayor !  Pero no todo está resuelto: o Falta mayor calidad en el análisis de la SEMÁNTICA o Difícil la integración de datos de fuentes tan heterogéneas. STSC, Hawaii, May 22-23, 2010 Bing Liu 11

12 Ofelia Cervantes Minería de la Opinión Genial! Ahora que tengo las opiniones que necesito. Ahora que tengo “mucha” información de un tema… podría fácilmente crear mi opinión y tomar una decisión... ¿Es verdad?

13 Ofelia Cervantes Minería de la Opinión  Es necesario proponer nuevos métodos de análisis y de visualización capaces de presentar la información/conocimiento de una manera rápida e interactiva  facilitar la comprensión de la SEMÁNTICA.  Múltiples aplicaciones posibles… pero …aún existen distintos retos asociados a la comprensión de la información y a como esta puede interpretarse desacuerdo al tópico o dominio. Importante:  trabajo multidisciplinario con las Ciencias Sociales, para la adecuada interpretación de los resultados

14 Ofelia Cervantes Auge de la minería de opinión  Incremento masivo del uso de las redes sociales por el público en general para expresar opiniones.  Aumento de la eficiencia de los métodos de machine learning, procesamiento del lenguaje natural (análisis de sentimiento), big data y recuperación información.  Mayor disponibilidad de datasets para entrenar algoritmos de machine learning.  Exploración de nuevas áreas de aplicación.

15 Ofelia Cervantes Difícil interpretar/sumarizar las opiniones  Cantidades abrumadoras de información sobre un tema: o Dificultad de analizar todas y cada una de las opiniones. o Las opiniones son expresadas de diferentes maneras. Por ejemplo al buscar: “iPhone vs teléfono de Google”. “El teléfono de google es una decepción”. “No gastes tu dinero en el teléfono de Google”. “El teléfono de Google es bueno pero yo esperaba mas características“.  Visión sesgada. o Todas las personas de un mismo sitio pueden tener la misma opinión.  Opiniones falsas/Spam (Sitios como MercadoLibre son propensos a esto) o La gente publica opiniones buenas acerca de sus propios productos o servicios. o Algunas publicaciones son simplemente spam.

16 Ofelia Cervantes Además … la minería de la opinión  Tiene características diferentes de la simple búsqueda en web: o El contenido es efímero o La línea del tiempo es vital o La longitud de los documentos puede variar significativamente (tweets de 140 caracteres …) o La autoría es importante … detectar al autor o Sintaxis única… muy particular: abreviaciones, hashtags, emoticons… o Con frecuencia, el contenido principal está indicado en una liga, más que presente en el mismo documento …

17 Ofelia Cervantes Minería de la opinión Se identifican principalmente dos tipos de opiniones:  Opiniones directas: Sentimiento directamente expresado sobre algunos objetos (Productos, eventos, temas, personas). o Ej. “La calidad de la imagen de esta cámara es buena”. (Muchas son mas complejas)  Opiniones comparativas: Comparaciones expresando similaridades o diferencias de más de un objeto. Usualmente se indica un orden de preferencia. o Ej. “El carro X es más barato que el carro Y”.

18 Ofelia Cervantes Minería de la opinión - subjetividad  Análisis de sentimientos a nivel-sentencia tiene dos enfoques: o Clasificación de subjetividad: objetivo o subjetivo. Objetivo: Ej. Compré un iPhone hace unos días. Subjetivo: Ej. Es un buen teléfono. o Clasificación del sentimiento: Para frases subjetivas o cláusulas, clasificar positiva o negativamente. Positivo: Ej. Es un buen teléfono. Sin embargo: o Sentencias subjetivas ≠ opiniones positivas o negativas Ej. Pienso que llegó ayer. o Frase objetiva ≠ sin opinión Implica opinión negativa: Mi teléfono se descompuso el segundo día.

19 Ofelia Cervantes Opiniones comparativas graduables o No igualdad: Relaciones del tipo “más o menos grande que”. Ej. “El lente de la cámara A es mejor que el de la cámara B” o Equitativa : Relación del tipo “igual a”. Ej. ”La cámara A y la cámara B vienen con 7MP”. o Superlativo: Relaciones del tipo “más o menos que todo lo demás”. Ej. “La cámara A es la cámara más barata en el mercado”. (Jindal and Liu, 2006)

20 Ofelia Cervantes Más problemas… detección de SPAM  Opiniones Fake/falsas: o Escribir críticas no merecedoras de objetos con el fin de promoverlas. o Escribir opiniones negativas sobre algunos objetos para dañar su reputación. (Jindal y Liu, 2007, 2008)

21 Ofelia Cervantes Minería de Opinión – ejemplos de SPAM Belkin International, Inc.  Publicó anunciopara escribir opiniones falsas en Amazon.com (65 centavos por opinión).

22 Ofelia Cervantes Tipos de SPAM  Opiniones negativas inusuales tienden a ser spam.  Las opiniones que son únicas en un producto pueden ser spam.  Opiniones bien calificadas pueden ser spam.  Opiniones falsas pueden obtener “helpful feedbacks” y opiniones auténticas pueden tener mal “feedback”.

23 Ofelia Cervantes Resumen de opinión basado en características (Hu & Liu, KDD-2004) «He comprado un iPhone hace unos días. Fue un teléfono tan agradable. La pantalla táctil era realmente genial. La calidad de voz era clara también. Aunque la duración de la batería no era mucha, está bien para mí. Sin embargo mi madre estaba furiosa conmigo, ya que no le dije antes de comprar el teléfono. Ella también pensó que el teléfono era demasiado caro y quería que lo devolviera a la tienda…» Resumen basado en características: Característica 1: Pantalla táctil Positivos:  La pantalla táctil era realmente genial.  La pantalla táctil era muy fácil de usar y puede hacer cosas maravillosas. Negativos:  La pantalla se raya con facilidad.  Tengo un montón de dificultad en remover las marcas de los dedos de la pantalla táctil. Característica 2: Duración de la batería …

24 Ofelia Cervantes Más ejemplos de desafíos  Formas sutiles de expresar sentimientos: o “SI está leyendo esto es porque se trata de su fragancia, por favor, úselo exclusivamente en casa y cierre las ventanas”. Sin palabras negativas o “Miss Austen no es poeta”. Opinión o hecho o “Ve y lee el libro”. Contexto o “Si, seguro!” Ironía o “Me siento azul … ” vs “El cielo está azul” Expresiones coloquiales o “Si creiste que iba a ser una buena película, no es tu día” Negation  Lenguaje informal o 90+% del lenguaje usado en algunas redes sociales se desvía del Inglés/Español estándar…. Y no siempre ayudan los correctores … “wuddup doe mah nigga juz droppin sum cuzz luv on u DeUcEz” o Se requiere revisar las técnicas de NLP usadas… Uso del Part-of-Speech tagging in Twitter

25 Ofelia Cervantes Análisis de sentimientos – Minería de opinión  La tarea clave para la minería de la opinión es la extracción del sentimiento implícito en los textos.  El análisis de sentimientos* es la tarea encargada de obtener la polaridad o sentimiento de uno o varios textos tomando en cuenta el significado implícito. *Liu, B. & Zhang, L. (2012). A survey of opinion mining and sentiment analysis. Mining Text Data,, 415--463.

26 Ofelia Cervantes Análisis de sentimientos  El análisis de sentimientos nos permite entender la percepción de calidad/grado de confianza asociado a una entidad por parte de un conjunto de personas (usuarios) en la web.  Permite entender también, cuales son los rasgos de personalidad, actitudes y emociones de los autores que escriben dichos textos.  La polaridad de un texto se refiere a al grado de intensidad de un determinado sentimiento con respecto a la información implícita en un texto.

27 Ofelia Cervantes Ejemplos de sistemas que incorporan Análisis de sentimientos o Amazon Amazon

28 Ofelia Cervantes o Google product search Google product search Ejemplos de sistemas que incorporan Análisis de sentimientos

29 Ofelia Cervantes o Bing shopping Bing shopping Ejemplos de sistemas que incorporan Análisis de sentimientos

30 Ofelia Cervantes Minería de la opinión  Interpretar lo que se dice de alguien  Comparar dos personas/objetos A partir de: o las redes sociales (Fac)eBook, Twitter,… o los medios sociales Para: o Visualizar estadísticas simples o Extrapolar conocimiento …

31 Ofelia Cervantes Enfoques para hacer análisis de sentimientos  Soluciones basadas en el léxico  Soluciones que usan aprendizaje de máquina  Híbridas  cada una con sus ventajas y desventajas …

32 Ofelia Cervantes Análisis de sentimientos  Generalmente, los sistemas para el análisis de sentimientos combinan el uso de técnicas de aprendizaje automático y de procesamiento del lenguaje natural.  Normalmente en este tipo de sistemas se implementa un aprendizaje supervisado o basado en ejemplos, donde se tiene: o Un conjunto de datos de entrenamiento y prueba. o Un algoritmo de clasificación supervisada. o Un conjunto de métricas de evaluación del sistema.

33 Ofelia Cervantes ¿Qué es una opinión ? Es una quíntupla ( ) Donde: o es un objeto. o es una característica del objeto. o es el valor del sentimiento de la opinión de la opinion del holder sobre la característica del objeto en el momento ( positivo, negativo o neutro o una calificación) o es quien emite la opinión o t es el tiempo-momento de la opinión expresada. Pang, B., & Lee, L. (2008). Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval. 1-2 (2), 1-135. ACM Digital Library. Hanover, MA, USA. (2014)

34 Ofelia Cervantes Recordando el ejemplo:  «He comprado un iPhone hace unos días. Fue un teléfono tan agradable. La pantalla táctil era realmente genial. La calidad de voz era clara también. Aunque la duración de la batería no era mucha, está bien para mí. Sin embargo mi madre estaba furiosa conmigo, ya que no le dije antes de comprar el teléfono. Ella también pensó que el teléfono era demasiado caro y quería que lo devolviera a la tienda…»  ¿Qué vemos? o Opiniones, objeto de la opinión y opinión holders.

35 Ofelia Cervantes ML para clasificación documentos – curso rápido  Bolsa-Palabras (Bag of Words), representación del documento -> vector o Ejemplo: d 1 =“bueno regular excelente bueno” d 2 =“okay bueno promedio muy bueno” d 3 =“bueno okay okay” o Consideremos Vocabulary={“bueno”, “regular”, “excelente”, “muy bueno”, “okay”} y d 1 se representará como: d 1 ={2,1,1,0,0} si las características son basadas en frecuencias d 1 ={1,1,1,0,0} si se basan en valores lógicos  Problemas: o Se pierde el orden de los tokens o Se pierden también las relaciones de larga-distancia: “Los Avengers fue una muy buena película, pero Iron Man estuvo terrible!”

36 Ofelia Cervantes TINGA  Un método híbrido para clasificar la polaridad de los sentimientos sobre Twitter.  Usó SVM entrenados con un vector de características formado al extrar las etiquetas PoS y la polaridad de las palabras.  Se construyó un Lexico para el Sentimiento en Español para actuar como referencia de la polaridad/valencia de las palabras.  Se realizaron varias pruebas para evaluar la precisión.

37 Ofelia Cervantes TINGA: un caso de uso de Análisis de sentimientos usando un clasificador supervisado

38 Ofelia Cervantes Elaboración del corpus en Español (mexicano) Se conformó un corpus con tweets:  Etiquetado manualmente como : P+,P,NEU,N N+  Etiquetado automáticamente con un evaluador heurístico,  Se seleccionaron las oraciones que coincidieron en ambos etiquetados.  Equipo de 5 personas y 2 validaciones ATENCION: las palabras se clasificaron por la INTENCIÓN de quien las escribió, no por la interpretación del lector. Corpus inicial

39 Ofelia Cervantes Léxico en Español Actualmente contamos 4583 palabras, categorizadas como: El léxico se obtuvo a través de: o La extracción de las palabras más frecuentes en el corpus. o Agregando las palabras de mayor polaridad existentes en diccionarios en línea. o Valiando manualmente, la polaridad de las palabras.

40 Ofelia Cervantes Grupos de sentimientos Un grupo de sentimiento es el conjunto de palabras sintácticamente relacionadas con una orientación sentimental:  Las palabras del mismo grupo contienen no más 2 palabras de distancia.  Un grupo puede contener doble o triple negación (en Español).  Los divisores de grupos sentimentales son los símbolos de puntuación y la conjunción/disyunción. Contiene básicamente unidades atómicas de sentimiento, independientes unas de otras.

41 Ofelia Cervantes Ejemplos de grupos de sentimientos

42 Ofelia Cervantes Vector de características

43 Ofelia Cervantes Modelos lineales de SVM (Support Vector Machine). Se obtuvieron tres modelos durante la fase de entrenamiento. Es posible clasificarlos en dos clases (P,N) o en 4 clases (P+, P N, N+) simplemente aplicando los modelos SVM en cascada.

44 Ofelia Cervantes Implementación y pruebas Realizamos pruebas para Twitter en tiempo real durante la Copa Mundial de 2014:

45 Ofelia Cervantes Resultados Nuestro modelo se validó usando 5, 6, 8 y 10-fold cross validation sobre el corpora balanceado y fue probado con el corpus de TASS 2014 y el SFUReviews Corpus.

46 Ofelia Cervantes  La visualización de datos se basa en la representación de información (datos) en un formato pictórico o grafico.  La idea central es la de ayudar a tomar decisiones o a encontrar patrones escondidos revisando dichas representaciones.  Los puntos clave de la visualización son: o Encontrar metadata (patrones relevantes) asociada a la información. o Predecir o identificar el comportamiento de los datos. Análisis de sentimientos, visualización de resultados

47 Ofelia Cervantes  Retos: o Manejo de múltiples formatos de datos en la web. o Limpieza o pre-procesamiento de la información. o Selección del correcto tipo de representación que ayude a entender mejor los datos. o Interacción con cualquier tipo de usuario: La visualización es entendible. Se pueden inferir nuevos tipos de patrones. Análisis de sentimientos - visualización de resultados

48 Ofelia Cervantes Análisis de sentimientos, visualización de resultados  ¿Como interpretar los resultados asociados al análisis de sentimientos?  ¿Que tipo de visualizaciones nos pueden ayudar a comprender el sentimiento implícito en los textos?

49 Ofelia Cervantes Análisis de sentimientos - visualización de resultados  Gráfica de barras: puede ser usada para ver la distribución de las palabras asociadas a los distintos sentimientos así como el número de menciones en el texto (popularidad).

50 Ofelia Cervantes Análisis de sentimientos - visualización de resultados  Tendencia de opinión: puede ser usada para ver la tendencia o popularidad de los distintos sentimientos durante un periodo de tiempo específico.

51 Ofelia Cervantes Análisis de sentimientos - visualización de resultados  Grafo: se puede usar una representación basada en grafos para encontrar los usuarios, palabras más activas o comunidades asociados a un sentimiento.  Ejemplos de como manipular grafos pueden verse en los programas de Gephi implementados en clase.Gephi

52 Ofelia Cervantes Análisis de sentimientos - visualización de resultados  Grafo: se puede obtener información asociado a los sentimientos tomando en cuenta los nodos o aristas del grafo.  *Una de las representaciones más flexibles con respecto al grado de interacción con un analista de datos o usuario final. *Herman, I., Melancon, G. & Marshall, M. (2000). Graph visualization and navigation in information visualization: A survey.IEEE Transactions on Visualization and Computer Graphics, 6, 24-43.

53 Ofelia Cervantes Análisis de sentimientos - visualización de resultados  Mapa de geolocalización: puede ser usado para ver la distribución de los sentimientos en una zona geográfica específica.

54 Ofelia Cervantes Herramientas de visualización  D3js*: Es una Herramienta basada en JavaScript para crear distintas visualizaciones a partir de datos dinámicos e interactivos en navegadores web. Hace uso de tecnologías bien sustentadas como SVG, HTML5, y CSS. *https://d3js.org/ https://github.com/d3/d3/wiki/Gallery

55 Ofelia Cervantes Herramientas de visualización  Chart.js*: Al igual que d3js es una Herramienta basada en JavaScript para crear distintas visualizaciones a partir de datos dinámicos e interactivos en navegadores web, pero a diferencia, esta herramienta tiene soporte completo de complementos HTLML 5. *https://github.com/chartjs/Chart.js

56 Ofelia Cervantes Herramientas de visualización  Ploty*: Es un módulo en Python para la visualización interactiva de datos en un navegador web. Soporta varios formatos como csv, json, etc. *https://plot.ly/python/

57 Ofelia Cervantes Herramientas de visualización  Matplotlib*: es un módulo para la generación de gráficos a partir de datos contenidos en listas o arrays en el lenguaje de programación Python y su extensión matemática NumPy. Proporciona una API para la creación de visualizaciones 2D y 3D.NumPy *http://matplotlib.org/

58 Ofelia Cervantes Herramientas de visualización  Gephi*: no solo es una herramienta de análisis, sino una poderosa herramienta de visualización de grafos con la cual se puede entender la estructura topología e interacción de distintos nodos en una red. *https://gephi.org/

59 Ofelia Cervantes Expression es una aplicación reactiva para análisis de sentimiento, donde es posible visualizar la tendencia de opinión en tiempo real. Estudio de caso Para identificar el sentimiento en un texto, Expression implementa un enfoque híbrido de métodos basados en léxico con métodos de aprendizaje automático. Cervantes, O., Gutiérrez, F., Gutiérrez, E., Castillo, E., Sánchez, J. A. & Wan, W. (2015). Expression: Visualizing Affective Content from Social Streams.

60 Ofelia Cervantes Una arquitectura flexible permite que Expression escuche a partir de cualquier fuente de datos y tenga un componente independiente en el front-end. Un Sentiment Card está integrado por un conjunto de componentes reusables. Expression Arquitectura

61 Ofelia Cervantes  Expression es una aplicación Web que permite el análisis de sentimientos sobre los comentarios realizados por usuarios sobre un tema de interés.  Expression permite esta interacción a través de una aplicación Web, desarrollada utilizando HTML5 y Web Components con Polymer y Material Design, en donde los usuarios interactúan con tarjetas de sentimientos en donde pueden expresar su opinión a través de comentarios anónimos sobre un tema en específico.  https://github.com/PhotonServices/expression-webapp https://github.com/PhotonServices/expression-webapp Expression

62 Ofelia Cervantes Arquitectura de Expression (Middleware. ) *No incluye interacción con el módulo de persistencia

63 Ofelia Cervantes  El análisis de sentimientos: librería Tinga, desarrollada en Scala. Tinga permite el análisis de los comentarios y la obtención del sentimiento así como las palabras clave de cada comentario. https://github.com/PhotonServices/tinga https://github.com/PhotonServices/tinga  El procesamiento de los comentarios con Tinga se hace a través de un middleware llamado Expression desarrollado con Play Framework y Akka.  Tinga puede procesar comentarios ingresados por múltiples usuarios desde diferentes aplicaciones clientes, entregando de manera instantánea el resultado del análisis de sentimiento a los usuarios en tiempo real. Expression

64 Ofelia Cervantes Expression maneja la Persistencia con MongoDB en donde persisten los comentarios, el resultado del análisis de estos y las tarjetas de sentimientos. Expression permite la comunicación con la aplicación Web y Tinga a través de web-sockets los cuales pueden ser utilizados por otras aplicaciones para analizar cualquier fuente de datos, como por ejemplo, obtener tweets sobre algún tema popular del momento y analizar el sentimiento. https://github.com/PhotonServices/expression-webapp Expression

65 Ofelia Cervantes. Expression fue implementado como un sistema REACTIVO que usa sentiment cards para representar la opinión sobre los temas de interés seleccionados. Expression https://github.com/Innova4D/expression

66 Ofelia Cervantes Un Sentiment Card reporta lo que escucha de fuentes vivas de datos como Twitter. Expression Sentiment Card

67 Ofelia Cervantes En el background, Tinga se ejecuta para interpretar las opiniones expresadas por los usuarios https://github.com/Innova4D/tinga Expression Tinga

68 Ofelia Cervantes EXPRESSION - Arquitectura Expression usa Tinga, una librería de PLN que implementa el enfoque híbrido para el análisis de sentimiento.

69 Ofelia Cervantes Una tarjeta de Sentimiento consiste de un conjunto de componentes reutilizables de visualización: ● Visualización en mapa. Las ubicaciones se despliegan en el mapa, mostrando un estimado de la posición de quién envió los mensajes ●Top Comments. Muestra las opiniones más relevantes acerca del tema de interés dada la polaridad de los comentarios. ●Tendencia de opinión. Muestra las opiniones sobre un timeline. Expression Sentiment Card Front-Components

70 Ofelia Cervantes Al reverso de la tarjeta: ●Sentiment Bars. Muestran las opiniones sumarizadas acerca de un tópico de interés específico, mostrando la polaridad de cada sentimiento. ●Top Terms. Muestra los términos más relevantes entre los comentarios. ●All Comments. Muestra todos los comentarios, filtrándolos por tipo de sentimiento (Positivo, Neutro, Negativo y fecha.. Expression Sentiment Card Componentes - reverso

71 Ofelia Cervantes Tendencia de opinión: para mostrar la evolución en el tiempo. ●Los usuario pueden elegir entre las últimas 24 hrs, última semana, último mes, etc. ó entre periodos de fechas. ●Por default, se muestran las últimas 24 hrs. ●La línea del tiempo muestra los tres sentimientos: positivo, neutro, negativo correspondientes al tópico de interés. Expression Componentes

72 Ofelia Cervantes ●La experiencia del usuario UX fue evaluada en un escenario de la vida real. ●Se seleccionaron seis estudiantes graduados y uno de grado(1 mujer y 5 hombres, entre 18 y 30 años). Ninguno tenía antecedentes del proyecto ●Se seleccionaron en Twitter, temas de interés en ese momento en México. ●Se bajaron múltiples tweets obtenidos en tiempo real, sobre los tópicos seleccionados. UX Evaluación Participantes

73 Ofelia Cervantes Impresión positiva generalizada. Según el System Usability Scale (SUS) Expression es bueno en términos de usabilidad. Evaluación Resultados Overall SUS Score: 75 (c)

74 Ofelia Cervantes Evaluación Resultados

75 Ofelia Cervantes Resultados evaluación  A los usuarios les agradó el poder ser NOTIFICADOS de los cambios en tiempo real.  Tuvieron problemas para encontrar algunas funcionalidades (como el reverso para ver mayor información).  Sugirieron poder personalizar (customize) los tópicos con sus temas personales de interés.  Posibilidad de compartir media (fotos) sobre el tópico.  Posibilidad de compartir sentiment cards con sus amigos para discutir temas de interés común.

76 Ofelia Cervantes  Se requiere mayor interacción con los mapas.  La detección automática de eventos requiere de mayor sincronización entre los componentes.  La desambiguación sigue siendo un desafío  Posible incorporación de otros componentes de análisis de sentimiento.  Mayor experimentación para mejorar el desempeño Trabajo futuro – interacción con el usuario

77 Ofelia Cervantes Reflexiones finales  Existe un gran área de oportunidad  Sigue habiendo gran cantidad de desafíos técnicos… o PERO eso nos dá trabajo  MUY importante la colaboración con especialistas en Ciencias Sociales STSC, Hawaii, May 22-23, 2010 Bing Liu 77

78 Ofelia Cervantes [email protected]

79 Ofelia Cervantes Referencias adicionales  Liu, B. (2010). Sentiment Analysis and Subjectivity. Handbook of Natural Language Processing, 2nd ed.  Tang, D., Wei, F., Qin, B., Yang, N., Liu, T. & Zhou, M. (2016). Sentiment Embeddings with Applications to Sentiment Analysis. IEEE Transactions on Knowledge and Data Engineering, 28, 496-509. doi: 10.1109/TKDE.2015.2489653  Saif, H., Fernandez, M., He, Y. & Alani, H. (2013). Evaluation Datasets for Twitter Sentiment Analysis: A survey and a new dataset, the STS-Gold. In.  Tejwani, R. (2014). Sentiment Analysis: A Survey.. CoRR, abs/1405.2584.  Pak, A. & Paroubek, P. (2010). Twitter as a corpus for sentiment analysis and opinion mining. Proceedings of LREC 2010,.  Himmat, M. & Salim, N. (2013). Survey on Product Review Sentiment Classification and Analysis Challenges.. In T. Herawan, M. M. Deris & J. Abawajy (eds.), DaEng (p./pp. 213-222), : Springer. ISBN: 978-981-4585-18-7

80 Ofelia Cervantes  Molina-González,M.D.,Martínez-Cámara,E.,Martín-Valdivia,M.-T.,Perea-Ortega,J.M., 2013. Semantic orientation for polarity classification in Spanish reviews. Expert Systems with Applications 40, 7250– 7257.  Perez-Rosas, V., Banea, C., Mihalcea, R., 2012. Learning Sentiment Lexicons in Spanish. In: Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC’12). European Language Resources Association (ELRA), Istanbul, Turkey.  Taboada,M.,Brooke,J.,Tofiloski,M.,Voll,K.,Stede,M.,2011. Lexicon-basedMethods for Sentiment Analysis. Comput. Linguist. 37, 267–307.  Sidorov, G., Miranda-Jiménez, S., Viveros-Jiménez, F., Gelbukh, A., Castro-Sánchez, N., Velásquez, F., Díaz-Rangel, I., Suárez-Guerra, S., Treviño, A., Gordon, J., 2013. Empirical Study of Machine Learning Based Approach for Opinion Mining in Tweets. In: Batyrshin, I., Mendoza, M.G. (Eds.), Advances in Artificial Intelligence, Lecture Notes in Computer Science. Springer Berlin Heidelberg, pp. 1–14.  del-Hoyo,R.,Hupont,I.,Lacueva,F.J.,Abadía,D.,2009. Hybrid Text Affect Sensing System for Emotional Language Analysis. In: Proceedings of the International Workshop on Affective-Aware Virtual Agents and Social Robots, AFFINE ’09. ACM, New York, NY, USA, pp. 3:1–3:4  Vilares,D.,Alonso,M.Á.,Gómez-Rodríguez,C.,2013b. Supervised Polarity Classification of Spanish Tweets Based on Linguistic Knowledge. In: Proceedings of the 2013 ACM Symposium on Document Engineering, DocEng ’13. ACM, New York, NY, USA, pp. 169–172.