1 5. Encuestas
2 Introducción Es uno de los métodos de investigación más usados ◦¿En qué tipos de encuesta han participado? Se utilizan para: ◦Describir, comparar o explicar conocimiento, actitudes o comportamiento de personas ◦También para describir métodos, herramientas, procesos o productos La información provendrá de los formularios o cuestionarios, pero éstos por sí solos no constituyen la encuesta sino que forman parte de la misma. La encuesta (como método de investigación) es un proceso con actividades bien definidas ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA2
3 Proceso de la Investigación Empírica - Fases Definición Objeto de Estudio Motivación Propósito Dominio Diseño experimental Preguntas de investigación Definición de variables Formulación de hipótesis Recolección de datos Análisis de datos Conducción y Análisis Ejecución del estudio Estadísticos descriptivos Reducción de los datos Análisis Interpretación de los resultados Significancia y relevancia práctica Limitaciones del estudio Reporte Presentación de los resultados INGENIERÍA DE SOFTWARE EMPÍRICA - PROCESO DE LA INVESTIGACIÓN EMPÍRICA3
4 Proceso de Encuesta - Actividades INGENIERÍA DE SOFTWARE EMPÍRICA - PROCESO DE LA INVESTIGACIÓN EMPÍRICA4 Establecer objetivos de la encuesta Diseño de la encuesta Desarrollar el cuestionario Evaluar y validar el cuestionario Obtener datos de la encuesta Analizar los datos obtenidos Reportar los resultados
5 Establecer los objetivos de la encuesta Es el primer paso de cualquier investigación Está comprendido dentro del propósito del estudio y relacionado con las preguntas de investigación Ejemplos de objetivos en informática: ◦Conocer cuál es el entorno de desarrollo más utilizado por programadores ◦Conocer las características más valoradas de aplicaciones por usuarios ◦Comparación entre herramientas/productos/técnicas/procesos para establecer/definir relaciones entre ellos Los objetivos deben ser lo más claros posibles y deben poder medirse ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA5
6 Diseñar la encuesta Los dos tipos de diseño más utilizados son: Encuestas transversales: se pide información a los sujetos/participantes en un instante determinado. Permite explorar características como magnitud, distribución, características de un fenómeno. ◦Permiten estudiar múltiples variables de respuesta ◦Poco tiempo de ejecución (ya que el estudio se realiza en un momento dado y no se realiza seguimiento de los sujetos) Encuestas longitudinales: la meta se establece a largo plazo y se enfoca en conocer la evolución a través del tiempo de una determinada población. ◦Dos tipos: si la muestra es la misma o varía a lo largo del tiempo ◦Son más costosos y el tiempo de ejecución en general es mayor ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA6
7 Diseñar la encuesta (cont.) Formas de administración ◦Cuestionarios auto-administrados ◦Encuestas telefónicas ◦Entrevistas personales Las preguntas que se puedan realizar en las encuestas dependerán de la forma de administración del cuestionario ¿Por qué? Las diferentes formas de administración de encuestas pueden influir en las estrategias para obtener datos fiables (como el orden de las preguntas o el vocabulario utilizado). ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA7 Más utilizado en Ingeniería de Software
8 Desarrollar el cuestionario En la mayoría de las disciplinas los investigadores se basan en cuestionarios ya existentes ◦Ya cuentan con una validación previa ◦Permite la comparación de los resultados con el estudio anterior Traducir directamente objetivos a preguntas rara vez lleva a un cuestionario útil Consideraciones a tener en cuenta para la confección del cuestionario 1.Revisar la literatura existente ◦Identificar métodos de recolección de datos (cuestionarios principalmente) 2.Elección del tipo de preguntas del cuestionario 3.Diseño de las preguntas (y respuestas) 4.Aspectos motivacionales para conseguir una alta participación ◦Calidad ◦Cantidad ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA8
9 Desarrollar el cuestionario (cont.) Tipos de preguntas ◦Abiertas: permite al encuestado responder a la pregunta con sus propias palabras ◦Difíciles de procesar y analizar ◦Pueden contener información irrelevante ◦Se pueden malinterpretar ◦Cerradas: se le proporciona una lista de posibles respuestas a la pregunta Factores a tener en cuenta en el diseño de las preguntas: ◦Lenguaje apropiado para el público objetivo (sin términos ambiguos) ◦Evitar errores (gramaticales, de puntuación o deletreo) ◦Abordar un único tema por pregunta ◦Evitar uso de calificadores ambiguos, jergas o expresiones coloquiales ◦Evitar dobles negaciones ◦Evitar preguntar sobre sucesos de hace mucho tiempo ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA9
10 Desarrollar el cuestionario (cont.) Factores a tener en cuenta en el diseño de las preguntas (cont.) ◦Evitar preguntas sensibles o que incomoden a los participantes ◦Deben poder responderse de forma sencilla para evitar frustraciones en los participantes por no conocer la respuesta Diseño de las respuestas ◦Valores numéricos ◦Categorías ◦Exhaustivas pero no demasiado largas ◦Mutuamente excluyentes ◦Permitir selección múltiple de ser necesario ◦Incluir “otros” si no se cubren todas las posibles respuestas ◦Sí/No ◦Pueden resultar problemáticas ◦Escalas ordinales ◦De conformidad (Likert) (totalmente de acuerdo … totalmente en desacuerdo) ◦De frecuencia (nunca … siempre) ◦De evaluación (terrible … excelente) ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA10
11 Formato de los cuestionarios Recomendaciones: ◦Dejar un espacio para que los participantes dejen sus comentarios sobre el cuestionario ◦Usar espacio entre las distintas preguntas ◦Utilizar un tamaño de fuente entre 10 y 12 ptos. ◦Evitar uso de cursivas ◦Enfatizar la información que se requiera mediante el uso de negritas, subrayado y mayúsculas ◦No dividir en varias páginas ◦Instrucciones ◦Preguntas ◦Respuestas asociadas a una pregunta ◦El orden de las preguntas es importante: sencillas al principio ◦Preguntas demográficas al comienzo o al final del formulario ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA11
12 Motivar a los participantes ¿Por qué es necesario? ◦Para asegurar su participación ◦Para que respondan de manera fiel a las preguntas En general la motivación viene dada por la utilidad que puedan obtener los participantes con los resultados de la misma Es importante incluir cierta información clave en el cuestionario: ◦Objetivo del estudio ◦Relevancia (práctica) para los participantes ◦Motivo por el cual ha sido elegido para formar parte ◦Asegurar la confidencialidad de las respuestas ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA12
13 Evaluar y validar el cuestionario Es esencial la evaluación y validación del cuestionario ANTES de la realización de la encuesta ◦Comprobar que las preguntas se entienden correctamente ◦Evaluar el índice probable de respuestas ◦Evaluar la fiabilidad y validez del cuestionario a través de grupos de discusión y/o de estudios pilotos ◦Comprobar que el método de análisis de datos que se utilizará será compatible con las respuestas que se van a obtener Luego de la validación se debe documentar el cuestionario conteniendo: ◦Objetivos del estudio ◦Descripción del por qué de cada pregunta ◦Razones por las cuales se tomaron/adaptaron preguntas de otras fuentes (incluyendo citas) ◦Descripción del proceso de evaluación ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA13
14 Obtención de los datos Seleccionar la muestra de participantes de modo tal que sea representativa de la población a la cual se quiere generalizar el estudio Métodos de selección de la muestra ◦Probabilísticos: cada individuo de la población objetivo tiene una probabilidad conocida y distinta de cero de ser incluido en la muestra ◦Basados en grupos (clusters): cada individuo de la población objetivo pertenece a un grupo bien definido ◦No probabilísticos: los sujetos se eligen porque son fácilmente accesibles o porque existe alguna justificación para creer que son representativos de la población objetivo Factores a tener en cuenta ◦Ausencia de sesgos ◦Grado de adecuación de los participantes ◦Relación coste-efectividad ◦Tasa de respuesta de la encuesta ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA14 Al momento de seleccionar la muestra
15 Análisis de los datos Validación de los datos: comprobar que sean completos y consistentes ◦Analizar si es adecuado rechazar cuestionarios incompletos ◦Analizar si es adecuado rechazar una o varias preguntas ◦Importante validar el cuestionario previamente! División de las respuestas ◦En grupos homogéneos (en función de la información demográfica obtenida de los participantes) Análisis de datos ordinales y nominales ◦Convertir escala ordinal en sus valores numéricos correspondientes y analizarlos como si fueran datos numéricos simples ◦Viola las reglas matemáticas para analizar datos ordinales y conlleva riesgos de resultados imprecisos ◦Hay formas de evitarlo convirtiendo las escalas o utilizando coeficientes de correlación ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA15
16 Reportar los resultados Publicación en revista/congreso/reporte técnico. Elementos que se deben incluir: ◦Título, autores, patrocinadores, localización y fecha ◦Problema o necesidad a resolver (motivación, preguntas de investigación) ◦Características de la encuesta ◦Tipos de cuestionarios y la justificación de su elección ◦Contenido del cuestionario ◦Escalas utilizadas, valoración de las preguntas y agrupaciones realizadas ◦Fiabilidad y validez del cuestionario (estudios piloto) ◦Características de los administradores de la encuesta ◦Literatura relevante sobre el tema de investigación ◦Diseño de la encuesta (muestra y análisis de los resultados) ◦Relación de los resultados con los objetivos de la encuesta ◦Conclusiones, implicaciones derivadas y trabajos a futuro ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA16
17 Fiabilidad y validez de las encuestas Una encuesta es fiable si cuando se repite se obtienen siempre resultados similares ◦Se comprueba la fiabilidad mediante la repetición (idéntica o con ligeras variaciones) a los mismos sujetos y verificando si las respuestas obtenidas son similares A nivel estadístico se suele utilizar el coeficiente alfa de Cronbach (1951) que en función de su valor ◦Indica la correlación de las distintas preguntas ◦Se suele recomendar un valor mínimo de 0,7 para afirmar que los distintos elementos están correlacionados ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA17
18 Fiabilidad y validez de las encuestas (cont.) Se suelen estudiar 3 tipos de validez ◦Validez de contenido: establece una visión subjetiva sobre lo apropiado que es el contenido de los cuestionarios en relación a los sujetos que los realizan ◦Validez de criterio: establece la capacidad del cuestionario de distinguir a qué grupo pertenece cada uno de los sujetos que lo responden ◦Validez del constructo: se refiere a cómo de bien se consigue medir a través del cuestionario aquello que se pretende medir En la práctica, se le da poca importancia al estudio de la fiabilidad y validez (cuestión a mejorar) ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA18
19 Discusión de la lectura obligatoria ENCUESTAS - PROCESO DE LA INVESTIGACIÓN EMPÍRICA19