1 1 Nociones básicas de métodos cuantitativos para lingüistas Cristóbal Lozano Universidad Autónoma de Madrid http://www.uam.es/cristobal.lozano IUOG, Seminario de Metodología, 28 marzo 2006

2 2 Objetivos del seminario NO estudiaremos hoy: Cómo hacer estadística. Cómo diseñar un experimento. Cómo analizar datos en SPSS. SÍ estudiaremos hoy: Conceptos y métodos básicos en investigación cuantitativa. Principios básicos antes de comenzar estudio cuantitativo  qué hay que tener en cuenta.

3 3 Escoger tema de investigación Error del principiante: investigarlo “todo” Solución  restringir el objeto de estudio ERROR: quiero investigar la adquisición de pronombres en español L1 SOLUCIÓN: restringir: Pronombres personales: caso Pronombres personales accusativo: persona Pronombres personales acusativo 3ª: singular vs. plural. ►PREGUNTA ¿Necesitamos restringir estos temas de investigación?: Adquisición: El “periodo crítico” en la adquisición de español L2. Psicolingüística: La representación mental de los morfemas en pacientes con síndrome de Alzheimer. Corpus: la distribución de los sujetos postverbales con verbos inacusativos en dos corpus nativos: corpus español de la RAE y el British National Corpus.

4 4 Datos: Tipos ¿Qué/cómo son los datos lingüísticos? Sintagmas Palabras Tiempo de reacción ante ciertas estructuras Nº de sujetos nulos Morfemas Grado de aceptabilidad ante una estructura/elemento. Edad de aprendizaje de L2 Nivel de competencia gramatical Tipos de datos: Cualitativos: Nominales: cada dato es una etiqueta, un nombre, sin valor numérico real:  SN / SV.  Hombre/mujer.  L1 inglés / L1 español. Ordinales: cada dato está ordenado según un criterio (mayor  menor):  Clase social (baja/media/alta)  Tipología (S>OD>OI) Cuantitativos: Continuos: cada dato es un número resultado de una medida, no hay “saltos”.  Milisegundos  Edad cronológica (en meses) Discretos: cada dato es un número resultado de contar (¿cuántas veces tanto?), hay “saltos”  Nº de SN en un corpus  Nº de producción de morfemas verbales

5 5 Medición de datos: escalas Según el tipo de datos, así el aparato de medición (escala): IMPORTANTE: El tipo de estadística variará según el tipo de datos/escalas. Escala nominal: Sexo (hombre/mujer) L1 (español/chino/japonés) Respuesta escogida (gramatical/agramatical/no sé) Escala ordinal: Competencia (principiante/intermedio/avanzado) Edad (niño/adolescente/adulto) Valores de una escala graduada (nunca/a veces/a menudo/siempre) Escala numérica (intervalo): contínuo, no hay “cero”: RT msecs: Tiempo de reacción en milisegundos. Tiempo (segs) en producir una oración. TTR (Type/Token ratio) MLU (Mean Length of Utterance) Edad cronológica en años: 1, 2, 3, 4, … Valores de una escala numérica de aceptabilidad del 1 al 10. Escala numérica (ratio): discreto, hay “cero”: Nº de SP en un texto. Nº de errores cometidos con morfemas nominales flexivos. Nº de africadas en un diálogo.

6 6 Datos: Población, muestra, caso Población: Nº relativamente grande de elementos (puede ser infinito). Poco manejable. Ej 1: niños que aprenden español L1. Ej 2: la lengua española (=todas las posibles oraciones del español) Muestra: Un conjunto (elegido al azar) de la población que investigamos. Debe ser finito. Más manejable. Ej 1: un grupo de niños (n=30) con español L1. Ej 2: un corpus del español (n=1 millón de palabras). Caso: Un elemento de la muestra. Ej 1: uno de los 30 niños de la muestra. Ej 1: una de las miles de estructuras sintácticas del corpus. Idea básica: La muestra representa fielmente a la población. CIENCIA: se generalizan (=inferencia) los resultados de la muestra a la población en general. Población oo o o oo o o o o oooo o o o ooo o o oo o ooo o o o o o o o ooo o o o o o o oo Muestra o o oo oo oo o se extrae se infiere

7 7 Variables ►¿Qué es una var? ¿Es importante para la investigación? Variable: Propiedad/aspecto que varía entre las personas/animales/objetos o cualquier otra unidad de análisis. Su valor depende del azar (aleatorio). Existen Modelos de Probabilidad que describen el comportamiento de las vars, p. ej., Modelo distribución Normal, distribución Chi-cuadrado, distribución t, distrib Binominal, etc. Longitud corporal, peso de los gatos, talla del pie, número de infracciones de tráfico, sexo (hombre/mujer), clase social, nº de SSNN en un texto, nº de errores cometidos en L2, etc. Variable Independiente (VI): variable “predictora”, la manipula el investigador, predice lo que le ocurrirá a una segunda variable que depende de ella. [predictor, factor] Variable Dependiente (VD): variable de “respuesta”, el resultado, lo que se mide. ►EJEMPLO : adquisición: El investigador quiere descubrir si el nivel de proficiencia en L2 (Principiante vs. Avanzado) influye en la detección de errores de concordancia Sujeto-Verbo (*Pedro comes manzanas). VI: nivel de competencia (principiante/avanzado) VD: nº de detecciones de errores de concordancia Sujeto-Verbo ►PREGUNTA ¿Cuál es la VD y la VI?: Adquisición: El inglés es una lengua con sujetos obligatorios (*John believes that is intelligent), al igual que el francés pero a diferencia del español. El investigador predice que en la adquisición de inglés L2, nivel principiante, los francófonos producirán menos errores que los hispanófonos.

8 8 Niveles de la VI Niveles de la VI: Competencia: principiante/intermedio/avanzado [3 niveles] Sexo: hombre/mujer [2 niveles] Lengua materna: español/japonés/chino [3 niveles] Modalidad del estímulo: auditivo/visual [2 niveles] ►PREGUNTA ¿Cuál es la VD y la VI? ¿Cuántos niveles de la VI? Adquisición: Ionin & Wexler (2002:95): Adquisición de morfología verbal en inglés L1 con verbos temáticos (no acescenso) vs. verbo “be” (ascenso): “A grammaticality judgement task of English tense/agreement morphology similarly shows that the child L2 English learners are significantly more sensitive to the “be” paradigm than to inflection on thematic verbs”. VI: flexión verbal: verbo temático vs. verbo “be” (2 niveles) VD: resultados (=puntuación) obtenidos en el juicio de gramaticalidad. ►PREGUNTA ¿Cuál es la VD y la VI? ¿Cuántos niveles de la VI? Psicolingüística: El investigador quiere saber el tiempo que se tarda (en milisegundos) en reaccionar a una violación sintáctica (ascenso verbal: *John eats often pasta) frente a una oración gramatical (no ascenso verbal: John often eats pasta).

9 9 “Confounding” variables Hay que controlar las variables que dan lugar a confusión. El investigador quiere que los resultados (VD) se expliquen por una causa específica que se ha controlado (VI) y no por otras causas irrelevantes. ►EJEMPLO : adquisición: Violaciones en la extracción de elementos wh- en inglés L2: *Who do you say that killed the president? 3 grupos de aprendices de inglés L2: Nativos de alemán (nivel principiante) Nativos de griego (nivel principiante) Nativos de griego (nivel avanzado) Problema: ¿A qué se deben los resultados? ¿Al nivel: principiante vs. avanzado? ¿O a la lengua materna: griego vs. alemán). Solución: VI: lengua materna (alemán/griego) Descartar variable de confusión: nivel avanzado (griego).

10 10 Constantes Las posibles variables de confusión hay que mantenerlas constantes (=una constante no varía, permanece fija, así que NO es una var). ►EJEMPLO ANTERIOR : Violaciones en la extracción de elementos wh- en inglés L2: *Who do you say that killed the president? Solución: VI: lengua materna (alemán/griego) Constante: nivel (avanzado sólo) Constante: edad (sólo adolescentes) Constante: tipo de instrucción (sólo contextos naturalistas)

11 11 Modelo “Normal” Es un modelo matemático que describe la probabilidad de variables continuas en una Población. La “Normal” (=campana de Gauss): Media  esperanza ( μ ) en torno a la que se centran los datos. Desviación típica ( σ ): dispersión de los datos. Frecuencia  densidad: mientras más a la izquierda/derecha de la media, menos frecuencia. Es muy frecuente en la naturaleza. Altura de humanos Peso de gatos Resistencia del hormigón Élitros (=alas) de insectos Capa de óxido de un microchip Definición: N (μ,σ) Modelo matemático (con fórmula). N (μ,σ)

12 12 Modelo “Normal” (cont) N (μ,σ) 68% de los datos: (μ –1σ, μ +1σ) 95% de los datos: (μ –2σ, μ +2σ) 99% de los datos: (μ –3σ, μ +3σ) Se puede calcular la probabilidad (o el %) de datos que queda a la derecha/izquierda de μ. 68% 95% 99%

13 13 La Normal: Población (curva) vs. muestra (barras de histograma) n=20n=50 n=100 n=10 n=500 n=1000

14 14 Hipótesis Son predicciones que se aceptarán o rechazarán DESPUÉS del análisis de datos. Hipótesis nula (H 0 ): hipótesis por defecto, no predice diferencias, X=Y, la VI no influye. Hipótesis alternativa (H 1 ): predice diferencias, X≠Y, causadas por la VI. Idea básica: Rechazar H 0 para así poder aceptar H 1 (con un margen de confianza alto). Así, el investigador tentrá la certeza (con un margen de error bajo) de que los resultados se deben a manipulación de IV (lengua materna) y no a otros factores o al azar. ¿Por qué margen de error? Porque trabajamos sobre la muestra, que es un conjunto incompleto de la población. Idea “matemática”: H0: μ x = μ y H1: μ x ≠ μ y ►EJEMPLO ANTERIOR : Violaciones en la extracción de elementos wh- en inglés L2: *Who do you say that killed the president? H 0 : No se observarán diferencias entre ambos grupos de principiantes (griego vs. alemán) en el nº de detecciones de violaciones –wh. H 1 : Habrá una diferencia entre los dos grupos de principiantes (griego vs. alemán) en el nº de detecciones de violaciones de elementos –wh.

15 15 Dirección de las hipótesis Ejemplo anterior: hipótesis bidireccional (=dos colas): Grupo alemán > grupo griego Grupo alemán < grupo griego Posibilidad de cometer error en predicción es doble. Hipótesis unidireccional (=una cola): Grupo alemán > grupo griego Posibilidad de cometer error en predicción es la mitad (α/2). ►EJEMPLO : Corpus: material sintáctico que interviene entre el Verbo y el Sujeto postverbal: V X S. Basándose en teorías lingüísticas, el investigador asume que la proporción de material sintáctico será mayor en un corpus nativo de español que en otro de italiano. ¿Cuáles son H 0 y H 1 ? ¿Unidireccional o bidireccional?

16 16 3 diseños experimentales básicos Diseño: cómo se interrelacionan los grupos de datos y las variables. 3 tipos de preguntas/hipótesis básicas en cualquier ciencia: ¿Hay diferencias entre var X y var Y ? ¿Existe una relación entre var X y var Y ? 3 tipos de diseños básicos: Inter-grupos [between-group design, unrelated design]: Se comparan dos grupos diferentes de sujetos/muestras: Psicolingüística: Los inmigrantes con árabe L1 que llegan a España antes del periodo crítico (14 años) alcanzan un nivel de competencia mayor que aquellos que llegan después del periodo crítico  2 GRUPOS DIFERENTES (PREPUBESCENTE vs POSTPUBESCENTE) Intra-grupos [within-group design, related design]: Se comparan dos elementos del mismo grupo/muestra: Psicolingüística: Los inmigrantes con árabe L1 que llegan a España después del periodo crítico producen más regularizaciones morfológicas con participios de la tercera conjugación (*escribido) que con los de la segunda (*ponido)  1 GRUPO, MISMOS SUJETOS, SE TOMAN MUESTRAS REPETIDAS. Correlacional: relación entre dos variables: Psicolingüística: El nivel de competencia lingüístico disminuye conforme la edad de llegada al país de destino aumenta (=a más edad, menos competencia).  RELACIÓN ENTRE 2 VAR (EDAD Y COMPETENCIA)

17 17 Ejemplo: inter-grupos vs. intra-grupos Ascenso verbal en inglés L2: SAVO: John often eats pasta. SVAO: *John eats often pasta 2 grupos: Francés Chino Método: juicios de aceptabilidad: escala del 0 (inaceptable) al 10 (aceptable). ¿Cuál podría ser H 1 ? ¿Y H 0 ? ¿Cuál es la VI? Y la ¿VD? ¿Cuántos niveles tiene VI? Observando a simple vista los datos, ¿podemos rechazar H 0 ? Inter gruposIntra grupo

18 18 Ejemplo: correlacional Español L1 Producción de dos elementos: Flexión con verbos finitos (limpio, limpias, limpia) vs. formas verbales por defecto (“limpá”) Sujetos pronominales plenos (yo, tú, él) vs. nulos (pro) Predicción: H 1 : la producción de flexión verbal se correlaciona con la producción de sujetos plenos  a más flexión verbal, menos sujetos nulos.

19 19 2 tipos de estadística Estadística descriptiva: Describe la muestra. Proporciona un “resumen” de los datos de la muestra: Centralidad: ¿qué datos son los más representativos? Frecuencia: ¿cuántas veces aparece X? Dispersión: ¿cuán dispersos son los datos? Estadística inferencial: Basándonos en la muestra, se infiere algo sobre la población. Dice si las diferencias o las correlaciones entre las VI son significativas.

20 20 Descriptiva: tendencias de centralidad Centralidad: información sobre el comportamiento más típico de los casos. Media: (promedio): la suma de todos los valores observados divididos por el nº de datos. Moda: valor más frecuente (puede haber más de una moda). Mediana: valor que divide la muestra en dos grupos (la mitad está por debajo de la mediana, la otra mitad por encima).

21 21 Ejemplo centralidad Investigador: quiere comprobar una teoría lingüística (Hipótesis Incusativa). Hipótesis Inacusativa: Inergativos como ‘llorar’: SV Inacusativos como ‘venir’: VS Contextos neutros: la info es desconocida y ningún constituyente es Foco (info nueva): A:¿Qué pasó? B:Un niño vino (SV) / Vino un niño (VS) B’:Un niño lloró (SV) / Lloró un niño (VS) Método: Test de juicios de aceptabilidad pareados: Ayer, mientras estabas en el banco, un ladrón entró a robar. Hoy, tu amigo José ha escuchado en la radio una noticia sobre el banco, pero no sabe qué paso. Así que José te llama por teléfono y te pregunta: “¿Qué pasó ayer en el banco?”. Tú respondes: Un ladrón entró -2 -1 0 +1 +2 Entró un ladrón -2 -1 0 +1 +2

22 22 Datos: Nativos español Casos (n=19) Estímulos de condición Inacusativo VS (n=6) Media para cada sujeto de estímulos de condición Inacusativo VS (n=6) Media total para estímulo 1 de condición Inacusativo VS Media total para los 6 estímulos de condición Inacusativo VS para todos los casos Inacusativos VS: 1.34 Inacusativos SV: 0.29 Hay diferencia…pero, ¿con qué confianza podemos afirmar que son realmente diferentes? ¿Qué pasaría si replicásemos el experimento 100 veces?

23 23 ¿Qué hacer con los datos? 1º. Explorar y resumir [estadística descriptiva]: Tablas (detallado pero poco intuitivo) Gráficos (menos detallado pero visualmente intuitivo) 2º. Inferir y generalizar [estadística inferencial] Test(s) relevante(s): t-test, chi-cuadrado, ANOVA, etc… Comprobar si las diferencias son significativas (o no). Ver si H 0 es rechazada o aceptada. Generalizar/inferir de la muestra a la población. 3º. Interpretar Implicaciones teóricas/lingüísticas

24 24 Frecuencias (absolutas): tablas

25 25 Descriptivos: tablas

26 26 Descriptivos: medias Hay diferencia… pero ¿con qué confianza podemos decir que la diferencia es real? ¿Podemos rechazar H 0 (para aceptar H 1 )?

27 27 Descriptiva: dispersión Desviación típica [inglés standard deviation] La desviación de los datos con respecto a la media. Desviación típica baja: datos homogéneos. Desviación típica alta: datos heterogéneos. Inacusativos VS: 0.61 Inacusativos SV: 1.08 Rango: diferencia entre valor más alto y más bajo. Inacusativos VS: valor más bajo (0), valor más alto (+2)  rango: 2 Inacusativos SV: valor más bajo (-1.83), valor más alto (+1.83)  rango: 3.66

28 28 Descriptiva: frecuencias y dispersión [histograma]

29 29 Descriptiva: centralidad y dispersión [diagrama de cajas]

30 30 Inferencial: Nivel de significación ¿Con qué margen de confianza podemos rechazar H 0 (para así aceptar H 1 )? Investigador establece el nivel de significación α : α=0.05  posibilidad de error del 5% (confianza del 95%) lingüística, psicología α=0.01  posibilidad de error del 1% (confianza del 99%) medicina, farmacología El test estadístico (SPSS) arroja el valor p, que varía entre 0 y 1. p=0.03 implica: La probabilidad matemática (de 0 a 1) de que H 0 sea cierta: 0.03 = 3%. Podemos rechazar H 0 con una confianza de p=0.97 = 97%. La diferencia (o correlación) entre X e Y es estadísticamente sig porque pα. La probabilidad de que la diferencia (o correlación) se deba al azar es 60%. Podemos estar 40% seguros de que nuestros resultados no se deben al azar. Podemos estar 40% seguros de que la diferencia (o correlación) de nuestra muestra se puede aplicar a la población en general. RESUMEN: p 0.05 diferencias n.s.

31 31 Asociación: Correlación Correlación: mide el grado de relación entre dos variables: X e Y. Covarianza: mide relación lineal entre X e Y. Coeficiente de correlación r Medición de vars: escála numérica. Datos cuantitativos Correlación positiva: Mientras más A, más B. A más horas de instrucción en una L2, más nivel de competencia. Correlación negativa: Mientras más A, menos B. Mientras más tarde se aprenda una L2, menor será el nivel de competencia.

32 32 Correlación: gráfico de dispersión

33 33 Ejemplo: correlación Vida cotidiana: a más altura, más peso. Adquisición: Español L1, Inglés L2 H 1 : a más producción de concordancia S-V (walk-s, sing-s), más producción de pronombres plenos (he walks, she sings).

34 34 Ejemplo (cont) Correlación ≠ causalidad r=0.972 p

35 35 Asociación: Chi cuadrado χ 2 Mide la asociación/relación entre dos var nominales. Compara las frecuencias observadas con el modelo teórico-matemático “Chi cuadrado” (=frecuencias esperadas). Medición: escala nominal (datos cualitativos): sí/no SN/SV/SP nunca/a veces/siempre L1 inglés / L1 alemán Cada caso (=persona) es contado sólo 1 vez.

36 36 Ejemplo chi cuadrado Investigador: relación/asociación entre…? Lengua materna (L1): holandés / griego Nivel de pronunciación en L2: suena como un nativo / NO suena como un nativo Hipótesis de trabajo: ¿Está la lengua materna asociada al nivel de pronunciación en L2? SÍ. Por ejemplo, si la L1 y la L2 son fonológicamente similares, el nivel de pronunciación en L2 será mayor. H 1 : hay diferencias entre L1 holandés y L1 griego. En concreto, la proporción aprendices clasificados como “suena nativo” será significativamente más alta en el grupo holandés que en el griego. Método: fonólogo evalúa como nativo/no nativo grabaciones orales de los aprendices.

37 37 Datos chi-cuadrado

38 38 Resultados chi-cuadrado 18 holandeses fueron clasificados como “nativo” p=0.003 (dos colas) p=0.003/2 (una cola) ¿Podemos rechazar H 0 (no hay relación entre L1 y nivel de pronunciación)? P=0.003/2=0.0015 (una cola) ¿Es p menor que α? 0.0015

39 39 Diferencias: test t de Student Modelo matemático: Compara si dos medias son significativamente diferentes. Tipos: Test t para muestra independientes (inter grupos): Dos grupos diferentes, p. ej., L1 griego, L1 español Test t para muestras relacionadas (intra grupos): Un mismo grupo (L1 español) se mide dos veces con verbos inacusativos: orden SV y luego orden VS. Medición: escala (datos cuantitativos).

40 40 Ejemplo t test (intra-grupo) Ejemplo: un solo grupo (nativos de español) Se toman medias repetidas: Inacusativo VS Inacusativo SV Hay diferencias entre VS (1.34) y SV (0.29) Pero, ¿son sig? Nativos VSSV

41 41 Resultados test t (intra-grupo) p=0.003 ¿Podemos rechazar H 0 (la aceptación de VS y SV no son diferentes)? p=0.003 ¿Es p menor que α? 0.003

42 42 Ejemplo: test t (inter-grupos) Inacusativos: orden VS 2 grupos: Nativos de español Griegos aprendices de español L2 (nivel avanzado bajo) Nativos Griegos Hay diferencias entre los nativos y los griegos: 1.34 vs. 1.44 PREGUNTA: ¿Es la diferencia realmente significativa?

43 43 Resultados: test t (inter grupos) p=0.63 ¿Podemos aceptar H 0 (la aceptación de inacusativo VS NO es diferente entre nativos de español y nativos de griego con español L2)? p=0.63 ¿Es p menor que α? 0.63>0.05 NO Entonces, NO podemos rechazar H 0 Conclusión: NO existe una difrencia significativa en la aceptación de inacusativo VS entre españoles y griegos, según predice la Hipo. Inac.

44 44 Diagrama de flujo: ¿En qué consiste el estudio?

45 45 Bibliografía Brace, N., Kemp, R., Snelgar, R., 2000. SPSS for Psychologists. Basingstoke: Palgrave. Christie, K. and Lantolf, J. The ontological status of learner grammaticality judgments in UG approaches to L2 acquisition. Rassegna Italiana di Linguistica Applicata 24[3], 31-57. 1992. Cowart, W., 1997. Experimental syntax: Applying Objective Methods to Sentence Judgments. Thousand Oaks, CA.: Sage. Crain, S., Thornton, R., 1998. Investigations in Universal Grammar: A guide to Experiments on the Acquisition of Syntax and Semantics. Cambridge, MA.: MIT Press. Dörnyei, Z., 2003. Questionnaires in Second Language Research: Construction, Administration and Processing. Mahwah, NJ: LEA. Faer, C and Casper, G. Introspection in Second Language Research. 1987. Graham, A., 1995. Statistics: An Introduction. London: Hodder & Stoughton. Greene, J., D'Oliveira, M., 1999. Learning to Use Statistical Tests in Psychology (2nd edition). Buckingham: Open University Press. Greer, B., Mulhern, G., 2002. Making sense of data and statistics in psychology. Basingstoke: Palgrave. Mackey, A., Gass, S.M., 2005. Second Language Research: Methodology and Design. Mahwah, NJ: Lawrence Erlbaum. Mandell, P.B., 1999. On the reliability of grammaticality judgement tests in second language acquisition research. Second Language Research 15, 73-99. Marinis, T., 2003. Psycholinguistic techniques in second language acquisition research. Second Language Research 19, 144-161. McDaniel, D, McKee, C, and Cairns, H. S. Methods for assessing children's syntax. 1996. 1998, MIT Press. Menn, L., Ratner, N.B., 2000. Methods for studying language production. Mahwah, NJ: Lawrence Erlbaum. Oakes, M.P., 1998. Statistics for Corpus Linguistics. Edinburgh: Edinburgh University Press. Porte, G.K., 2002. Appraising Research in Second Language Learning: A Practical Approach to Critical Analysis of Quantitative Research. Amsterdam: John Benjamins. Prideaux, G.D., 1984. Psycholinguistics: The Experimental Study of Language. London: Croom Helm. Rietveld, T., van Hout, R., 2005. Statistics in Language Research: Analysis of Variance. Mouton de Gruyter. Scholfield, P., 1995. Quantifying language : a researcher's and teacher's guide to gathering language data and reducing it to figures. Clevedon: Multilingual Matters. Schütze, C.T., 1996. The Empirical Base of Linguistics: Grammaticality Judgments and Linguistic Methodology. Chicago: The University of Chicago Press. Seliger, H.W., Shohamy, E., 1989. Second Language Research Methods. Oxford: Oxford University Press. Sorace, A., 1996. The use of acceptability judgments in second language acquisition research. In: Ritchtie, W.C., Bhatia, T.K. (eds.), Handbook of Second Language Acquisition London: Academic Press.