1 Projecte AnCora Corpus anotat a nivell morfològic, sintàctic, semàntic i pragmàtic Mª Antònia Martí http://clic.ub.edu http://clic.ub.edu/ancora

2 Índex 1.Descripció del corpus 2.Nivells d’anotació 3.Metodologia a.Sistema d’anotació b.Procediment d’anotació manual: guies 4.Eines d’anotació 5.Dades que es poden obtenir 6.Interfície de consulta

3 Descripció del corpus (espanyol) SpanishAmountSources Anotation levels Procedure AnCora-ESP500,000 EFE (225,000) Lexesp (75,000) El Periódico (200,000) PoSAutomatic ChunkingAutomatic SyntaxManual Thematic Roles Semi- automatic Noun senses Manual

4 Descripció del corpus (català) CatalanAmountSources Annotation levels Procedure AnCora- CAT 500,000 EFE (75,000) ACN (225,000) El Periódico: (200,000) PoSAutomatic ChunkingAutomatic SyntaxManual Thematic Roles Semi- Automatic Noun sensesManual

5 Índex 1.Descripció del corpus 2.Nivells d’anotació 3.Metodologia a.Sistema d’anotació b.Procediment d’anotació manual: guies 4.Eines d’anotació 5.Dades que es poden obtenir 6.Interfície de consulta

6 Anàlisi morfològica (1) paraula lema1 tag1, lema2 tag2, lema3 tag3,... ‘bajo’ bajar VM1SIP, bajo AQ0MS, bajo PS00, bajo NCMS, …

7 Anàlisi morfològica (2) Wordlemma 1 PoS 1 lema 2 PoS 2 lema 3 PoS 3 lema 4 PoS 4 SisiCSsiNCMS00siRG trabajotrabajarVMIP1S0trabajoNCMS00 bajobajarVMIP1S0bajoAQ0MS0bajo 0CMS00bajoSPS00 presión NCFS000 bajobajarVMIP1S0bajoAQ0MS0bajoNCMS00bajoSPS00 la DA0FS0elPP3FS00 atención NCFS000..Fp

8 Anàlisi morfològica. Desambiguació (3) Word lemma PoS Si si CS trabajo trabajar VMIP1S0 bajo bajo SPS00 presión presión NCFS000 bajo bajar VMIP1S0 lala DA0FS0 atención atención NCFS000.. Fp

9 ( S ( sn (espec.fs (da0fs0 La)) (grup.nom.fs (ncfs000 declaración))) ( grup.verb (vmis3s0 propugnó)) ( S.NF.C (infinitiu (vmn0000 trabajar)) ( sp (prep (sps00 por)) ( sn (espec.fs (da0fs0 la)) (grup.nom.fs (ncfs000 igualdad) (s.a.fs (grup.a.fs (aq0cs0 social)))) (Fp..)) S sn grup.verb S.NF.C espec.fs grup.nom.fs vmis3s0 inf sp sa0fs0 ncfs000 vmn000 trabajar La declaración propugnó por la … Anotació constituents

10 (S (sn-SUJ (espec.fs (da0fs0 La)) (grup.nom.fs (ncfs000 declaración))) (grup.verb (vmis3s0 propugnó)) (S.NF.C-CD (infinitiu (vmn0000 trabajar)) (sp-CREG (prep (sps00 por)) (sn (espec.fs (da0fs0 la)) (grup.nom.fs (ncfs000 igualdad) (s.a.fs (grup.a.fs (aq0cs0 social)))) (Fp..)) S sn-SUJ grup.verb S.NF.C-CD espec.fs grup.nom.fs vmis3s0 inf sp-CREG sa0fs0 ncfs000 trabajar La declaración propugnó por la … Anotació constituents

11 (S (sn-SUJ-Arg0-AGT (espec.fs (da0fs0 La)) (grup.nom.fs (ncfs000 declaración))) (grup.verb (vmis3s0 propugnó)) (S.NF.C-CD-Arg1-TEM (infinitiu (vmn0000 trabajar)) (sp-CREG-Arg2-FIN (prep (sps00 por)) (sn (espec.fs (da0fs0 la)) (grup.nom.fs (ncfs000 igualdad) (s.a.fs (grup.a.fs (aq0cs0 social)))) (Fp..)) Anotació Arguments i PT S sn-SUJ-Arg0-AGT g.v S.NF.C-CD-Arg1-TEM espec.fs grup.nom.fs vmis3s0 inf sp-CREG-A sa0fs0 ncfs000 trabajar La declaración propugnó por la …

12 Altres anotacions -Sentits nominals de la xarxa semàntica WordNet -Entitats amb nom http://clic.ub.edu/ancora

13 Índex 1.Descripció del corpus 2.Nivells d’anotació 3.Metodologia a.Sistema d’anotació b.Procediment d’anotació manual: guies 4.Eines d’anotació 5.Dades que es poden obtenir 6.Interfície de consulta

14 Metodologia Anotació automàtica: Morfologia Sintaxi superficial Anotació manual: Constituents Funcions Arguments Papers temàtics WordNet Entitats amb nom Anotació semiautomàtica Arguments i papers temàtics (parcialment) Lexicó sintàcticosemàntic

15 Lexicons sintàcticosemàntics mejorar - 01 LSS1.1 SUJArg0##CAU CDArg1##TEM CCArgM##TMP/#ADV EJ:"obligará a mejorar la calidad del ataque" EJ:"que han mejorado las relaciones laborales" +ANTICAUSATIVA LSS2.2 SUJArg1##TEM CCArgM##ADV/para#FIN EJ:"Por una parte, las técnicas de diseminación han mejorado mucho" EJ:"el mencionado proyecto de ley sea mejorado para permitir nombres así"

16 Metodologia Guies d’anotació Anotació en paral·lel del mateix fragment de text (5-7 anotadors) Procés iteratiu fins arribar a un grau d’acord superior al 95% Modificació de la guia d’anotació (Documentació a la web)

17 Índex 1.Descripció del corpus 2.Nivells d’anotació 3.Metodologia a.Sistema d’anotació b.Procediment d’anotació manual: guies 4.Eines d’anotació 5.Dades que es poden obtenir 6.Interfície de consulta

18 Dades que s’ obtenen

19 Pipeline d’anotació

20 Índex 1.Descripció del corpus 2.Nivells d’anotació 3.Metodologia a.Sistema d’anotació b.Procediment d’anotació manual: guies 4.Eines d’anotació 5.Dades que es poden obtenir 6.Interfície de consulta

21 Dades que s’ obtenen The 10th most frequent lemmata are: 48.483(10.02%)el (the) 30.178(6.24%)de (of) 26295(5.43%), 16.574(3.43%). 12.364(2.56%)que (that) 11.739(2.43%)i (and) 9.839(2.03%)un (a, an) 9.649(1.99%)a (to) 8.074(1.67%)del (of the) 8.054(1.66%)haver (to have) The most frequent noun is ‘any’ (year) in the 28th row and the second is ‘milió’ (milion) in the 46 th.

22 tokens%Main category 29,5256,1adj 23,2074,8conj 48,50010,02definite article 21,5224,44determiners 56,30311,71Punct. marks 88,71618,34common nouns 29,5396,1proper nouns 22,4214,63pronouns 15.4213,19adverbs 76.11015,73prepositions 14.1002,91v. auxiliar 44.3149,16vm 4.5850,95vs 9.2501,9others Dades que s’ obtenen

23 Total functions: 119.318 There are 32 errors. Total tags: 119.286 Syntactic Annotation – Group 1AnCora-CaAnCora-Es Function tags GlossTags% % Functions Attribute5,2404.39 2,5134.59 Agent complement1,2881.08 4540.83 Adverbial complement 28,39823.80 13,45024.58 Direct object25,12821.06 9,85618.01 Indirect object2,1711.82 1,1332.07 Predicative2,0331.70 6491.19 Prepositional complement 6,2465,23 1,7263.15 Subject36,31230,43 14,71326.89 Total106,81689,51 44,49481.31 Dades que s’ obtenen

24 Total amount of 119.318 tagged functions, 106.807 receive an argument (89,49%). 47 different combinations of functions and arguments 86 different combinations of function-argument and thematic role. Syntactic Function tokens%Arguments the function can take ATR5,2404,39Arg2 CAG1,2871,08Arg0 CC28,39423,79ArgM, Arg2, Arg4, Arg3, ArgL, Arg1 CD2512521,05Arg1, Arg2, ArgL, Arg0 CI21701,81Arg2, Arg3, Arg0 CPRED20331,71Arg2, ArgM, Arg3, ArgL CREG62465,23Arg2, Arg1, Arg4, ArgL, Arg3 SUJ3631230,43Arg0, Arg1, Arg2, ArgA, ArgL Total106.80789,49 Other12.50010,49Don’t receive argument /**none** Total119.30799,98

25 Dades que s’ obtenen Total 'sn-ne' 69.251 total 'sn-ne' diferents 6 20.645(29.81%)org 17.164(24.79%)loc 16.715(24.14%)pers 8.158(11.78%)other 3.319(4.79%)num 3.250(4.69%)date Total 'np-ne' 29.539 total 'np-ne' diferents 5 10.137(34.32%)o 8.176(27.68%)l 7.590(25.69%)p 3.635(12.31%)a 1(0.00%)d

26 Índex 1.Descripció del corpus 2.Nivells d’anotació 3.Metodologia a.Sistema d’anotació b.Procediment d’anotació manual: guies 4.Eines d’anotació 5.Dades que es poden obtenir 6.Interfície de consulta

27 Interfície de consulta http://clic.ub.edu/ancora