1 Wyrażenia regularne i język AWK Copyright, 2004 © Jerzy R. Nawrocki [email protected] http://www.cs.put.poznan.pl/jnawrocki/tpi/ Teoretyczne podstawy informatyki Wykład 4
2 J.Nawrocki, Wyrażenia regularne i AWK Ulepszenia Dodać automaty skończone (deterministyczne) i przejście z wyrażeń regularnych na automaty Raczej nie. Lepiej mniejszy zakres i danie ludziom szansy uruchomienia swojej wyobraźni i współtworzenia języka (albo domyślania się znaczenia prezentowanych konstrukcji). Dzisiaj było bardzo dobrze
3 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK
4 J.Nawrocki, Wyrażenia regularne i AWK Wprowadzenie Problem konwersji plików FName:Jurek SName:Busz Salary 585 FName:Alek SName:Gor Salary 700 FName SName Salary Jurek Busz 585 Alek Gor 700
5 J.Nawrocki, Wyrażenia regularne i AWK Wprowadzenie Problem konwersji plików #include FILE *fin; char token[200]; char gettoken(void) {int i=0; char c; do {c = getc(fin); if (c == EOF) return (EOF); } while (c < ‘!’); #include FILE *fin; char token[200]; char gettoken(void) {int i=0; char c; do {c = getc(fin); if (c == EOF) return (EOF); } while (c < ‘!’); Rozwiązanie w C: 40 linii kodu
6 J.Nawrocki, Wyrażenia regularne i AWK Wprowadzenie Problem konwersji plików BEGIN {FS=":| ";} NR == 1 {print $1, "\t", $3, "\t", $5;} {gsub(/,/, ".”, $6); print $2, "\t", $4, "\t", $6;} BEGIN {FS=":| ";} NR == 1 {print $1, "\t", $3, "\t", $5;} {gsub(/,/, ".”, $6); print $2, "\t", $4, "\t", $6;} Rozwiązanie w AWK
7 J.Nawrocki, Wyrażenia regularne i AWK Wprowadzenie Powstanie języka AWK: Aho, Weinberger, Kernighan Bell Labs, New Jersey (USA), 1977 Platformy: Unix, MS DOS/Windows Podobieństwo do C
8 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK
9 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Jerzy Nawrocki 43089 I1 Jan Kowalski 43780 I2 Adam Malinowski 43990 I1 Pole Wiersz Pola: $1, $2, $3,... Plik wejściowy
10 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Schemat programu w AWK wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Reguła przetwarzania
11 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
12 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
13 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
14 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
15 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
16 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
17 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
18 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski
19 J.Nawrocki, Wyrażenia regularne i AWK Idea języka AWK Zasada działania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... wzorzec1 {instrukcje1} wzorzec2 {instrukcje2}...... Jerzy Nawrocki Jan Kowalski Adam Malinowski $0 oznacza bieżący wiersz
20 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK
21 J.Nawrocki, Wyrażenia regularne i AWK Najprostsze programy Nawrocki Jerzy Malinowski Adam $4==”I1” { print $2, $1; } Jerzy Nawrocki 43089 I1 Jan Kowalski 43780 I2 Adam Malinowski 43990 I1 Ile pól na wyjściu?
22 J.Nawrocki, Wyrażenia regularne i AWK Najprostsze programy Jerzy Nawrocki 43089 I1 Adam Malinowski 43990 I1 Jerzy Nawrocki 43089 I1 Jan Kowalski 43780 I2 Adam Malinowski 43990 I1 $4==”I1”$4==”I1” Ile pól na wyjściu?
23 J.Nawrocki, Wyrażenia regularne i AWK Nawrocki Jerzy Kowalski Jan Malinowski Adam Najprostsze programy { print $2, $1; } { print $2, $1; } Jerzy Nawrocki 43089 I1 Jan Kowalski 43780 I2 Adam Malinowski 43990 I1 Jakie pole najpierw?
24 J.Nawrocki, Wyrażenia regularne i AWK Nawrocki Jerzy Kowalski Jan Malinowski Adam Najprostsze programy Jak zrobić tabelę? Nawrocki Jerzy Kowalski Jan Malinowski Adam
25 J.Nawrocki, Wyrażenia regularne i AWK Nawrocki Jerzy Kowalski Jan Malinowski Adam Najprostsze programy # Nazwiska studentow { printf("%-15s %-9s\n", $2, $1); } { printf("%-15s %-9s\n", $2, $1); } # Nazwiska studentow { printf("%-15s %-9s\n", $2, $1); } { printf("%-15s %-9s\n", $2, $1); } Jerzy Nawrocki 43089 I1 Jan Kowalski 43780 I2 Adam Malinowski 43990 I1 Komentarz
26 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK
27 J.Nawrocki, Wyrażenia regularne i AWK Wzorce wiersza Początek i koniec tekstu Relacje Wzorce złożone Wzorce zakresu Wyrażenia regularne
28 J.Nawrocki, Wyrażenia regularne i AWK ----- Kowalski Jan ***** Początek i koniec tekstu BEGIN { print ”-----”; } $4==”I2” { print $2, $1; } END { print ”*****”; } BEGIN { print ”-----”; } $4==”I2” { print $2, $1; } END { print ”*****”; } Jerzy Nawrocki 43089 I1 Jan Kowalski 43780 I2 Adam Malinowski 43990 I1
29 J.Nawrocki, Wyrażenia regularne i AWK 12 11 dwa 11 Relacje $1 > $2 12 11 2 11 2 11 dwa 11
30 J.Nawrocki, Wyrażenia regularne i AWK Wzorce złożone || lub (alternatywa) $1==1 || $2==1 && i (koniunkcja) $1==1 && $2==1 ! nie (zaprzeczenie) ! $1==1
31 J.Nawrocki, Wyrażenia regularne i AWK Wzorce złożone Jerzy Adam 43089 I1 Adam Kowalski 43780 I2 Adam Malinowski 43990 I1 $4==”I1” && $1==”Adam” { print $2, $1; } Malinowski Adam
32 J.Nawrocki, Wyrażenia regularne i AWK Wzorce zakresu Wzorzec 1, Wzorzec 2
33 J.Nawrocki, Wyrażenia regularne i AWK Wzorce zakresu Jerzy Adamski 43089 I1 Adam Kowalski 43780 I2 Adas Malinowski 43990 I1 /Adam/, /I2/ Jerzy Adamski 43089 I1 Adam Kowalski 43780 I2
34 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK
35 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Wyrażenie regularne: wzorzec opisujący zbiór ciągów znaków Wyrażenie regularne: 1+ Zbiór ciągów: {1, 11, 111, 1111,.. } Wyrażenie regularne: 1+ Zbiór ciągów: {1, 11, 111, 1111,.. } { "@context": "http://schema.org", "@type": "ImageObject", "contentUrl": "http://images.slideplayer.pl/25/8489288/slides/slide_62.jpg", "name": "J.Nawrocki, Wyrażenia regularne i AWK Zmienne {total= total + NF;} END {print File: , FILENAME; print Num.", "description": "of fields: , total; print Lines: , NR;} {total= total + NF;} END {print File: , FILENAME; print Num. of fields: , total; print Lines: , NR;} NF - liczba pól w wierszu NR - numer wiersza FILENAME - nazwa pliku.", "width": "800" } 63 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK { "@context": "http://schema.org", "@type": "ImageObject", "contentUrl": "http://images.slideplayer.pl/25/8489288/slides/slide_63.jpg", "name": "J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK", "description": "J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK", "width": "800" } 64 J.Nawrocki, Wyrażenia regularne i AWK Zawansowane mechanizmy AWK Funkcje wbudowane (gsub,..) Instrukcje złożone (if, while,..) Tablice dynamiczne Funkcje getline i next Operatory przekierowania { "@context": "http://schema.org", "@type": "ImageObject", "contentUrl": "http://images.slideplayer.pl/25/8489288/slides/slide_64.jpg", "name": "J.Nawrocki, Wyrażenia regularne i AWK Zawansowane mechanizmy AWK Funkcje wbudowane (gsub,..) Instrukcje złożone (if, while,..) Tablice dynamiczne Funkcje getline i next Operatory przekierowania", "description": "J.Nawrocki, Wyrażenia regularne i AWK Zawansowane mechanizmy AWK Funkcje wbudowane (gsub,..) Instrukcje złożone (if, while,..) Tablice dynamiczne Funkcje getline i next Operatory przekierowania", "width": "800" } 65 J.Nawrocki, Wyrażenia regularne i AWK Nawrocki 60 Complak 359 Zawansowane mechanizmy AWK Jerzy Nawrocki 20 Wojciech Complak 59 Jerzy Nawrocki 40 Wojciech Complak 300 {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];} {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];} { "@context": "http://schema.org", "@type": "ImageObject", "contentUrl": "http://images.slideplayer.pl/25/8489288/slides/slide_65.jpg", "name": "J.Nawrocki, Wyrażenia regularne i AWK Nawrocki 60 Complak 359 Zawansowane mechanizmy AWK Jerzy Nawrocki 20 Wojciech Complak 59 Jerzy Nawrocki 40 Wojciech Complak 300 {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];} {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];}", "description": "J.Nawrocki, Wyrażenia regularne i AWK Nawrocki 60 Complak 359 Zawansowane mechanizmy AWK Jerzy Nawrocki 20 Wojciech Complak 59 Jerzy Nawrocki 40 Wojciech Complak 300 {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];} {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];}", "width": "800" } 66 J.Nawrocki, Wyrażenia regularne i AWK Podsumowanie gawk -f prog.awk out.txt Proste ale użyteczne programy 15 kompletnych przykładów Wreszcie! { "@context": "http://schema.org", "@type": "ImageObject", "contentUrl": "http://images.slideplayer.pl/25/8489288/slides/slide_66.jpg", "name": "J.Nawrocki, Wyrażenia regularne i AWK Podsumowanie gawk -f prog.awk out.txt Proste ale użyteczne programy 15 kompletnych przykładów Wreszcie!", "description": "J.Nawrocki, Wyrażenia regularne i AWK Podsumowanie gawk -f prog.awk out.txt Proste ale użyteczne programy 15 kompletnych przykładów Wreszcie!", "width": "800" } 67 J.Nawrocki, Wyrażenia regularne i AWK Literatura A. Aho, B. Kernighan, P. Weinberger, The AWK Programming Language, Addison-Wesley, Reading, 1988. J. Nawrocki, W. Complak, Wprowadzenie do przetwarzania tekstów w języku AWK, Pro Dialog 2 (1994), 23-46. { "@context": "http://schema.org", "@type": "ImageObject", "contentUrl": "http://images.slideplayer.pl/25/8489288/slides/slide_67.jpg", "name": "J.Nawrocki, Wyrażenia regularne i AWK Literatura A.", "description": "Aho, B. Kernighan, P. Weinberger, The AWK Programming Language, Addison-Wesley, Reading, 1988. J. Nawrocki, W. Complak, Wprowadzenie do przetwarzania tekstów w języku AWK, Pro Dialog 2 (1994), 23-46. .", "width": "800" } 68 J.Nawrocki, Wyrażenia regularne i AWK Ocena wykładu 1. Wrażenie ogólne? (1 - 6) 2. Zbyt wolno czy zbyt szybko? 3. Czy dowiedziałeś się czegoś ważnego? 4. Co poprawić i jak?
36 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne wyrażenie ~ /wyrażenie_regularne/ Ciąg znakówZbiór ciągów znaków Wzorce z wyrażeniami regularnymi p {} p,.., a, b p
37 J.Nawrocki, Wyrażenia regularne i AWK $1 ~ /1/ Wyrażenia regularne 1. pole wierszaZbiór 1-elementowy Wzorce z wyrażeniami regularnymi p {} 1 p
38 J.Nawrocki, Wyrażenia regularne i AWK $1 ~ /1/ Wyrażenia regularne 1. pole wierszaZbiór 1-elementowy Wzorce z wyrażeniami regularnymi 1 {} 1 1
39 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Zagadka Co robi ten program? $1 ~ /a/ Prawda kole W aureolę. J.Sztaudynger J.Sztaudynger
40 J.Nawrocki, Wyrażenia regularne i AWK Prawda kole J.Sztaudynger J.Sztaudynger Wyrażenia regularne Zagadka Co robi ten program? $1 ~ /a/ Prawda kole W aureolę. J.Sztaudynger J.Sztaudynger
41 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne wyrażenie !~ /wyrażenie_regularne/ Wzorce z wyrażeniami regularnymi Ciąg znakówZbiór ciągów znaków p {} p,.., a, b p pp
42 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Wzorce z wyrażeniami regularnymi $1 !~ /1/ 1.pole wierszaZbiór 1-elementowy p {} 1 p pp
43 J.Nawrocki, Wyrażenia regularne i AWK W aureolę. Wyrażenia regularne Zagadka Co robi ten program? $1 !~ /a/ Prawda kole W aureolę. J.Sztaudynger J.Sztaudynger
44 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne /wyrażenie_regularne/ Zbiór ciągów znaków Wzorce z wyrażeniami regularnymi A gdzie jest ciąg znaków? /1/ $0 ~ /1/ =
45 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Zagadka Co robi ten program? /z/ - Módl się i pracuj - Radzą przyjacioły, To się inni obłowią, a Ty będziesz goły.
46 J.Nawrocki, Wyrażenia regularne i AWK Radzą przyjacioły, a Ty będziesz goły. Wyrażenia regularne Zagadka Co robi ten program? /z/ - Módl się i pracuj - Radzą przyjacioły, To się inni obłowią, a Ty będziesz goły.
47 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Znaki specjalne ^ początek $ koniec. dowolny znak [ ] zbiór znaków \n nowa linia \. kropka \” znak cudzysłowu \ddd znak o kodzie oktalnym ddd
48 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Znaki specjalne /^n$/ Co robi ten program? /^.$/ /[0123456789]/ /[0-9]/
49 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Dopełnienie zbioru znaków /[^0-9]/ Co za różnica? /^[0-9]/ [^... ] ! /[0-9]/
50 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Podstawowe operatory /Adam/ Konkatenacja
51 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Zagadka Co zrobi ten program? /am/ Jabłek nie jadam. Zmądrzałem. Adam Adam
52 J.Nawrocki, Wyrażenia regularne i AWK Jabłek nie jadam. Adam Adam Wyrażenia regularne Zagadka Co zrobi ten program? /am/ Jabłek nie jadam. Zmądrzałem. Adam Adam
53 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Podstawowe operatory /Adam/ Konkatenacja /Adam | Jurek/ Alternatywa
54 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Zagadka Co robi ten program? /fi | ki/ Ząbki listka Nic tak nie potrafi gryźć Jak cudzy laurowy liść.
55 J.Nawrocki, Wyrażenia regularne i AWK Ząbki listka Nic tak nie potrafi gryźć Wyrażenia regularne Zagadka Co robi ten program? /fi | ki/ Ząbki listka Nic tak nie potrafi gryźć Jak cudzy laurowy liść.
56 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Podstawowe operatory /Adam/ Konkatenacja /Adam | Jurek/ Alternatywa /[0-9][0-9]*/ Domknięcie zwrotne [0-9] [0-9][0-9] [0-9][0-9][0-9]... [0-9] [0-9][0-9] [0-9][0-9][0-9]... 3 34 340... 3 34 340...
57 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Zagadka Co robi ten program? $2 ~ /^[0-9][0-9]*$/ Nadgodziny 2001/02 ================ Nawrocki 60 Complak 359
58 J.Nawrocki, Wyrażenia regularne i AWK Nawrocki 60 Complak 359 Wyrażenia regularne Zagadka Co robi ten program? $2 ~ /^[0-9][0-9]*$/ Nadgodziny 2001/02 ================ Nawrocki 60 Complak 359
59 J.Nawrocki, Wyrażenia regularne i AWK Wyrażenia regularne Pozostałe elementy /[0-7][0-7]*(Q|O)/ Nawiasy () /[0-7]+ (Q|O)/ Domknięcie dodatnie + /[0-9]+ (D|d)?/ Opcjonalność ?
60 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK
61 J.Nawrocki, Wyrażenia regularne i AWK Zmienne Zmienne wprowadzone przez programistę (typ: ciąg znaków; wartość początkowa: ciąg pusty / zero) Zmienne polowe $1, $(i+j-1),.. Zmienne wbudowane (mają standardowe znaczenie)
62 J.Nawrocki, Wyrażenia regularne i AWK Zmienne {total= total + NF;} END {print "File: ", FILENAME; print "Num. of fields: ", total; print "Lines: ", NR;} {total= total + NF;} END {print "File: ", FILENAME; print "Num. of fields: ", total; print "Lines: ", NR;} NF - liczba pól w wierszu NR - numer wiersza FILENAME - nazwa pliku
63 J.Nawrocki, Wyrażenia regularne i AWK Plan wykładu Wprowadzenie Idea języka AWK Najprostsze programy Wzorce wiersza Wyrażenia regularne Zmienne Zaawansowane mechanizmy AWK
64 J.Nawrocki, Wyrażenia regularne i AWK Zawansowane mechanizmy AWK Funkcje wbudowane (gsub,..) Instrukcje złożone (if, while,..) Tablice dynamiczne Funkcje getline i next Operatory przekierowania
65 J.Nawrocki, Wyrażenia regularne i AWK Nawrocki 60 Complak 359 Zawansowane mechanizmy AWK Jerzy Nawrocki 20 Wojciech Complak 59 Jerzy Nawrocki 40 Wojciech Complak 300 {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];} {zl[$2]= zl[$2] + $3;} END {for (i in zl) print i, zl[i];}
66 J.Nawrocki, Wyrażenia regularne i AWK Podsumowanie gawk -f prog.awk out.txt Proste ale użyteczne programy 15 kompletnych przykładów Wreszcie!
67 J.Nawrocki, Wyrażenia regularne i AWK Literatura A. Aho, B. Kernighan, P. Weinberger, The AWK Programming Language, Addison-Wesley, Reading, 1988. J. Nawrocki, W. Complak, Wprowadzenie do przetwarzania tekstów w języku AWK, Pro Dialog 2 (1994), 23-46.
68 J.Nawrocki, Wyrażenia regularne i AWK Ocena wykładu 1. Wrażenie ogólne? (1 - 6) 2. Zbyt wolno czy zbyt szybko? 3. Czy dowiedziałeś się czegoś ważnego? 4. Co poprawić i jak?