1 Przetwarzanie tekstów i AWK(c) Jerzy Nawrocki Wykład 7 Wprowadzenie do informatyki Wykład 7 Przetwarzanie tekstów i AWK Copyright, 2004 © Jerzy R. Nawrocki Wprowadzenie do informatyki
2 Problem konwersji plikówWprowadzenie Problem konwersji plików FName:Jurek SName:Busz Salary 585 FName:Alek SName:Gor Salary 700 FName SName Salary Jurek Busz Alek Gor J.Nawrocki, Przetwarzanie tekstów i AWK
3 Problem konwersji plikówWprowadzenie Problem konwersji plików #include
4 Problem konwersji plikówWprowadzenie Problem konwersji plików Rozwiązanie w AWK BEGIN {FS=":| ";} NR == 1 {print $1, "\t", $3, "\t", $5;} {gsub(/,/, ".” , $6); print $2, "\t", $4, "\t", $6;} J.Nawrocki, Przetwarzanie tekstów i AWK
5 J.Nawrocki, Przetwarzanie tekstów i AWKWprowadzenie Powstanie języka AWK: Aho, Weinberger, Kernighan Bell Labs, New Jersey (USA), 1977 Platformy: Unix, MS DOS/Windows Podobieństwo do C J.Nawrocki, Przetwarzanie tekstów i AWK
6 J.Nawrocki, Przetwarzanie tekstów i AWKIdea języka AWK Plik wejściowy Pole Wiersz Jerzy Nawrocki I1 Jan Kowalski I2 Adam Malinowski I1 Pola: $1, $2, $3, ... J.Nawrocki, Przetwarzanie tekstów i AWK
7 J.Nawrocki, Przetwarzanie tekstów i AWKIdea języka AWK Schemat programu w AWK Reguła przetwarzania wzorzec1 {instrukcje1} wzorzec2 {instrukcje2} J.Nawrocki, Przetwarzanie tekstów i AWK
8 J.Nawrocki, Przetwarzanie tekstów i AWKIdea języka AWK Zasada działania Jerzy Nawrocki Jan Kowalski Adam Malinowski wzorzec1 {instrukcje1} wzorzec2 {instrukcje2} J.Nawrocki, Przetwarzanie tekstów i AWK
9 J.Nawrocki, Przetwarzanie tekstów i AWKIdea języka AWK Zasada działania Jerzy Nawrocki Jan Kowalski Adam Malinowski $0 oznacza bieżący wiersz wzorzec1 {instrukcje1} wzorzec2 {instrukcje2} J.Nawrocki, Przetwarzanie tekstów i AWK
10 J.Nawrocki, Przetwarzanie tekstów i AWKNajprostsze programy Ile pól na wyjściu? Jerzy Nawrocki I1 Jan Kowalski I2 Adam Malinowski I1 $4==”I1” { print $2, $1; } J.Nawrocki, Przetwarzanie tekstów i AWK
11 J.Nawrocki, Przetwarzanie tekstów i AWKNajprostsze programy Ile pól na wyjściu? Jerzy Nawrocki I1 Jan Kowalski I2 Adam Malinowski I1 $4==”I1” J.Nawrocki, Przetwarzanie tekstów i AWK
12 J.Nawrocki, Przetwarzanie tekstów i AWKNajprostsze programy Jakie pole najpierw? Jerzy Nawrocki I1 Jan Kowalski I2 Adam Malinowski I1 { print $2, $1; } J.Nawrocki, Przetwarzanie tekstów i AWK
13 J.Nawrocki, Przetwarzanie tekstów i AWKWzorce wiersza Początek i koniec tekstu Relacje Wzorce złożone Wzorce zakresu Wyrażenia regularne J.Nawrocki, Przetwarzanie tekstów i AWK
14 Początek i koniec tekstuJerzy Nawrocki I1 Jan Kowalski I2 Adam Malinowski I1 BEGIN { print ”-----”; } $4==”I2” { print $2, $1; } END { print ”*****”; } J.Nawrocki, Przetwarzanie tekstów i AWK
15 J.Nawrocki, Przetwarzanie tekstów i AWKRelacje $1 > $2 J.Nawrocki, Przetwarzanie tekstów i AWK
16 J.Nawrocki, Przetwarzanie tekstów i AWKWzorce złożone || lub (alternatywa) $1==1 || $2==1 && i (koniunkcja) $1==1 && $2==1 ! nie (zaprzeczenie) ! $1==1 J.Nawrocki, Przetwarzanie tekstów i AWK
17 J.Nawrocki, Przetwarzanie tekstów i AWKWzorce złożone Jerzy Adam I1 Adam Kowalski I2 Adam Malinowski I1 $4==”I1” && $1==”Adam” { print $2, $1; } J.Nawrocki, Przetwarzanie tekstów i AWK
18 Wzorce z wyrażeniami regularnymiRóża prawdziwa i sztuczna Szydzi z prawdziwej sztuczna: - Krótkie twoje trwanie, Wdzięk pani wkrótce minie A mój pozostanie... - Tak - rzecze wonna róża, Rumieniąc się skromnie – Ale patrząc na panią, Myśleć będą o mnie! Np. znak lub ciąg znaków $0, $1, $2, .. Cały ciąg Ciąg_zn ~ /^ wyr_reg $/ $1 ~ /^A$/ J.Nawrocki, Przetwarzanie tekstów i AWK
19 Wzorce z wyrażeniami regularnymiRóża prawdziwa i sztuczna Szydzi z prawdziwej sztuczna: - Krótkie twoje trwanie, Wdzięk pani wkrótce minie A mój pozostanie... - Tak - rzecze wonna róża, Rumieniąc się skromnie – Ale patrząc na panią, Myśleć będą o mnie! Np. znak lub ciąg znaków $0, $1, $2, .. Cały ciąg Ciąg_zn ~ /^ wyr_reg $/ Początek Ciąg_zn ~ /^ wyr_reg / $1 ~ /^A/ J.Nawrocki, Przetwarzanie tekstów i AWK
20 Wzorce z wyrażeniami regularnymiRóża prawdziwa i sztuczna Szydzi z prawdziwej sztuczna: - Krótkie twoje trwanie, Wdzięk pani wkrótce minie A mój pozostanie... - Tak - rzecze wonna róża, Rumieniąc się skromnie – Ale patrząc na panią, Myśleć będą o mnie! Np. znak lub ciąg znaków $0, $1, $2, .. Cały ciąg Ciąg_zn ~ /^ wyr_reg $/ Początek Ciąg_zn ~ /^ wyr_reg / Koniec Ciąg_zn ~ / wyr_reg $/ $1 ~ /dzi$/ J.Nawrocki, Przetwarzanie tekstów i AWK
21 Wzorce z wyrażeniami regularnymiRóża prawdziwa i sztuczna Szydzi z prawdziwej sztuczna: - Krótkie twoje trwanie, Wdzięk pani wkrótce minie A mój pozostanie... - Tak - rzecze wonna róża, Rumieniąc się skromnie – Ale patrząc na panią, Myśleć będą o mnie! Np. znak lub ciąg znaków $0, $1, $2, .. Cały ciąg Ciąg_zn ~ /^ wyr_reg $/ Początek Ciąg_zn ~ /^ wyr_reg / Koniec Ciąg_zn ~ / wyr_reg $/ $1 ~ /dzi/ Podciąg Ciąg_zn ~ / wyr_reg / J.Nawrocki, Przetwarzanie tekstów i AWK
22 Wzorce z wyrażeniami regularnymiRóża prawdziwa i sztuczna Szydzi z prawdziwej sztuczna: - Krótkie twoje trwanie, Wdzięk pani wkrótce minie A mój pozostanie... - Tak - rzecze wonna róża, Rumieniąc się skromnie – Ale patrząc na panią, Myśleć będą o mnie! Np. znak lub ciąg znaków $0, $1, $2, .. Cały ciąg Ciąg_zn ~ /^ wyr_reg $/ Początek Ciąg_zn ~ /^ wyr_reg / Koniec Ciąg_zn ~ / wyr_reg $/ /dzi/ Podciąg Ciąg_zn ~ / wyr_reg / $0 ~ / wyr_reg / = / wyr_reg / J.Nawrocki, Przetwarzanie tekstów i AWK
23 J.Nawrocki, Przetwarzanie tekstów i AWKZnaki specjalne dowolny znak [ ] zbiór znaków \n nowa linia \ kropka \” znak cudzysłowu \ddd znak o kodzie oktalnym ddd J.Nawrocki, Przetwarzanie tekstów i AWK
24 J.Nawrocki, Przetwarzanie tekstów i AWKZnaki specjalne Co robi ten program? /^.$/ /[ ]/ /[0-9]/ J.Nawrocki, Przetwarzanie tekstów i AWK
25 Dopełnienie zbioru znakówCo za różnica? /^[0-9]/ [^ ... ] /[^0-9]/ J.Nawrocki, Przetwarzanie tekstów i AWK
26 J.Nawrocki, Przetwarzanie tekstów i AWKAlternatywa (lub) wyr_reg | wyr_reg Ząbki listka Nic tak nie potrafi gryźć Jak cudzy laurowy liść. Co robi ten program? /fi | ki/ J.Nawrocki, Przetwarzanie tekstów i AWK
27 J.Nawrocki, Przetwarzanie tekstów i AWKOperator powtarzania Wypisz wszystkie wiersze, w których pierwsze pole jest liczbą. 1 2 3 Rok 1984 4 damy Po3maj 2 raki $1 ~ /[0-9]/ J.Nawrocki, Przetwarzanie tekstów i AWK
28 J.Nawrocki, Przetwarzanie tekstów i AWKOperator powtarzania Wypisz wszystkie wiersze, w których pierwsze pole jest liczbą 1-cyfrową. 1 2 3 Rok 1984 4 damy Po3maj 2 raki $1 ~ /^ [0-9] $/ J.Nawrocki, Przetwarzanie tekstów i AWK
29 J.Nawrocki, Przetwarzanie tekstów i AWKOperator powtarzania Wypisz wszystkie wiersze, w których pierwsze pole jest liczbą. Po3maj 32 raki $1 ~ /^ [0-9] $/ J.Nawrocki, Przetwarzanie tekstów i AWK
30 J.Nawrocki, Przetwarzanie tekstów i AWKOperator powtarzania Wypisz wszystkie wiersze, w których pierwsze pole jest liczbą 1- lub 2-cyfrową. 1 2 3 Rok 1984 4 damy Po3maj 2 raki Po3maj 32 raki Po3maj 32 raki 120 zl $1 ~ /^ [0-9] | [0-9][0-9] $/ J.Nawrocki, Przetwarzanie tekstów i AWK
31 J.Nawrocki, Przetwarzanie tekstów i AWKOperator powtarzania Wypisz wszystkie wiersze, w których pierwsze pole jest liczbą. 1 2 3 Rok 1984 4 damy Po3maj 2 raki Po3maj 32 raki Po3maj 32 raki 120 zl $1 ~ /^ [0-9] | [0-9][0-9] | [0-9][0-9][0-9] $/ 1 cyfra 2 cyfry 3 cyfry J.Nawrocki, Przetwarzanie tekstów i AWK
32 J.Nawrocki, Przetwarzanie tekstów i AWKOperator powtarzania [0-9] = [0-9]1 [0-9][0-9] = [0-9]2 [0-9][0-9][0-9] = [0-9]3 [0-9]1 | [0-9]2 | [0-9]3 | ... = [0-9]+ J.Nawrocki, Przetwarzanie tekstów i AWK
33 J.Nawrocki, Przetwarzanie tekstów i AWKOperator powtarzania Wypisz wszystkie wiersze, w których pierwsze pole jest liczbą. 1 2 3 Rok 1984 4 damy Po3maj 2 raki Po3maj 32 raki Po3maj 32 raki 120 zl $1 ~ /^ [0-9]+ $/ J.Nawrocki, Przetwarzanie tekstów i AWK
34 Operator powtarzania *Musi przynajmniej raz wystąpić w. Może wystąpić sekwencja w. w+ = w | ww | www | . . . w* = | w | ww | www | . . . w( | w | ww | www |.. )= w|ww|www|wwww|.. Ciąg pusty x = x x = x w+ = w w* = w* w x w* = x | x w+ w*x = x | w+x J.Nawrocki, Przetwarzanie tekstów i AWK
35 J.Nawrocki, Przetwarzanie tekstów i AWKZagadka Co robi ten program? $2 ~ /^[0-9][0-9]*$/ J.Nawrocki, Przetwarzanie tekstów i AWK
36 J.Nawrocki, Przetwarzanie tekstów i AWKZagadka Nadgodziny 2001/02 ================ Nawrocki 60 Complak 359 Co robi ten program? $2 ~ /^[0-9]+$/ J.Nawrocki, Przetwarzanie tekstów i AWK
37 J.Nawrocki, Przetwarzanie tekstów i AWKNawiasy 17Q 10O O /^[0-7]+(Q|O)$/ /^[0-7]+Q|O$/ J.Nawrocki, Przetwarzanie tekstów i AWK
38 J.Nawrocki, Przetwarzanie tekstów i AWKOpcjonalność 14 15D 16d D17 D /^ [0-9]+(D|d)? $/ J.Nawrocki, Przetwarzanie tekstów i AWK
39 J.Nawrocki, Przetwarzanie tekstów i AWKZmienne Zmienne wprowadzone przez programistę (typ: ciąg znaków; wartość początkowa: ciąg pusty / zero) Zmienne wbudowane (mają standardowe znaczenie) Zmienne polowe $1, $(i+j-1), .. J.Nawrocki, Przetwarzanie tekstów i AWK
40 J.Nawrocki, Przetwarzanie tekstów i AWKZmienne NR NF total Reguly sitwy Zero do zera A bedzie kariera. 1 2 2 {total= total + NF;} END {print "Pol: ", total; print "Wierszy: ", NR;} NF - liczba pól w wierszu NR - numer wiersza FILENAME - nazwa pliku J.Nawrocki, Przetwarzanie tekstów i AWK
41 J.Nawrocki, Przetwarzanie tekstów i AWKPodsumowanie gawk -f prog.awk
42 J.Nawrocki, Przetwarzanie tekstów i AWKLiteratura A. Aho, B. Kernighan, P. Weinberger, The AWK Programming Language, Addison-Wesley, Reading, 1988. J. Nawrocki, W. Complak, Wprowadzenie do przetwarzania tekstów w języku AWK, Pro Dialog 2 (1994), J.Nawrocki, Przetwarzanie tekstów i AWK