1 Discriminant Analysis
2 Two classification problems Discrimination Cluster
3 The discrimination problem Given two populations with known distributions, classify a new element in one of the two populations
4 Examples Classify: Bones as human or not Consumer as reliable or not (credit scoring) A patient as ill or healthy An art work as made by author A or B. Automatic classification (letters, coins, bills,...)
5 Basic Data Data Matrix Element n1th Group A Group B Element n2th Element 1st
6 Gene Analysis
7 Identification of features.23 …. Matrix Pattern Recognition Classify as known or unknown
8 Classification problems A 4 ? 100 euros? 1000 dracmas?
9 Model formulation
10
11 Costs
12
13
14 Particular case: Normal Populations Classify P2
15
16 Understanding the rule
17
18
19 Posterior probabilities
20 Interpretation Classify A Classify B A B
21
22
23
24
25
26
27
28
29 Fisher A B Clasificar en población B Clasificar en A
30 Enfoque de Fisher
31
32 Varios grupos
33
34
35
36
37
38 ejemplo
39
40
41
42
43
44
45 Discriminación cuadrática
46
47 Clasificación logística
48
49 Problemas del modelo lineal No hay garantía de que las probabilidades estén entre cero y uno, pueden tomar valores negativos o mayores que uno. Es heterocedástico. Si estimamos el modelo lineal con variable de clasificación –1 +1 se obtiene la función lineal discriminante.
50
51 Otros enfoques: Redes neuronales Métodos no paramétricos Máquinas de vector soporte
52 redes neuronales Aproximar la función mediante
53
54
55 Máquinas de vector soporte