1 UNIVERSIDADE FEDERAL DE JUIZ DE FORA SEMINÁRIOS DE AVALIAÇÃO INSTITUCIONAL AUTOAVALIAÇÃO INSTITUCIONAL E A EXPERIÊNCIA DA UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL Daltro Nunes UFRGS/SAI Juiz de Fora 14/09/2016

2 AVALIAÇÃO: SETOR PRODUTIVODécadas de 60-70 Politica de desenvolvimento industrial Japonês Cópia de produtos industriais Produtos de Eletrônica: Gravadores de som, televisores, rádios, computadores (Fujizo) etc.

3 AVALIAÇÃO: SETOR PRODUTIVOProdutos Japoneses Baixa qualidade. Dificuldades de venda no mercado internacional Produtos obsoletos

4 AVALIAÇÃO: SETOR PRODUTIVOReação do Japão QUALIDADE Toyotismo versus Fordismo SUCESSO Automóveis Toyota tem garantia de 5 anos, por exemplo

5 AVALIAÇÃO: SETOR PRODUTIVOProcessos (*) Industriais atividades do processo insumos produto Cerificação da qualidade do processo Cerificação da qualidade do produto (*) Processo: Rede de Atividades

6 AVALIAÇÃO: SETOR PRODUTIVOAvaliação de organizações do setor produtivo do processo (Exemplo: Havana) Empresas Certificadoras Norma: ISO 9000.

7 AVALIAÇÃO: SETOR PRODUTIVO

8 AVALIAÇÃO: SETOR PRODUTIVOAvaliação de produtos

9 AVALIAÇÃO: SETOR PRODUTIVOConclusão: Muito Bom Bom Regular Ruim Avaliação custo/beneficio

10 AVALIAÇÃO: SETOR PRODUTIVOAvaliação do Produto:

11 AVALIAÇÃO:EDUCAÇÃO SUPERIORCultura de Avaliação: Na aviação Cultura da Segurança; Redundância Produtos de qualidade (Certificados) Razões: Grande perigo de perdas de vidas Nas industrias Processo de qualidade Produto de qualidade Razões: Competitividade: produtos de baixa qualidade não tem saída (Falência)

12 AVALIAÇÃO:EDUCAÇÃO SUPERIORNas Universidades?? Quais são os riscos para uma universidade que não tem qualidade, no seu processo educacional e nos resultados (egressos, produção cientifica, ...)?

13 Avaliação de Processos de EnsinoAs Instituições de Educação Superior copiam do setor produtivo a ideia de avaliação As Avaliações de processos industriais e educacionais são completamente diferentes

14 AVALIAÇÃO:EDUCAÇÃO SUPERIORPara que avaliar? Quais são os objetivos da avaliação? O que avaliar? Como avaliar?

15 AVALIAÇÃO: PARA QUE AVALIAR?A avaliação da educação superior visa: - Fornecer subsídios aos gestores da Universidade nos processos de tomada de decisão; - a gestão e o planejamento da ES; - melhoria da qualidade; - a transformação e mudanças; - tornar transparente para a Sociedade o estado da qualidade da Universidade; - criar uma cultura de avaliação institucional - mostrar para a sociedade a qualidade dos seus processos e resultados, dando a ela uma satisfação dos investimentos aplicados - revelar como estamos do ponto de vista da qualidade: Estamos bem? Estamos mal? - revelar como estamos comparativamente com nos mesmos e nos com os outros (ranqueamentos) - A avaliação permite aos gestores executar ações com vistas a melhoria da qualidade

16 O QUE AVALIAR? Art. 3º - A avaliação das instituições de educação superior terá por objetivo identificar o seu perfil e o significado de sua atuação, por meio de suas atividades, cursos, programas, projetos e setores, considerando as diferentes dimensões institucionais, dentre elas obrigatoriamente as seguintes: I – a missão e o plano de desenvolvimento institucional; II – a politica para o ensino, a pesquisa, a pós-graduação, a extensão e as respectivas formas de operacionalização, incluídos os procedimentos para estímulo à produção acadêmica, as bolsas de pesquisa, de monitoria e demais modalidades; III – a responsabilidade social da instituição, considerada especialmente no que se refere à sua contribuição em relação à inclusão social, ao desenvolvimento econômico e social, à defesa do meio ambiente, da memória cultural, da produção artística e do patrimônio cultural; IV – a comunicação com a sociedade; V – as políticas de pessoal, as carreiras do corpo docente e do corpo técnico-administrativo, seu aperfeiçoamento, desenvolvimento profissional e suas condições de trabalho; VI – organização e gestão da instituição, especialmente o funcionamento e representatividade dos colegiados, sua independência e autonomia na relação com a mantenedora, e a participação dos segmentos da comunidade universitária nos processos decisórios; VII – infraestrutura física, especialmente a de ensino e de pesquisa, biblioteca, recursos de informação e comunicação; VIII – planejamento e avaliação, especialmente os processos, resultados e eficácia da auto- avaliação institucional; IX – políticas de atendimento aos estudantes; X – sustentabilidade financeira, tendo em vista o significado social da continuidade dos compromissos na oferta da educação superior.

17 COMO AVALIAR? LEI No , DE 14 DE ABRIL DE Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES ... Art. 11. Cada instituição de ensino superior, pública ou privada, constituirá Comissão Própria de Avaliação - CPA, …, com as atribuições de condução dos processos de avaliação internos da instituição, … II - atuação autônoma em relação a conselhos e demais órgãos colegiados existentes na instituição de educação superior.

18 AVALIAÇÃO: BASE LEGAL Lei do SINAES - Lei Federal nº 10.861/2004Decisão do CONSUN – Decisão nº 184/2009 Decisão da CPA – Decisão Nº 02/2015

19 CONSELHOS SUPERIORES DA UNIVERSIDADE: UFRGSComissão Própria de Avaliação - CPA Conselho de Curadores Conselho Universitário Conselho do Ensino, Pesquisa e Extensão - CEPE

20 COMO AVALIAR? Na UFRGS Criação de uma Secretaria de Avaliação Institucional-SAI (anos 2000) com status de Pró-Reitoria: Atualmente: Um Secretario + Vice Secretario 8 Técnicos Administrativos 3 Bolsistas

21 Conselho Universitário

22 ORGANIZAÇÃO DA UNIVERSIDADE POR ATIVIDADES (1994 – HOJE)Reitor Conselho do Ensino Pesquisa e Extensão - CEPE Reitor Conselho Universitário Presidente CPA Reitor/Vice Staff Administrativo: Pró-Reitorias Secretarias (SAI,...) Órgãos Suplementares Órgãos Auxiliares ... Presidente Câmara de Graduação Presidente Câmara de Pós-Graduação Presidente Câmara de Pesquisa Presidente Câmara de Extensão Unidade Universitária Direção Conselho da Unidade Coordenador Núcleo de Avaliação da Unidade - NAU Coordenador Comissões de Graduação Coordenador Comissões de Pós-Graduação Coordenador Comissões de Pesquisa Coordenador Comissão de Extensão Chefe Conselhos Departamentais/ Plenários dos Departamentos

23 AVALIAÇÃO: SETOR DE EDUCAÇÃOProcessos de ensino atividades do processo de ensino estudantes profissionais avaliação da qualidade do processo pelos estudantes Avaliação da qualidade dos profissionais

24 Avaliação de UniversidadesAvaliações externas Avaliações internas Avaliações externas

25 Avaliação Externa Avaliação de Resultados (Produtos)Pesquisa: CNPq (Resultado: produção cientifica) Pós-graduação: CAPES (Resultado) Avaliação externa de cursos graduação (Resultado) ENADE Avaliações de Processos Graduação INEP (processo) Autorização para começar um novo curso (Faculdades) Reconhecimento/Renovação (todas as IES)

26 Avaliação interna (Lei do SINAES)... Ao final do processo de auto-avaliação, a CPA prestará contas de suas atividades aos órgãos colegiados superiores, apresentando relatórios, pareceres e, eventualmente, recomendações. ... ... uma vez concluída a avaliação da instituição em suas etapas interna e externa, compete à instancia superior da IES a responsabilidade pela (re)definição e implementação das politicas acadêmicas que o processo avaliativo sugerir.

27 COMO AVALIAR:PROCESSO DE AVALIAÇÃO INTERNA

28 COMO AVALIAR:PROCESSO DE AVALIAÇÃO INTERNAA atividade “Comunicação à Gestão” do Processo de Avaliação acontece todos os anos na Semana de Avaliação, no mês de Junho. Nesta semana, a CPA tem um encontro coletivo com o Reitor, Vice-Reitor, pró-reitores, secretários, diretores, superintendentes etc. da Administração Central, visando apresentar as analises, resultados e diagnósticos da avaliação (relativas ao ano anterior).

29 COMO AVALIAR:NÚCLEOS DE AVALIAÇÃO DA UNIDADEParalelamente, os Núcleos de Avaliação das Unidades realizam seus Encontros com os gestores das Unidades.

30 COMO AVALIAR: MOTIVAÇÃOPara motivar, a CPA deve levar, na semana de avaliação, analises, resultados e diagnósticos categorizados pelas funções de gestão: Pró-Reitoria de Graduação Pró-Reitoria de Pós-graduação Superintendência de infraestrutura

31 COMO AVALIAR: MOTIVAÇÃOPara motivar, os Núcleos de Avaliação devem levar, na semana de avaliação, analises, resultados e diagnósticos categorizados pelas funções dos gestores: Diretor Chefes de Departamentos Coordenadores de Comissão

32 COMO AVALIAR:COLETA DE DADOS DE AVALIAÇÃOPara o processo de avaliação é fundamental a criação de uma base de dados (dados de avaliação quantitativos e qualitativos). A base é formada por dados coletados pelos diversos Instrumentos de Avaliação (Questionários). Cada Instrumento de Avaliação coleta dados de uma particular especificidade das 10 dimensões do SINAES

33 COMO AVALIAR: COLETA DE DADOS DE AVALIAÇÃO

34 COMO AVALIAR:INSTRUMENTOS DE AVALIAÇÃOEm aplicação Avaliação do docente pelos discentes (graduação) Auto avaliação docente Avaliação da Pós-graduação Avaliação do docente pelos discentes da Educação Básica Auto avaliação docente da Educação Básica

35 COMO AVALIAR:INSTRUMENTOS DE AVALIAÇÃO- A curto prazo Atividades de ensino de cursos EAD Atividades de ensino EAD de cursos presenciais Avalição da Universidade pelo egressos A médio prazo Avaliação da infraestrutura Avaliação da Univ. pelos TAs (Gestão Administrativa) Avaliação da gestão acadêmica Avaliação da assistência estudantil A longo prazo Extensão, pesquisa, comunicação social, missão, PDI, ...

36 COMO AVALIAR: AVALIAÇÃO DA PÓS-GRADUAÇÃOExemplo de Questionário: Pós-graduação Categoria Questão Professor O professor utilizou metodologias adequadas ao conteúdo e nível de ensino. O professor trabalhou os conteúdos em nível de profundidade e atualidade condizentes com o nível de estudos e com os objetivos da atividade de ensino. O professor manteve postura de respeito e cortesia no trato com todos os discentes. O professor forneceu retorno das atividades avaliativas. Disciplina Os conhecimentos desenvolvidos contribuíram para minha formação. Orientação O orientador contribuiu para o desenvolvimento de minhas pesquisas. O orientador me tratou com respeito. Recebi orientação e incentivo para a divulgação dos resultados da pesquisa. O orientador me incentivou a participar de eventos científicos. Programa O Programa disponibilizou ambiente de estudo com os recursos necessários. O Programa disponibilizou infraestrutura e insumos necessários para a realização de pesquisas de campo e/ou de laboratório. O Programa ofereceu conteúdos e práticas apropriadas para minha formação como pesquisador/docente. O Programa possui inserção internacional e/ou políticas de mobilidade acadêmica. O Programa disponibilizou informações claras, completas e atualizadas sobre suas normas e procedimentos. O Programa disponibilizou conhecimentos sobre metodologia científica. O Programa favoreceu uma cultura de sustentabilidade (ambiental, social, econômica, etc.) Autoavaliação A minha participação no grupo de pesquisa contribuiu para o desenvolvimento da minha tese/dissertação.

37 COMO AVALIAR: AVALIAÇÃO DA PÓS-GRADUAÇÃOA avaliação de programas de pós-graduação pode divergir da avaliação da CAPES

38 COMO AVALIAR:INSTRUMENTO PADRÃO

39 COMO AVALIAR:INSTRUMENTO PADRÃO

40 COMO AVALIAR:COLETA DE DADOS DE AVALIAÇÃOTodos os instrumentos de avaliação são insumos para construção de quatro instrumentos de avaliação Avaliação pelos Discentes Avaliação pelos Docentes Avaliação pelos Técnicos Administrativos Avaliação pelos Egressos Cada instrumento abrange, quando pertinente, as 10 dimensões do SINAES

41 COMO AVALIAR:COLETA DE DADOS DE AVALIAÇÃO

42 COMO AVALIAR:COLETA DE DADOS DE AVALIAÇÃOPeriodicidade de aplicação Comunidade universitária Aplicação semestral com coleta seletiva de dados Egressos Aplicação e atualização a qualquer tempo

43 COMO AVALIAR: AVALIAÇÃO DE INDICADORES COMPOSTOSPara avaliar cursos, por exemplo, inicialmente são identificados os dados que interessam (normalmente, dados do PPC, do corpo docente e da infraestrutura) Para avaliar o docente são usados os indicadores básicos do desempenho do docente em sala de aula (presencial ou a distancia). A avaliação do docente pelos discentes, nos termos da Portaria Ministerial 554 de 20jun2013 e da Decisão CONSUN-232/2014, é usada na progressão funcional do docente.

44 COMO AVALIAR:GERAÇÃO DE RELATÓRIOS

45 Usos da Avaliação Progressão Funcional Progressão FuncionalProf. Auxiliar de Ensino Professor Assistente Professor Adjunto Prof. Associado Prof. Titular Progressão Funcional Prof. Auxiliar de Ensino Professor Assistente Professor Adjunto Prof. Associado Prof. Titular Avaliação do docente pelos discentes

46 COMO AVALIAR:GERAÇÃO DO RAAIA geração de relatórios, como base nas dez dimensões do SINAES, deve ser feita de forma semiautomática. As tabelas, gráficos etc., gerados automaticamente são analisados e comentados pela CPA, com base em padrões de qualidade. O relatório final é o Relatório de Auto avaliação Institucional - RAAI

47 COMO AVALIAR:GERAÇÃO DO RAAUA geração de relatórios, como base nas dez dimensões do SINAES, deve ser feita de forma semiautomática. As tabelas, gráficos etc., gerados automaticamente são analisados e comentados pelos Núcleos de Avaliação, com base em padrões de qualidade. Os dados usados pelos Núcleos de Avaliação são obtidos pela filtragem da base de dados (bd) da Universidade O relatório final é o Relatório de Auto avaliação da Unidade - RAAU

48 Percentual de Respondentes

49 COMO AVALIAR ESTRATEGIAS PARA AUMENTAR O NÚMERO DE RESPONDENTES

50 Interstício de avaliaçãoDados relativos a 2015/1 e 2015/2 Docentes pelos Auto avaliação Discentes docente

51 Índice de Qualidade da UFRGS

52 Painel da Qualidade

53 PAINEL DA QUALIDADE Objetivos Tomada de decisão TransparênciaSatisfação à comunidade universitária dos dados coletados. Alunos 60% Professores 70%

54 Painel da Qualidade

55 PAINEL DA QUALIDADE

56 Recomendações O setor de avaliação da universidade é o mais antipático (ninguém gosta de ser avaliado!) A CPA deve ser formada por especialistas em avaliação. As áreas que mais contribuem para a avaliação são (UFRGS): Psicologia, Filosofia, Estatística, Educação, Computação, Produção e Gestão. O setor executivo de avaliação deve ter um subsetor formado por profissionais de TI e Estatisticos Gestores: Administrar as mudanças (Palestra do Larry) Não tornar a avaliação componente curricular obrigatório Adotar estratégias para aumentar o percentual de respondentes.

57 Sigilo e Anonimato dos Avaliadores e AvaliadosA avaliação institucional tem como objetivo, entre outros, a busca de deficiências e fragilidades dos processos e resultados que demandem o planejamento e execução de ações por parte dos gestores, visando a melhoria da qualidade da universidade. Para tanto, é necessário a coleta de dados, a definição de padrões de qualidade e a analise dos dados, comparando-os com padrões estabelecidos. Os dados de avaliação são tratados estatisticamente para atingir os objetivos da avaliação. A avaliação de docentes, discentes e técnico administrativos não revela a identidade dos avaliadores e nem dos avaliados. Os questionários garantem aos docentes, discentes e técnico administrativos o anonimato. Somente o avaliado tem acesso aos seus dados. Para garantir confiabilidade dos resultados, a análise dos dados de avaliação deve ser realizada somente por especialistas em avaliação. Conforme Lei nº de 14 de abril de 2004 e a decisão CONSUN-184/2009, apenas a Comissão Própria de Avaliação e os Núcleos de Avaliação das Unidades são órgãos de avaliação.

58 Consistência do Questionário de Avaliação do Docente pelos DiscentesConsistência do Questionário de Avaliação do Docente pelos Discentes. Aplicação: ano 2015

59 Validade da amostra

60 Validade da amostra de dados (cont.)

61 Conclusões Interessantes

62 Conclusões interessantes (Cont.)

63 Conclusões interessantes (Cont.)

64 FIM! Perguntas?