A fábula tratava da avaliação de instituições com a exclusão das pessoas, mas note-se a nota atribuída teria implicações profundas na vida de quem lá trabalhava. É assim também na realidade e, portanto, falar de avaliação de instituições ou de pessoas que nela trabalham é rigorosamente equivalente. Vê-se assim como se geram as cumplicidades. No nosso caso, dizem-nos que o processo de avaliação de desempenho serve para promover os docentes, mas os ratings que lhes estão inerentes servirão para quê? Não se quer atingir ninguém, acredita-se, mas nesta altura também não pode haver promoções. Já falei disto anteriormente, mas vale a pena perguntar outra vez: para que serve a avaliação? Para treinar, apenas para registo de promoções sem contrapartida financeira? Com esta pequena cenoura pensa-se que se consegue a anuição por parte dos docentes ou então a divisão entre eles. E o modelo neoliberal cumpre-se! É esta a posição por mim assumida em texto sobre a reforma de Bolonha e já referido (Mota, 2010). É isto a nossa Numerolândia. Mas como tudo na vida tem um curto, um médio e um longo prazo, também a questão da avaliação assim o tem.
No Expresso (de 30 de Dezembro de 2010), num artigo com o título “Instituições querem criar mais 431 cursos”, Alberto Amaral em declarações aí incluídas afirmava: “a Agência irá utilizar critérios rigorosos para a acreditação, uma vez que não existe qualquer problema de falta de oferta de cursos (o sublinhado é meu)”.Trata-se de uma agência de avaliação, a Agência de Avaliação e Acreditação do Ensino Superior, a A3ES. Mudemos de agência e podemos ter um outro avaliador a dizer então:“a Agência irá utilizar critérios rigorosos, uma vez que não existe qualquer problema de falta de oferta de professores” e a visão de médio prazo fica à vista. Fica à vista qual poderá ser o objectivo da avaliação a médio e a longo prazo, afinal.
Tudo isto que a nossa fábula nos mostra como representação da realidade parece não ter nenhum sentido, parece estarmos ao nível do inverosímel, ao nível do não aceitável. Parece que é inverosímel, mas é mesmo assim, isto é o que são os índices de classificação das universidades. Passemos então à análise do índice de Xangai que tanta tinta tem feito correr e que, de resto, parece estar na base das grandes manobras de concepção das políticas de ensino superior em vários países na União Europeia[1].
Em 1995, com o projecto 211, a China visa transformar uma centena de universidades repartidas pelo território chinês, cerca de 10 por cento do total, em estabelecimentos de excelência no domínio do ensino e da investigação. Foram assim reagrupados estabelecimentos universitários de modo a construirem-se universidades com dimensão suficiente para supostamente racionalizar a gestão dos estabelecimentos de ensino e de investigação. É nesta linha, parece-nos, que terá surgido a classificação da Universidade de Jiao Tong em Xangai, que é a classificação mais conhecida a nível internacional, daí a atenção particular que aqui lhe é dada.
Esta classificação de Xangai é publicada anualmente e classifica as 500 melhores universidades de acordo com os seus critérios e que são:
2.1. Os membros da equipa universitária que tenham recebido um prémio Nobel ou uma medalha Fields a trabalhar na Instituição. O peso do indicador é 20% e no quadro abaixo chama-se AWA.
2.2. O número de investigadores mais citados nos 21 domínios de investigação considerados pelo ISI (Institute for Scientific information). O peso do indicador é 20% e no quadro abaixo designa-se por HICI (Highly Cited).
3.1. O número de artigos publicados nas revistas Nature & Science que no quadro abaixo se designa por N&S. O peso do indicador é 20%. Caso o artigo seja na área de Ciências Sociais e Humanas, o indicador é zero e o seu peso é distribuído pelos outros indicadores.
3.2. O número de artigos publicados pelo pessoal da instituição e identificados pelo ISI como periódicos de referência, que tem um peso de 20% e que no quadro abaixo se expressa por PUB.
Em cada indicador, a universidade com melhor resultado vê atribuir-se-lhe um valor de referência, o valor 100, e para todas as outras calcula-se um valor proporcional à universidade de referência, valores que se encontram nas diferentes colunas (com a excepção da última) do quadro abaixo. Obtém-se assim, para cada indicador, um conjunto de ratios, uma classificação, uma ordenação das 500 universidades, mas que não permite qualificar seja o que for em termos globais. Trata-se, como se disse acima, de um feixe ou conjunto de indicadores e em que o valor de referência de cada um pode respeitar a universidades diferentes, consoante o indicador. Por cada universidade, multiplica-se cada um dos valores representativos de cada indicador pelo respectivo peso e obtém-se o valor global. À universidade que obtenha o valor global mais elevado é-lhe atribuído o valor 100, o valor de referência; serve assim de métrica, de unidade de valor, de unidade padrão. Os valores globais de todas as outras universidades aparecem como fracções deste e é a partir disto que se estabelece o ranking que está na última coluna. É aqui que a questão me faz lembrar, mas apenas isso, o debate das duas grandes escolas de pensamento em economia dos anos 70 e 80. As duas Cambridge, a inglesa e a americana. Não é isto que agora me interessa, preocupa-me mais levantar as insuficiências da classificação de Xangai, o que passo a fazer.
A classificação de Xangai de 2010
Rank |
Institution |
Country |
ALU |
AWA |
HICI |
N&S |
PUB |
PCP |
Total Score |
1 |
Harvard University |
USA |
100.0 |
100.0 |
100.0 |
100.0 |
100.0 |
69.2 |
100.0 |
2 |
UniversityofCalifornia, Berkeley |
USA |
67.6 |
79.3 |
69.0 |
70.9 |
70.6 |
54.2 |
72.4 |
3 |
Stanford University |
USA |
40.2 |
78.4 |
87.6 |
68.4 |
69.7 |
50.1 |
72.1 |
4 |
MIT |
USA |
70.5 |
80.3 |
66.8 |
70.1 |
61.4 |
64.5 |
71.4 |
5 |
University of Cambridge |
UK |
88.5 |
92.6 |
53.9 |
54.3 |
65.7 |
53.1 |
69.6 |
6 |
California Institute of Technology |
USA |
50.3 |
68.8 |
56.7 |
64.8 |
46.9 |
100.0 |
64.4 |
7 |
Princeton University |
USA |
56.4 |
84.8 |
61.1 |
43.3 |
44.3 |
65.5 |
60.8 |
8 |
Columbia University |
USA |
70.7 |
67.4 |
56.2 |
47.6 |
69.9 |
32.1 |
60.4 |
9 |
University of Chicago |
USA |
65.5 |
83.9 |
50.9 |
39.8 |
50.5 |
40.0 |
57.3 |
10 |
University of Oxford |
UK |
56.2 |
57.6 |
48.8 |
49.8 |
68.5 |
41.1 |
56.4 |
11 |
Yale University |
USA |
48.6 |
44.9 |
58.5 |
56.3 |
62.0 |
37.0 |
54.6 |
12 |
Cornell University |
USA |
42.3 |
51.1 |
54.3 |
49.9 |
59.5 |
38.1 |
52.6 |
13 |
Univ. of California, Los Angeles |
USA |
27.2 |
42.6 |
56.9 |
49.2 |
75.1 |
31.2 |
52.2 |
14 |
Univ. of California, San Diego |
USA |
15.1 |
35.8 |
60.2 |
54.6 |
65.1 |
37.9 |
50.0 |
15 |
University of Pennsylvania |
USA |
32.9 |
34.3 |
57.1 |
46.9 |
68.6 |
28.5 |
49.0 |
16 |
University of Washington |
USA |
24.4 |
31.7 |
53.9 |
51.6 |
72.5 |
28.1 |
48.7 |
17 |
Univ. of Wisconsin - Madison |
USA |
36.5 |
35.4 |
51.9 |
40.2 |
66.1 |
25.7 |
46.4 |
18 |
The Johns Hopkins University |
USA |
43.6 |
32.1 |
42.0 |
49.4 |
64.0 |
27.2 |
46.0 |
18 |
Univ. of California, San Francisco |
USA |
0.0 |
40.1 |
53.4 |
51.8 |
60.7 |
33.6 |
46.0 |
20 |
The University of Tokyo |
JAP |
33.3 |
14.1 |
42.0 |
52.0 |
80.4 |
34.5 |
45.9 |
Fonte: http://www.arwu.org/ARWU2010.jsp.
Neste quadro, a Universidade de Harvard aparece com a maior cotação em cinco indicadores e o California Institute of Technology num. A cada um destes valores máximos dá-se pois o valor 100 e todos os outros aparecem como fracções dos valores máximos, como já referido anteriormente. Neste caso, a instituição (a Universidade de Harvard) com um valor global mais elevado, calculado pela soma ponderada dos indicadores vezes o seu peso respectivo, recebe na coluna Total Score o valor 100.
Depois de conhecido o delineamento e o conteúdo subjacente à classificação de Xangai, importa agora analisar toda esta construção e ao fazê-lo iremos mostrar como esta é, em si mesma e do ponto vista científico, um não-sentido total. Centremo-nos nas palavras de Billaut et al. (2010, p. 14):
Em todos os cursos de introdução a multicritérios ensina-se o facto de que, na agregação de vários critérios numa soma ponderada, os pesos utilizados não devem ser interpretados como estando a reflectir a “importância” dos critérios. Isto pode parecer estranho à primeira vista mas é de facto muito intuitivo. Os pesos (ou ainda os constantes de escala como são ainda designados na teoria de multicritérios na decisão) estão estreitamente ligados à normalização dos critérios. Se a normalização se modifica, os pesos devem também mudar. De facto, pode escolher-se medir um critério em metros ou em quilómetros. Se se utilizam os mesmos pesos para este critério nos dois casos obter-se-ão evidentemente resultados absurdos.
Isto tem duas consequências essenciais. Primeira, os pesos numa soma ponderada não podem ser fixados numa vaga ideia de “importância” dos critérios. Se o peso dum critério medido em metros é 0,3 então se passado a quilómetros, e para que este critério mantenha a mesma “importância”, este peso deve ser multiplicado por 1000. Se assim não for, a comparação deste peso com os pesos dos outros critérios não reflecte de modo nenhum a sua importância relativa. Isto tem importantes consequências na forma adequada de definir os pesos numa soma ponderada.
Não tem sentido também exigir a alguém que fixe os pesos sem referência clara à normalização escolhida, o que levanta o problema da maneira como os autores da classificação de Xangai escolheram os seus pesos. Estes nada dizem a este respeito. Tudo leva a crer que os pesos foram escolhidos arbitrariamente. A única explicação aceitável é que na primeira versão da classificação os autores utilizaram unicamente cinco critérios com pesos iguais. Se a utilização de pesos iguais se pode justificar em certos casos, não existem razões para acreditar que esta hipótese se aplique aqui.
A segunda consequência é mais importante ainda. Se se mudar a norma dos critérios deve-se rigorosamente mudar de pesos para reflectir exclusivamente esta modificação da normalização. Se assim não for, corre-se o risco de obter resultados que não têm nenhum sentido, conforme se verá de seguida com um exemplo numérico. Na medida em que todos os anos os autores da classificação normalizam os critérios dando o valor 100 à melhor universidade em cada critério e uma vez que todos os anos o valor não normalizado da melhor instituição varia ele também, os pesos deveriam mudar todos os anos de modo a reflectir exclusivamente esta mudança, esta nova normalização. Mas isto não acontece na classificação de Xangai, pois de ano para ano os pesos não se alteram e isto quando se modificam os valores de referência de cada indicador. Isto significa que os pesos atribuídos inicialmente a cada critério perdem todo o sentido.
Recorra-se então a um exemplo para se ver melhor o que se acabou de dizer. Considere-se oito instituições (a, b, c, d, e, f, g e h) que são avaliadas segundo dois critérios, g1 e g2. Estes critérios são normalizados para dar o valor 100 à melhor instituição, a instituição h (h de Harvard), obtendo-se assim os dois critérios normalizados g1n e g2n.
Soma ponderada: um exemplo com pesos idênticos
Fonte: Billaut et al.(2010, p. 15).
No quadro anterior, as colunas g1 e g2 não levantam problemas. A instituição h é a melhor em ambos os critérios, que após a normalização recebem o valor 100, conforme se indica na linha h, coluna g1n e g2n.
Veja-se agora como se atingem todos os outros valores. No caso da instituição f e do valor g2n, este é então g2n = (g2f/g2h)x100 = (110/500)x100 = 22%. As restantes células do quadro preenchem-se de igual maneira e obtêm-se os valores normalizados de cada critério e de cada instituição (as colunas g1n e g2n). Considerando que os pesos dos critérios são iguais, 0,5 para cada um, pode-se passar imediatamente à coluna que dá o valor global. A instituição a tem um valor global dado por 4%+43,5% = 47,5% e obtém o segundo lugar do ranking. Para a instituição b tem-se a mesma sequência, 10%+37% = 47%, e para as restantes também. Se se utilizar estes valores globais para o ranking das instituições, obtém-se a seguinte classificação (a>b significa que a é preferido a b):h > a > b > c > d > e > f > g.
Considere-se agora uma situação similar em que tudo permanece constante excepto o valor g2 da instituição h que passa de 500 para 700. Isto conduz ao quadro seguinte:
Soma ponderada com pesos idênticos: h melhora em g2
Fonte: Billaut et al.(2010, p. 16).
Veja-se, tal como no caso anterior, o valor normalizado de g2 para a instituição f. No caso presente, g2n = (110/700)x100 = 15,71%. Todos os valores g1n e g2n de todas as instituições seriam assim calculados e teríamos as respectivas colunas g1n e g2n. Considere-se agora o valor global da instituição a. Com o peso de 0,5para cada critério, o valor global desta instituição é 4%+31,07% = 35,07% e esta instituição, que era a segunda no caso anterior, passa agora a ser a última sem que nada tenha mudado nas suas concorrentes, que não a instituição h.
Sem mais comentários, quando se quer com esta classificação justificar as políticas de ensino e investigação em cada país, numa economia global fortemente concorrencial e concorrencial hoje ao nível da venda de serviços, de diplomas e do resto também. A classificação, o índice, como o indicador da política de ensino a seguir, o impensável a ser hoje na Europa executável. Inimaginável.
Mas, senhor Ministro, leve-se a lógica da classificação ao limite. Admita-se uma situação similar na qual tudo permanece constante, salvo o valor do critério g2 na instituição h, que passa de 500 para 700, enquanto o valor da instituição a em gh1 melhora, passando de 160 para 165, e em g2 também, passando de 435 para 450. Pode verificar-se o seguinte: a instituição a que melhorou nos dois critérios, degradou a sua posição relativa e passa para o último lugar. Mais uma vez, os problemas de agregação. Como os autores cairam na armadilha da agregação, todos nós, senhor Ministro, nos podemos interrogar sobre a validade dos resultados. Uma coisa é certa, nem sequer se pode garantir que “melhorar num critério” significa “subir na classificação”.
Note-se ainda que o facto de não mudar de pesos quando a escala muda tem um efeito estranho. Se uma instituição b é fraca num critério de modo que uma instituição concorrente a fica classificada à frente dela, o interesse da instituição b é que a melhor instituição neste critério aumente os seus resultados. De facto, se os pesos permanecem constantes, esta melhoria diminuirá mecanicamente a diferença entre a e b, o que permite eventualmente a b ultrapassar a instituição a, sem nada ter feito para isso. Por consequência, daqui se conclui que quando uma instituição é fraca num critério o seu interesse é que a diferença entre o seu resultado e o da melhor instituição neste mesmo critério aumente!
[1] Curiosamente a propósito do efeito da classificação de Xangai, veja-se um apontamento de entrevista de Valérie Pécresse (VP) ao Figaro (F):
F: A França perde um lugar na classificação de Xangai, apesar das reformas no ensino superior.
VP: Nós não podemos recolher os frutos das reformas de modo imediato. Há aqui um efeito de atraso. A Suécia, país que acaba de nos ultrapassar na classificação, iniciou a sua reforma do ensino superior há já alguns anos. A Alemanha lançou o seu programa “Iniciativa de Excelência” a fim de fazer emergir as suas universidades em 2005. É uma batalha mundial na qual os outros países ganharam algum avanço sobre nós. A Grã-Bretanha tem 20 anos de avanço. O nosso objectivo é ter 10 universidades francesas nas 100 primeiras da classificação de Xangai. As universidades francesas — em número de 85 — estão dispersas e sofrem por esse facto. A nossa política de reagrupamento dos pólos de investigação e de ensino superior deverão já dar resultados na classificação de Xangai de 2010.
F: Este classificação é muito criticada e a federação de estudantes deplora que esta classificação seja uma referência absoluta.
VP: Esta classificação tem defeitos mas existe. Os investigadores e os estudantes lêem-na. Devemos tê-la em conta e fazer de modo a que tenhamos mais visibilidade para as universidades francesas.
. Ligações
. A Mesa pola Normalización Lingüística
. Biblioteca do IES Xoán Montes
. encyclo
. cnrtl dictionnaires modernes
. Le Monde
. sullarte
. Jornal de Letras, Artes e Ideias
. Ricardo Carvalho Calero - Página web comemorações do centenário
. Portal de cultura contemporânea africana
. rae
. treccani
. unesco
. Resistir
. BLOGUES
. Aventar
. DÁ FALA
. hoje há conquilhas, amanhã não sabemos
. ProfBlog
. Sararau