Continuam a surgir pedidos (exigências?) da sua suspensão e revogação dos efeitos, com base na presunção de uma “má” avaliação, que teria gerado muitos “falsos negativos” – centros que merecem passar à fase seguinte e ao financiamento que a ela está associado.
Num texto anterior e no post do Pedro Magalhães e do Luis Aguiar-Conraria, o aspecto mais saliente do actual processo de avaliação foi a importância de ser um centro grande, intencional ou não. Normalmente, a ideia de centros maiores recolherem economias de escala e com isso conseguirem melhores resultados da sua investigação está presente, de forma implícita ou explícita, nas discussões sobre os centros de investigação. A avaliação em curso está a dar um sinal claro para que os centros de menor dimensão se juntem. A pergunta natural é que evidência existe sobre essa “hipótese” de quanto maior for o centro de investigação mais produtivo (por investigador) em média.
Um aspecto associado a este é a capacidade de os centros de investigação aumentarem o número de membros com ele associados juntando investigadores a tempo parcial. Ter investigadores a tempo parcial num centro poderá trazer a vantagem da diversidade de visões (aumentando a produtividade de quem participar no centro) e a desvantagem de dispersão (reduzindo essa produtividade). Se a desvantagem for mais forte que a vantagem, o sinal dado pela Fundação para a Ciência e a Tecnologia para centros de investigação maiores (com mais membros) poderá resultar na adição de investigadores a tempo parcial e com um efeito final negativo. Por isso, é necessário também saber mais sobre que resultados são obtidos pelos centros de investigação.
A primeira dificuldade está logo em definir o que é a “produção” de um centro de investigação. O conjunto de dados coligidos por Pedro Magalhães e Luis Aguiar-Conraria permite ter três indicadores diferentes (pelo menos): total de publicações, citações e índice-h (h publicações citadas pelo menos h vezes). Embora os resultados possam diferir de acordo com o indicador escolhido, existe forte correlação entre eles (quadro 1 abaixo), pelo que vou usar publicações e um
índice compósito dos três, obtido como a primeira componente extraída numa análise de componentes principais (basicamente, uma forma de resumir a informação dos três indicadores num só).
Para ver o papel dos investigadores a tempo parcial, tendo os membros de cada centro de investigação, como publicado na avaliação da FCT, e o seu equivalente em tempo integral, através dos dados recolhidos por Pedro Magalhães e Luis Aguiar-Conraria, o rácio dá uma medida da importância dos investigadores a tempo parcial – quanto maior rácio, maior essa importância (só um centro não terá investigadores a tempo parcial, mas é pequeno – 11 membros), logo a importância não é ter ou não ter, é a extensão em que se tem.
Recuperando as análises estatísticas de Pedro Magalhães e Luis Aguiar-Conraria, e adicionando apenas a variável “parcial” (= membros do centro / equivalente em tempo integral), resulta de forma clara um efeito negativo e presente em todas essas variantes (quadros 2 a 4 abaixo). Daqui sai que os centros com maior número de investigadores a tempo parcial têm menor probabilidade de passar à segunda fase, e tiveram em média pior avaliação. Os avaliadores não deram preferência à diversidade, prevalecendo, na minha interpretação, as desvantagens da dispersão. Ou, numa visão mais céptica, aumentar a dimensão dos centros de forma artificial, aumentando os seus membros mas não em termos de dedicação efectiva, não produzirá efeitos em termos de melhor avaliação.
Mas estes são resultados referentes a avaliação, nada dizendo quanto à produção dos centros e sobre se maior número de investigadores se traduz em maior produção por investigador. Tomando as publicações como indicador de produção, e diferenciando entre diferentes práticas entre áreas científicas – não só as diferenças entre publicar artigos curtos e artigos longos, como a prática de quem assina esses artigos, e o papel de outras publicações – o argumento pode ser analisado através do conceito de elasticidade – se um aumento de x% no número de investigadores produzir um aumento de y% (> x%) então a lógica de maior dimensão levar a maior produtividade por investigador recebe suporte dos dados. Tomando análise de regressão com as variáveis em logaritmos, o coeficiente de regressão dá directamente esta relação (∆y%/∆x%), sendo que se for superior a 1 tem-se suporte de “economias de escala” no número de investigadores.
Como os centros de investigação mais pequenos podem ter um comportamento diferente, é feita a distinção entre os centros com menos de 25 FTE e os que têm mais. É feita também uma regressão linear (variáveis expressas em logaritmos) e uma análise de fronteira estocástica (uma forma de reconhecer a possibilidade de ineficiências). A distinção entre áreas científicas é feita usando as informações da base de dados de Pedro Magalhães e Luís Aguiar-Conraria (que tem a característica de um mesmo centro poder estar em duas áreas diferentes – 35 centros surgem em duas áreas, e 11 em três áreas).
Destas análises resultou que a estimativa pontual para a elasticidade publicações – FTE é inferior a 1, embora não se rejeite a hipótese de ser igual 1, no caso dos centros de investigação com igual ou menos de 25 FTE (quadro 1). Para os centros de investigação com mais de 25 FTE, o resultado é essencialmente o mesmo – a estimativa pontual é inferior a 1, mas não se rejeita que seja igual a 1 (quadros 7 a 9). Ou seja, pelo menos em termos de publicações não se encontram os efeitos esperados de dimensão sobre a produtividade dos investigadores
Se forem usados como indicadores de produção o número de citações e o índice-h, o que se encontra? para os centros de investigação com igual número ou menos de 25 FTE não há relação entre dimensão e citações ou índice-h; para os maiores de 25 FTE, a elasticidade é unitária no caso das citações e inferior a esse valor para o índice-h. Não há qualquer evidência de vantagem de dimensão absoluta para a produtividade individual dos investigadores.
Usando uma estimações de fronteira estocástica, e apenas para a variável publicações, dividindo novamente entre centros grandes e centros pequenos (FTE maior ou menor que 25), as estimativas obtidas são suficientemente próximas de 1 para que não se rejeite essa hipótese. Ou seja, mesmo procurando distinguir os centros de investigação mais eficientes (no sentido de mais publicações para os mesmos FTE) não há evidência que aumentar a dimensão dos centros se traduza em maior produtividade por membro do centro de investigação. (quadros 5 e 6)
Estas explorações colocam em dúvida a razoabilidade de uma estratégia de financiamento ou avaliação de centros de investigação que conduza a centros de maior dimensão com o objectivo de gerar mais output científico se medido pelas publicações científicas. A dimensão poderá ter outras vantagens, mas nesse caso deverão ser tornadas quais as que se esperam obter. Uma nota de curiosidade para o efeito de ter mais membros em tempo parcial para os grandes centros de investigação – surgem com um efeito positivo na fronteira, implicando que centros de investigação que sejam eficientes em termos de produção científica medida por publicações tendem a beneficiar do efeito de diversidade.
Em suma, a avaliação da FCT deu maior probabilidade de passagem à fase seguinte a centros de investigação maiores, havendo uma penalização dos que aumentaram a dimensão por inclusão de proporcionalmente mais investigadores a tempo parcial.
Implícita a essa característica estará a visão de que maior dimensão ajuda à produtividade da investigação. Usando dados publicamente disponíveis sobre publicações no período 2008-2012 como medida de produção científica, não se encontra evidência que sustente essa visão. Ou as vantagens da dimensão são outras, e devem ser explicitadas, ou está-se a partir de uma premissa errada quanto aos factores que determinam a produtividade dos investigadores.
Num artigo do jornal Público de 30 de Julho, André Freire insurge-se – mais uma voz – contra a avaliação da Fundação para a Ciência e a Tecnologia, por o respectivo centro de investigação – CIES-IUL – não ter passado à segunda fase. Só por curiosidade fui verificar, de acordo com os modelos estatísticos, qual o valor da probabilidade de passar à segunda fase dadas as características do centro em causa. Se for um valor baixo, significa que face à comparação com os restantes centros, a decisão de não passar estará bem dentro do quadro geral; se for um valor elevado, significará que é provavelmente um falso negativo – em comparação com outros centros de investigação de características observáveis similares nestas bases de dados sobre a avaliação e sobre os centros, a decisão surge como estranha. (quadro 11)
Destes cálculos, usando o modelo de identificação das características de passagem à segunda fase de Pedro Magalhães e Luís Aguiar-Conraria, a versão adicional que usei acima, ou outras variantes, a probabilidade encontrada esteve sempre acima dos 90%. Ou seja, será uma das unidades a merecer uma apreciação cuidada do resultado da primeira fase.
Notas: Definição das variáveis usadas – loutput= ln(publicações 2008-2012), lfte=ln (FTE- full time equivalent), parcial = membros/FTE, restantes variáveis – ver o post de Pedro Magalhães e Luis Aguiar-Conraria.

Quadro 1: Correlação entre medidas alternativas de produção cientifica

Quadro 2 – regressão logistica para a nota atribuída

Quadro 3 – Decisão de passagem à 2ª fase (modelo probit)

Quadro 4 – modelo de regressão linear de passagem à 2ª fase

Quadro 5 – Fronteira escolástica, publicações cientificas como medida de resultado, centros grandes (FTE > 25)

Quadro 6 – Fronteira escolástica, publicações cientificas como medida de resultado, centros pequenos (FTE ≤ 25)

Quadro 7 – regressão linear – produção cientifica vs FTE, centros pequenos

Quadro 8 – regressão produção científica vs FTE, centros grandes

Quadro 9 – regressão produção cientifica vs FTE, todos os centros

Quadro 10 – centros abrangidos por mais de um painel, na base de dados Pedro Magalhães – Luis Aguiar-Conraria

Quadro 11 – A verde a decisão sobre o CIES-IUL; a laranja a probabilidade de passagem à 2ª fase de acordo com o modelo de regularidade de decisão
Ressabiado é o termo.
Desde que me lembre, o Banco de Portugal foi uma instituição respeitada e que sempre primou pela sua imagem de independencia e rigor tecnico.
A actuação deste governador tem vindo a destoar do passado do banco, pelas imprudentes participações em manobras políticas (quem não se lembra do famoso “cálculo do défice”) e pelo apoio ao governo em declarações e omissões públicas muitas vezes despropositadas para o seu cargo.
Ao queixar-se agora de o terem envolvido na luta política, está a colher os resultados da sua falta de independência e está a confundir a sua pessoa com a instituição.
Os factos demonstram que a supervisão falhou e, como mais alto responsável, deveria o governador assumir as falhas e propor as medidas correctivas necessárias.
Ao recusar a evidência e ao continuar a alimentar a polémica política, está o governador a prejudicar a instituição e a demonstrar que não tem de facto a independência e a discrição que o cargo exige.
Ricardo,
Há, na discussão, dois aspectos que me parecem muito diferentes:
a) o envolvimento no calor da luta politica – e aqui, com esta última intervenção,
Vitor Constâncio deixou-se levar para ela
b) falha de supervisão – é fácil depois de conhecidos os problemas argumentar
que houve falha de supervisão – devia ter existido intervenção mais cedo do que sucedeu; mas em cada momento, com os dados disponíveis, o Banco de Portugal tem também que ponderar se ao agir não provoca outra falha – intervir quando não se justifica essa intervenção. A supervisão bancária recebeu menos importância do que deveria por parte do Banco de Portugal? possivelmente, mas daí não se pode concluir que houve falha grave de supervisão. O que se diria se o Banco de Portugal sugerisse a nacionalização de um banco que depois se revelasse não ter qualquer problema?
Caro Pedro
È de facto mais fácil à posteriori tirar conclusões e por isso mesmo é que hoje os resultados demonstram que a supervisão não foi eficaz.
Agora, em vez de negar a evidencia, seria inteligente e constructivo corrigir o que falhou, para prevenir futuras falhas da mesma natureza.
Não devemos contaminar as análises e o estudo das soluções com os melindres pessoais e a procura de bodes expiatórios, mas é preocupante que o governador continue a negar que a supervisão não foi eficaz.
Se “tudo correu bem”, então não há razão para melhorar a supervisão de forma a prevenir casos semelhantes no futuro.E então como podemos confiar no nosso sistema financeiro?
Gostava de passar algum tempo sobre o assunto dos dados disponíveis.
Eu nunca estive ligado à supervisão bancária, confesso. Mas se estivesse, eis o que faria.
Em casos como o BPN, qualquer pessoa que trabalhasse no meio financeiro em Portugal poderia adiantar ao Banco de Portugal que o BPN era uma instituição sem estratégia, sem factores de diferenciação, a trabalhar um mercado altamente concorrencial.
Não é preciso ser um génio da finança para entender que o BPN não tinha hipóteses de sobrevivência. Neste caso, haveria que perguntar como estaria de facto a sobreviver. Para colocar esta pergunta basta viver em Lisboa e tomar café com duas ou três pessoas do meio bancário para ficar a par. Ninguém entendia como o BPN sobrevivia.
A próxima fase seria um pedido de documentação. O Banco de Portugal teria que entender o BPN suficientemente bem para estar convencido que o banco não iria representar um potencial problema. Para tal, devia ter elaborado uma lista de perguntas e um pedido de documentação.
Se no final das suas perguntas o Banco de Portugal chegasse à conclusão que não haveria problema tendo também em conta a documentação, tudo bem. Respostas menos boas ou falta de informação seriam motivo para mais preocupação e para medidas correctivas.
Existem inúmeras medidas correctivas que poderiam ter sido tomadas pelo Banco de Portugal. O que mais critico no caso BPN foi a atitude “tudo ou nada” do Banco de Portugal. Não se fez nada e depois nacionalizou-se. Por isso o argumento do risco de nacionalizar um banco que revelasse não ter problema, para mim, não faz sentido.
Para além disso, parece-me que se tratava de um caso para invocar princípios de boa gestão bancário e alegar que o BPN não estava a seguir os mesmos. O que me parece foi que o Banco de Portugal seguiu regras burocráticas e fechou os olhos.
Mais pormenores em http://www.kambaia.blogspot.com
Hum…como pontos de acordo, podemos ter:
a) supervisão bancária devia ter estado mais atenta a alguns sinais – e aqui o facto de terem existido administradores que sairam, não assinaram contas e ninguém, leia-se Banco de Portugal, quis falar com eles, é evidência dessa desatenção; não significa que tivesse sentido intervir mais cedo com a
informação que estava então disponível.
b) supervisão bancária baseada em regras de cavalheirismo e idoneidade aceite sem reservas não será mais possível, alguma coisa vai ter de mudar nas capacidades de investigação e de exercício de pedidos de informação e eventualmente “raides” para recolha de informação
Como desacordo meu com muita argumentação que tem sido feita:
– que o Banco de Portugal falhou totalmente (afinal, o BPN estava em investigação)
– que devia ter tido uma intervenção mais cedo, e
– que não detectou as fraudes por incompetência da supervisão
Agora, no final, é para mim claro que o Governador não se deveria envolver
em acusações à Comissão de Inquérito Parlamentar.
As perguntas preocupantes para a confiança no sistema são:
Será que já foi apurado pelo BP tudo o que se passou realmente no BCP,BPN,BPP?
Será que está em análise a forma como foi possível as irregularidades não terem sido detectados?
será que estão a ser implementadas medidas correctoras de forma a evitar estes casos no futuro?
Ou será que ninguem se atreve a fazer o levantamento dos problemas, para não contrariar o Governador?
Sem querer prolongar demasiado a discussão, a minha resposta ao comentário do Pedro Pita Barros, que desde já agradeço, é a seguinte.
(Este texto foi também publicado no meu blog http://kambaia.blogspot.com)
(1) Pedro Pita Barros é da opinião que o Banco de Portugal não falhou totalmente. De facto, estamos em desacordo. A meu ver, a nacionalização de um banco no qual houve fraude é um falhanço total da regulação. Como refere Pedro Pita Barros, o BPN já estava a ser investigado antes da nacionalização. O Banco de Portugal tinha à sua disposição um arsenal de medidas correctivas que podia ter accionado. Sem querer ser exaustivo estou a pensar, entre outras medidas, no seguinte: (i) censura pública (ii) multas (iii) proibição de exercer actividade bancária para parte do banco (o que talvez tivesse permitido salvar alguns departamentos do BPN, sacrificando outros);
(2) Pedro Pita Barros não é da opinião que o Banco de Portugal devia ter tido uma intervenção mais cedo. Eu realmente não estou de acordo. A partir do momento em que havia suspeita, penso que devia ter sido pedida informação. Se a informação se revelasse insuficiente, rapidamente o Banco de Portugal devia ter aplicado uma das sanções que menciono no ponto anterior;
(3) Finalmente, Pedro Pita Barros é da opinião que o facto do Banco de Portugal não detectar falhas não revela incompetência. Tenho a opinião contrária, como facilmente se pode concluir do ponto anterior. Penso que a incompetência tem muitas maneiras de se manifestar. Não faltou tempo ao Banco de Portugal e não são precisos tantos recursos como isso para pedir uma lista de informação. Basta enviar um e-mail. Se a resposta é insuficiente ou revela falhas, as sanções descritas acima também não me parecem muito difíceis de implementar e não deveriam ocupar muitos recursos.
Bom sumário nos pontos (1) e (2). O (3) merece apenas o esclarecimento adicional de nem sempre se poder concluir que não detecção de falhas que houve incompetência. Se houver incompetência, não serão detectadas falhas. Mas retirar daqui que se houve falha é porque houve incompetência não é directo. Dou o benefício da dúvida ao Banco de Portugal.
Concordamos em discordar neste caso.
Outros haverá em que talvez venhamos a concordar.