Há um cuidado grande colocado na definição dos hospitais de comparação, sendo referido que “Para a avaliação de eficiência relativa com o DEA, é necessária a identificação de grupos homogéneos de unidades”. Tecnicamente, podemos discutir o que se entende por homogéneos. Em rigor, deveriam ser todos os hospitais que tenham acesso à mesma “tecnologia de produção”, mesmo que se situem em pontos diferentes dessa tecnologia. E evitar juntar hospitais que tenham tecnologias distintas (por exemplos, hospitais especializados). No caso das opções tomadas no estudo da ERS, apenas um aspecto mereceria discussão adicional – o facto de o Hospital de Braga ter ensino universitário associado poderá fazer com que a sua “tecnologia de produção” seja distinta da dos restantes hospitais PPP e levá-lo a ser comparado apenas com outros hospitais universitários. No entanto, os grandes hospitais com ensino universitário foram excluídos do grupo de comparação. Não é claro em que medida esta opção penaliza ou não o Hospital de Braga na comparação, mas alguma discussão adicional teria sido bem vinda.

Em termos de aplicação da metodologia, a ERS decidiu realizar dois conjuntos de estimativas: um com os anos 2012/2013 (média de dois anos) e outro com 2014/2015. Embora não seja totalmente claro, uma vez que não são fornecidos os elementos base da análise, pressuponho que utilizaram como base a média dos dois anos para todas as variáveis. A alternativa seria considerar o conjunto de todas as observações dos dois anos, de forma separada por cada bloco de dois anos. A utilização de médias ajuda a diluir valores extremos, aspecto a que a tecnologia de análise DEA é normalmente bastante sensível. No entanto, ao fazer a análise em separado para cada bloco de dois anos apenas se pode falar em eficiência relativa – evolução de cada unidade face à melhor prática detectada nesse ano. Tal faz com que a evolução temporal não seja de melhoria de eficiência face ao passado. Poderiam ter sido ensaiadas alternativas para avaliar a evolução de eficiência (embora num espaço de tempo tão curto seja difícil que tenham ocorrido alterações importantes). Para este aspecto, seria, a meu ver, mais ilustrativo usar técnicas de fronteira estocástica, que embora obrigue a considerar uma forma funcional para a relação entre factores (inputs) e produtos (outputs), permite mais facilmente comparar as diferenças de eficiência global de um momento no tempo para outro.

Olhando para os resultados, 19 hospitais têm score 1 de eficiência e 10 inferior a 1 no primeiro conjunto de resultados (2012/2013). Para 2014/2015, são 19 hospitais totalmente eficientes e 14 com score de eficiência inferior a 1. Este elevado número de hospitais eficientes é resultado do relativamente elevado número de inputs e de outputs considerado, com um domínio de variação desses outputs que permite diferentes configurações surgirem como eficientes. A redução de número de inputs, explorando as correlações entre inputs que seja bastante elevada, alteraria de forma substancial, suspeito, estes níveis de eficiência.

Acresce ainda que muito hospitais têm níveis de ineficiência inferiores a 5%, o que dada a sempre existente incerteza quanto a factores aleatórios que influenciam os dados observados se poderão considerar como sendo essencialmente eficientes.

Para ver se os hospitais PPP são diferentes dos hospitais não PPP utilizam um teste não paramétrico (isto é, um teste que não usa a média dos scores de eficiência de cada grupo e sim a sua posição relativa). Ora, dependendo da forma são desempatados os casos de score igual (e como se viu há muitos scores iguais 1), mesmo o teste não paramétrico poderá ter resultados diferentes (é igualmente utilizado o teste exacto de Fisher para associação entre ser hospital PPP ou não e ter score inferior 1  ou igual a 1). A avaliação de diferenças entre grupos, quando um dos grupos tem apenas 4 observações e há muitos “empates” no score de eficiência terá sempre dificuldades, e seria adequado discutir tecnicamente em que medida os testes conseguirão fazer a distinção que se pretende (qual a probabilidade de dizerem que os dois grupos são diferentes, se forem de facto diferentes).

Por estes motivos, gostava de ter visto também uma análise paramétrica, juntando os dois conjuntos de momentos temporais (média de dois anos), em que a evolução temporal da eficiência e a individualização dos hospitais PPP possa ser feita de outra forma. Aliás, um exercício interessante a meu ver seria obter a fronteira de melhor prática com base apenas nos hospitais que não são PPP e verificar qual a distância dos hospitais PPP face a essa melhor prática.

Seria curioso saber qual o resultado dos testes estatísticos mesmo se os quatro hospitais PPP tivessem tidos score 1 (eficiência) nos dois anos. Face ao número elevado de hospitais não PPP com o mesmo score, será que ainda assim seriam indistintos, em termos estatísticos?

Por todos estes aspectos metodológicos, a conclusão de que os hospitais PPP não são distinguíveis dos hospitais não PPP nesta componente de eficiência relativa estava de alguma forma “garantida” pelas opções de análise tomadas. Não que houvesse um desejo de enviesamento nesse sentido mas porque a própria metodologia face aos pequenos números de hospitais PPP assim o origina.