A grande conclusão final do estudo da ERS encontra-se claramente explicitado “prescindindo-se de algum tipo de ponderação dos resultados obtidos, a valorizar mais ou menos determinadas áreas em detrimento de outras, não se retira uma ilação global a respeito da vantagem ou desvantagem da gestão em regime de PPP.” Sendo provavelmente sendo sempre verdade esta afirmação, pois desde que haja um número suficientemente grande de indicadores o mais provável é que o modelo PPP não seja dominante nalgum indicador mas seja noutro, fazendo com que a ponderação da importância relativa das diferentes dimensões tenha papel crucial, também creio ser correcto dizer-se que parte da análise foi construída de forma que leva a resultados inconclusivos (embora não esteja visível qualquer intenção de que tal suceda, acaba por ser o resultado de várias das opções metodológicas feitas).

Globalmente, deixa nas mãos do decisor político a ponderação relativa dos vários aspectos.

Vale a pena, a propósito da passagem da decisão para o contexto político, que além da posição ideológica, patente em vários casos, o modelo PPP é sempre facilmente atacado com interpretações parciais dos resultados, razão pela qual será relevante que no debate político que virá certamente a ser travado sejam clarificados os objectivos que se entendem que os hospitais públicos do SNS devem cumprir, e a importância relativa de cada aspecto. Prefiro ilustrar este “problema” recorrendo a um exemplo fictício. Admitamos que um hospital do SNS teria um custo total de 100 para um determinado volume de actividade e qualidade nessa mesma actividade. E admitamos que para os mesmos parâmetros de nível actividade e qualidade, um contrato PPP permite que o custo para o Estado seja 90, e o custo real para a entidade privada seja 80. É fácil dizer que há “rendas excessivas” e que o preço pago devia ser 80. Mas se o contrato dissesse que o preço pago seria igual aos custos, certamente que a entidade privada não teria custos de 80 mas provavelmente 100 ou mais. Há que não confundir “rendas excessivas” com remuneração da capacidade de gestão.

Mas suponhamos que afinal a gestão privada PPP não conseguia recolher esses ganhos de eficiência, e tinha custos reais de 100, iguais aos da gestão pública. A entidade privada teria perdas de 10, com um pagamento de 90 pela entidade pública contratante. Quem for contra o modelo PPP pode então protestar que o modelo PPP não é melhor que a gestão pública (no que tem razão), mas neste caso haveria um “subsidio” da entidade privada ao sector público.

Estes dois exemplos ilustram como se pode dizer, em qualquer caso, como o modelo PPP é mau, ainda que sector público pague menos.

Claro que também podem ocorrer situações de rendas excessivas, em particular quando face às perdas da gestão privada, esta pede um “re-equilíbrio financeiro” ou uma “renegociação” ou a inclusão de actividades adicionais que remuneradas à parte acabem por ser uma forma de cobrir a falta de eficiência do operador privado para conseguir ter resultados pelo menos que não sejam negativos face ao preço contratado com o sector público.

Apresento estes argumentos como forma de ajudar a compreender desde já o debate político que provavelmente surgirá até ao final do ano, dado que serão necessárias decisões sobre a continuidade ou não de duas das PPP actualmente em curso.

O estudo da ERS não permite dizer quals destas situações são mais plausíveis para cada uma das PPP de hospitais actualmente existentes em Portugal.

O bloco final da análise da Entidade Reguladora da Saúde recai sobre os custos de regulação dos contratos PPP. Este é um bloco desejável, uma vez que normalmente pouco se sabe sobre estes custos. Há dois tipos de custos, de um ponto de vista conceptual, para as entidades públicas contratantes. Os custos directos são as despesas incorridas com os sistemas de acompanhamento e monitorização das PPP. Estes custos poderão ser facilmente quantificáveis através dos recursos humanos (e eventualmente de equipamentos) associados com esses processos de acompanhamento e monitorização. Os custos indirectos são muito dificilmente quantificáveis – incluem os custos de a entidade pública contratante não poder usar a flexibilidade do “command & control” para alterar decisões e actividades do hospital (existe um contrato que regula essas relações).

A preocupação com os custos indirectos toma a designação de “constrangimentos identificados”, que ilustram bem como os contratos PPP são, em sentido económico, incompletos por não conseguirem prever todas as contingências futuras relevantes. A vontade do sector público em “mudar de ideias” não é facilmente compatível com o sector público querer pagar um preço fixo por actividades que definiu. E estabelecer à parte remunerações separadas para actividades adicionais torna claros os custos associados, enquanto nos hospitais que não estejam em regime PPP as instruções para se façam essas actividades é mais fácil, o que porém poderá levar a custos “ocultos”, como a geração de dívidas ou deixar de realizar outras actividades. Ou seja, sendo bem vinda esta análise, a sua dificuldade é evidente. Alguns dos aspectos referidos pelo sector publico corroboram indicadores anteriores.

Um dos constrangimentos apontados é “indisponibilidade de informação do grupo de referência que inviabiliza, em alguns casos, a possibilidade de avaliação”. Ou seja é um constrangimento por incapacidade dos outros hospitais que não são PPP, e como tal deveria ser apontada como uma vantagem PPP na existência de informação de acompanhamento, embora não apareça referido na secção “principais vantagens do modelo de gestão PPP”. Nesta secção, é feita referência à vantagem em termos de custos por doente padrão ajustado do modelo PPP no caso do Hospital de Braga, com base num estudo solicitado pela Administração Regional de Saúde (ARS) Norte, e onde são também usados vários indicadores habituais.

O resumo feito pela ERS, “(…) Finalmente, como resumo conclusivo desta secção, importa notar que, não obstante existirem constrangimentos específicos a determinado(s) hospital(is), os problemas mais comuns mencionados pelas duas ARS relacionam-se com: indisponibilidade de indicadores de outros hospitais públicos, que impossibilitam a comparabilidade dos hospitais PPP, e em alguns casos impede a avaliação de desempenho; falta de clareza na definição de alguns indicadores previstos no contrato de gestão; não adequação da carteira de serviços, que em alguns casos motiva a elaboração de protocolos específicos; articulação com os cuidados de saúde primários e com outros hospitais; e regras subjacentes à disponibilidade do serviço de urgência” foca em aspectos sobretudo processuais e que se sabe de antemão estarem associados a modelos contratuais face a modelos “command & control” para obtenção de um serviço.

Também a análise de mediação de conflitos feita pela ERS entre as PPP e as ARS (as entidades públicas contratantes) é interessante mas pouco informativa quanto às vantagens ou desvantagens do modelo PPP. Que assuntos e quantas mediações ocorreriam entre a ACSS/ARS/Governo e os hospitais públicos não PPP se estes últimos pudessem recorrer à ERS para dirimir conflitos entre estas entidades? A divergência entre “entidade pública contratante” e hospitais públicos não PPP é resolvida de outra forma (por exemplo, com demissões ou ameaças de demissão de equipas dirigentes do hospital, e um grande hospital do Norte do país já utilizou esse mecanismo; ou com reclamações junto da Ordem dos Médicos, que toma posições públicas sobre o funcionamento dos hospitais não PPP, e também aqui temos vários casos recentes).

O terceiro bloco de análise no documento da ERS é referente à qualidade, fazendo uso da informação recolhida directamente pela própria ERS e por informada prestada pela ACSS.

O primeiro conjunto de indicadores, com base em informação da ACSS, surgem como diferença face à média do grupo de comparação, embora, ao contrário do que foi feito anteriormente no relatório, não haja qualquer referência à significância estatística destas diferenças (e não é de excluir que diferenças de 2316 casos por 100,000 episódios não sejam afinal significativas – é uma variação de 2,3% em 100,000 episódios, e não se sabe qual a variância dentro do grupo de referência para cada hospital). Haverá certamente hospitais públicos com melhores resultados e provavelmente hospitais públicos com piores resultados.

O conjunto seguinte de informação resulta do SINAS – Sistema Nacional de Avaliação em Saúde, que é mantido pela Entidade Reguladora da Saúde. A informação utilizada é relativamente actual, referente a Fevereiro de 2016. A participação no SINAS é voluntária, pelo que a existência de efeitos de seleção pode ser relevante – os hospitais que antecipem piores resultados poderão auto-excluir-se. Em qualquer caso, a comparação com os melhores, caso haja efeito selecção na participação, é também ela relevante. Para este conjunto de informação, volta a ERS à utilização explicita de testes estatísticos de comparação de distribuições, concluindo-se (uma vez mais) pela ausência de “diferenças estatisticamente significativas” entre os grupos no que se refere a cumprirem os requisitos mínimos da ERS para receberem uma classificação por níveis (“estrelas”). Dado que existe um limite natural no 100% dos hospitais cumprirem esses mínimos, a comparação das PPP com os melhores hospitais públicos daria tendencialmente ausência de diferença entre eles. Parece-me que seria fácil prever que para este indicador (ter ou não estrela) dificilmente se poderia ter um resultado diferente, dado que existe um limite superior ao que é o melhor resultado. Mesmo a capacidade de discriminação fina de diferenças entre um grupo com 4 observações e um grupo de comparação que pode ter mais de 20 observações será tipicamente pouca. A própria variação ao longo do tempo do número de estrelas atribuído a cada hospital tenderá a variar pouco. Caso haja um score mais quantitativo subjacente à atribuição de estrelas, com uma escala cardinal, teria sido, a meu ver, melhor utilizar essa informação. É que transformar a escala cardinal em ordinal para estrelas (uma, duas ou três), e depois fazer a média das estrelas é pouco interessante. Não só reduz a informação que é usada como realizar a média implica uma cardinalidade que não está provavelmente presente dessa forma nos scores subjacentes – o nível de qualidade 3 não tem certamente o triplo da qualidade do nível de qualidade 1, mas ao fazer-se a média é isso que se está a admitir. E igualmente aqui seria bom ter-se dado informação, mesmo que em nota de rodapé, de qual a capacidade do teste estatístico usado (teste de Wilcoxon-Mann-Whitney) em discriminar as duas distribuições quando uma tem 4 observações.

O terceiro conjunto de informação usado pela ERS é baseado nas reclamações dos utentes em hospitais públicos, usando para o efeito o indicador “percentagem de reclamações das PPP face ao total de reclamações dos hospitais públicos” e comparar com a percentagem de hospitais que são PPP. Esta comparação não é necessariamente informativa uma vez que com hospitais que servem populações distintas, em dimensão da área de influência e composição da população, não há qualquer razão para pensar que a percentagem de reclamações deverá ser igual em todos os hospitais. Seria mais relevante, creio, olhar para a percentagem de reclamações face ao número de cidadãos na área de influência ou face ao número de atendimentos no hospital (nenhum dos indicadores é perfeito, ainda assim). Por um lado, quem não “experimentou” o hospital não tem porque reclamar, e pode não ter “experimentado” por não ter tido necessidade ou por ter preferido ir a outro lado. Talvez um indicador mais elaborado seja ter a percentagem de utentes que reclamaram explicitamente somados aos que “reclamaram indo a outro hospital ainda que residindo na área de influência” sobre o total de pessoas da área de influência que foram atendidos em hospitais. Além disso, há que perceber se a propensão a reclamar é independente do hospital ser PPP ou não do ponto de vista do cidadão. Isto é, a decisão de um cidadão reclamar pode depender do atendimento que recebeu, das características pessoais do cidadão e da interação entre as características pessoais e as características do hospital. Por exemplo, uma faixa populacional pode ser mais propensa a reclamar. Se um hospital tiver mais pessoas dessa faixa populacional, terá mais reclamações para o mesmo tipo de problemas que apresente. Se os cidadãos tenderem a reclamar mais quando se trata de uma PPP por entenderem que sendo gestão privada se justifica, então as PPP para os mesmos problemas tenderão a ter mais reclamações. E temos por estes efeitos reclamações diferentes entre hospitais, mesmo que tenham os mesmos problemas. Como não houve a preocupação de decompor as percentagens de reclamações nos vários efeitos, não creio que seja licito concluir imediatamente que todas as diferenças se devem a diferenças de resultados. Até pode suceder que seja esse o caso, mas sem efectuar uma análise mais detalhada não se pode afirmar com segurança que tal suceda. Por fim, a análise de casos extremos pode, ou não, ser representativa de diferenças sistemáticas.

O segundo tipo de análise realizada é denominado eficácia, e procura avaliar em que medida a unidade hospitalar consegue dar resposta “às solicitações da procura”. Enquanto a eficiência procurou ver se as “produções” eram obtidas com uma boa utilização dos recursos disponíveis, a eficácia procura ver em que medida que se resolvem os problemas de saúde da população (nesse sentido, aproxima-se da noção de “eficiência” a nível de equilíbrio de mercado, sendo a condição base que toda a procura deve ser satisfeita).

Uma hipótese fundamental usada é que toda procura da área de influência do hospital deverá ser satisfeita pelo hospital numa situação óptima. A análise desta capacidade de resolução depende, naturalmente, das opções que se deparem aos doentes – nas grandes zonas urbanas onde existem mais equipamentos hospitalares e onde a facilidade de deslocação a um hospital fora da área de influência é maior, será de esperar mais fluxos cruzados de doentes. Não é fácil saber que impacto tem essa facilidade no que deva ser a comparação de taxas de resolutividade entre hospitais. A ausência de discussão sobre qual o ponto de referência adequado sugere que este problema (potencial) não foi considerado na análise. A conclusão final de não haver diferenças entre os hospitais é plausível em si mesma, embora mais uma vez achasse útil ter informação complementar (e no caso, até bastaria ter informação sobre o desvio padrão das variáveis de interesse no grupo de comparação, para perceber se os valores observados nos hospitais PPP são substancialmente diferentes).

É de assinalar que existem diferenças importantes entre as várias PPP, mas em nalguns indicadores uma PPP é substancialmente melhor que o grupo de referência mas noutros indicadores é substancialmente pior.

Para dois dos indicadores, há a possibilidade de correlação negativa entre eles, que não parece ter sido acautelada – a percentagem de internamentos com demora superior a 30 dias e a percentagem de reinternamento em 30 dias. Se houve altas mais cedo do que o devido, poderão ocorrer menos internamentos com demora superior a 30 dias (que são porém um número pequeno de casos globalmente) o que levaria a uma maior probabilidade de internamento no espaço de 30 dias. Apesar de tudo, não creio que seja um efeito importante dada a pouca expressividade global dos casos de internamento com mais de 30 dias, mas é uma conjectura que poderia ser verificada com os dados.

Em termos dos testes estatísticos realizados, a média das PPP pode ser algo enganadora. Por exemplo, tomando a variável “percentagem de fraturas da anca com cirurgia efetuada nas primeiras 48 horas”, o teste entre valores médios dos dois grupos (PPP e não PPP) não rejeita que sejam iguais, mas como as PPP têm grande variabilidade de valores, seria interessante saber qual o resultado de testar se a média do grupo de comparação pode ser igual ao valor de cada hospital PPP em particular, ou ver se o valor de cada hospital PPP cai dentro do intervalo de confiança a 95% da média dos hospitais não PPP.

A utilização, para 2015, de uma visualização gráfica em que cada indicador de eficácia por hospital PPP é comparado por rácio com a média do grupo de referência (e invertendo quando necessário para que a leitura seja a de um valor mais elevado corresponder a uma situação melhor que a média do grupo de comparação), mostra que qualquer das  PPP tem indicadores melhores e indicadores piores que o grupo de referência.

Globalmente, esta situação não é inesperada. Ainda assim, o considerar que as populações servidas por todos os hospitais (PPP e do grupo de comparação) são homogéneas no sentido de terem características idênticas para efeitos de resultados destes indicadores é uma hipótese de trabalho que poderia e deveria ser tratada com mais cuidado. Em particular, seria interessante perceber se há relação sistemática entre essas características da população e os diferentes resultados (por exemplo, efeitos de população mais idosa), e haver uma comparação normalizada para esses efeitos, nem que fosse através de uma análise de regressão linear simples (e a qualidade técnica do trabalho desenvolvido pela ERS sugere que não haveria dificuldade em realizar essa análise).

Há um cuidado grande colocado na definição dos hospitais de comparação, sendo referido que “Para a avaliação de eficiência relativa com o DEA, é necessária a identificação de grupos homogéneos de unidades”. Tecnicamente, podemos discutir o que se entende por homogéneos. Em rigor, deveriam ser todos os hospitais que tenham acesso à mesma “tecnologia de produção”, mesmo que se situem em pontos diferentes dessa tecnologia. E evitar juntar hospitais que tenham tecnologias distintas (por exemplos, hospitais especializados). No caso das opções tomadas no estudo da ERS, apenas um aspecto mereceria discussão adicional – o facto de o Hospital de Braga ter ensino universitário associado poderá fazer com que a sua “tecnologia de produção” seja distinta da dos restantes hospitais PPP e levá-lo a ser comparado apenas com outros hospitais universitários. No entanto, os grandes hospitais com ensino universitário foram excluídos do grupo de comparação. Não é claro em que medida esta opção penaliza ou não o Hospital de Braga na comparação, mas alguma discussão adicional teria sido bem vinda.

Em termos de aplicação da metodologia, a ERS decidiu realizar dois conjuntos de estimativas: um com os anos 2012/2013 (média de dois anos) e outro com 2014/2015. Embora não seja totalmente claro, uma vez que não são fornecidos os elementos base da análise, pressuponho que utilizaram como base a média dos dois anos para todas as variáveis. A alternativa seria considerar o conjunto de todas as observações dos dois anos, de forma separada por cada bloco de dois anos. A utilização de médias ajuda a diluir valores extremos, aspecto a que a tecnologia de análise DEA é normalmente bastante sensível. No entanto, ao fazer a análise em separado para cada bloco de dois anos apenas se pode falar em eficiência relativa – evolução de cada unidade face à melhor prática detectada nesse ano. Tal faz com que a evolução temporal não seja de melhoria de eficiência face ao passado. Poderiam ter sido ensaiadas alternativas para avaliar a evolução de eficiência (embora num espaço de tempo tão curto seja difícil que tenham ocorrido alterações importantes). Para este aspecto, seria, a meu ver, mais ilustrativo usar técnicas de fronteira estocástica, que embora obrigue a considerar uma forma funcional para a relação entre factores (inputs) e produtos (outputs), permite mais facilmente comparar as diferenças de eficiência global de um momento no tempo para outro.

Olhando para os resultados, 19 hospitais têm score 1 de eficiência e 10 inferior a 1 no primeiro conjunto de resultados (2012/2013). Para 2014/2015, são 19 hospitais totalmente eficientes e 14 com score de eficiência inferior a 1. Este elevado número de hospitais eficientes é resultado do relativamente elevado número de inputs e de outputs considerado, com um domínio de variação desses outputs que permite diferentes configurações surgirem como eficientes. A redução de número de inputs, explorando as correlações entre inputs que seja bastante elevada, alteraria de forma substancial, suspeito, estes níveis de eficiência.

Acresce ainda que muito hospitais têm níveis de ineficiência inferiores a 5%, o que dada a sempre existente incerteza quanto a factores aleatórios que influenciam os dados observados se poderão considerar como sendo essencialmente eficientes.

Para ver se os hospitais PPP são diferentes dos hospitais não PPP utilizam um teste não paramétrico (isto é, um teste que não usa a média dos scores de eficiência de cada grupo e sim a sua posição relativa). Ora, dependendo da forma são desempatados os casos de score igual (e como se viu há muitos scores iguais 1), mesmo o teste não paramétrico poderá ter resultados diferentes (é igualmente utilizado o teste exacto de Fisher para associação entre ser hospital PPP ou não e ter score inferior 1  ou igual a 1). A avaliação de diferenças entre grupos, quando um dos grupos tem apenas 4 observações e há muitos “empates” no score de eficiência terá sempre dificuldades, e seria adequado discutir tecnicamente em que medida os testes conseguirão fazer a distinção que se pretende (qual a probabilidade de dizerem que os dois grupos são diferentes, se forem de facto diferentes).

Por estes motivos, gostava de ter visto também uma análise paramétrica, juntando os dois conjuntos de momentos temporais (média de dois anos), em que a evolução temporal da eficiência e a individualização dos hospitais PPP possa ser feita de outra forma. Aliás, um exercício interessante a meu ver seria obter a fronteira de melhor prática com base apenas nos hospitais que não são PPP e verificar qual a distância dos hospitais PPP face a essa melhor prática.

Seria curioso saber qual o resultado dos testes estatísticos mesmo se os quatro hospitais PPP tivessem tidos score 1 (eficiência) nos dois anos. Face ao número elevado de hospitais não PPP com o mesmo score, será que ainda assim seriam indistintos, em termos estatísticos?

Por todos estes aspectos metodológicos, a conclusão de que os hospitais PPP não são distinguíveis dos hospitais não PPP nesta componente de eficiência relativa estava de alguma forma “garantida” pelas opções de análise tomadas. Não que houvesse um desejo de enviesamento nesse sentido mas porque a própria metodologia face aos pequenos números de hospitais PPP assim o origina.