Pouco antes de o Dr. Bobby Mukkamala —um profissional em otorrinolaringologia em Michigan (Estados Unidos)— prescrever opioides em seguida uma cirurgia, ele verificou os registros estaduais das prescrições de substâncias controladas de seu paciente, porquê exigido por lei. Uma pontuação gerada por um algoritmo proprietário apareceu em sua tela.
Sabido porquê NarxCare —e agora usado pela maioria dos bancos de dados de monitoramento de prescrições estaduais, principais hospitais e cadeias de farmácias— o algoritmo indicava que seu paciente tinha um risco saliente de desenvolver uma submissão de analgésicos opioides.
“Causamos muita dor nas cirurgias”, disse Mukkamala, que lidera uma força-tarefa sobre o uso de substâncias da Associação Médica Americana. “O nariz e o rosto são lugares muito sensíveis fazer procedimentos.” Consequentemente, é difícil evitar a récipe de opioides para controlar a dor.
Algoritmos porquê o NarxCare e um teste genético recentemente reconhecido para o risco de transtorno do uso de opioides, espargido porquê AvertD, utilizam técnicas de “machine learning” para tentar ajudar os médicos a reduzir as chances de os pacientes se tornarem dependentes desses medicamentos.
Através do NarxCare, a maioria dos americanos agora tem um equivalente ao rating de crédito para substâncias controladas, que muitas vezes nem sabem que existe, a menos que um médico ou farmacêutico lhes diga que é um problema. (O trabalhador do NarxCare afirma que suas pontuações e relatórios “são destinados a ajudar, não a substituir, a tomada de decisões médicas”.)
Se o AvertD, promovido porquê uma maneira de usar a genética personalizada para determinar o risco, se tornar amplamente utilizado, poderia colocar nos registros das pessoas ainda mais sinais de alerta que são difíceis de contrariar.
Essas ferramentas podem ter boas intenções. Mas a prevenção da submissão é uma tarefa incrivelmente difícil. Somente uma minoria das pessoas que tomam opioides se torna dependente, e os fatores de risco variam por motivos biológicos, psicológicos, sociológicos e econômicos.
Mesmo pontuações precisas podem fomentar danos, já que a submissão é estigmatizada e frequentemente criminalizada.
Algumas pessoas foram expulsas de consultórios médicos por terem pontuações altas no NarxCare, sem terem porquê recorrer da decisão. Outras foram negadas opioides pós-operatórios por enfermeiras ou rejeitadas por várias farmácias, com poucas alternativas.
Esses tipos de algoritmos podem potencialmente piorar os preconceitos raciais e de classe na tomada de decisões médicas. Não é difícil imaginar um porvir distópico de algoritmos sem transparência que tornem algumas pessoas permanentemente inelegíveis para o zelo da dor com substâncias controladas.
Mukkamala observou que uma estudo mais detalhada do histórico médico de seu paciente recente mostrou que na verdade não havia motivo para preocupação. “O que é inadequado é eu olhar para um indicador na graduação e expressar: ‘Caramba, essa pessoa tem um problema. Eu não posso prescrever zero para a dor dela’”, disse ele.
Muitos profissionais de saúde, no entanto, não têm o mesmo nível de conhecimento e crédito de Mukkamala. O preconceito contra pessoas com submissão é geral, assim porquê o terror de ser criminado de récipe excessiva —e as pontuações dos algoritmos só alimentam essas preocupações.
Algoritmos diferentes, também sem transparência, monitoram os padrões de récipe dos médicos e os comparam com os de seus colegas, logo essa não é uma preocupação exagerada.
Quando escrevi pela primeira vez sobre o NarxCare em 2021 para a Wired, ouvi pacientes que foram deixados em agonia. Uma disse que seus opioides foram interrompidos no hospital e depois foi dispensada por seu ginecologista durante o tratamento para uma endometriose dolorosa por culpa de uma pontuação subida na graduação.
Ela não tinha um problema com drogas; sua pontuação parece ter sido elevada porque as prescrições para seus dois cães resgatados, que precisavam de tratamento médico, foram registradas em seu nome, fazendo parecer que ela estava fazendo “doctor shopping”: consultando médicos diferentes para comprar prescrições e medicamentos que não precisava.
Outro paciente com pontuação subida teve sua récipe de medicamentos para tratamento da submissão negada repetidamente por farmácias —ainda que tais medicamentos sejam o único tratamento comprovado para reduzir o risco de overdose.
Pesquisas e reportagens mais recentes confirmam que as preocupações dos cientistas sobre o uso generalizado do software persistem e que os pacientes ainda relatam problemas devido a avaliações de risco potencialmente incorretas e aos receios dos membros da equipe médica de ignorar as pontuações do NarxCare.
Para gerar pontuações de risco, o NarxCare aparentemente utiliza variáveis porquê o número de médicos que alguém visitante, as farmácias que frequentam e as prescrições que recebem, comparando os dados individuais com informações sobre padrões de comportamento associados ao “doctor shopping” e outros indicadores de provável submissão.
Mas não há transparência: o algoritmo do NarxCare é proprietário, e suas fontes de informação, dados de treinamento e variáveis de risco —e porquê são ponderadas— não são públicas.
Outro problema para o NarxCare é que a submissão de opioides é na verdade bastante incomum —afetando entre 2% e 4% da população adulta e juvenil, apesar do traje de que um estudo de 2016 mostra que tapume de 70% dos adultos foram expostos a opioides médicos.
“Identificar o risco essencial de um tipo para o transtorno do uso de opioides é inerentemente muito difícil,” disse Angela Kilby, uma economista que estudou algoritmos porquê o NarxCare quando era professora assistente na Universidade Northeastern. “É porquê procurar uma agulha no palheiro.”
A raridade da requisito possivelmente diminui a precisão do algoritmo, significando que a maioria dos resultados positivos pode ser falsamente positiva simplesmente porque a taxa básica do transtorno é baixa.
Pesquisas mostram que tapume de 20% das vezes, pessoas que são sinalizadas porquê “doctor shoppers” ao identificar fatores de risco semelhantes aos aparentemente incluídos no NarxCare na verdade têm cancro: elas geralmente consultam vários especialistas, frequentemente em centros de medicina acadêmica onde pode possuir equipes de médicos fazendo prescrições.
O algoritmo não necessariamente consegue enobrecer entre cuidados coordenados e “doctor shopping”.
Da mesma forma, alguém que visitante vários médicos ou farmácias e viaja longas distâncias pode estar procurando drogas —ou podem estar cronicamente doentes e incapazes de encontrar atendimento localmente.
Alguns estados também colocam informações de registros criminais em bancos de dados de monitoramento de prescrições, e isso pode levar a preconceitos contra pessoas negras e hispânicas simplesmente porque a discriminação racial significa que elas têm mais verosimilhança de terem sido presas.
Há também um problema mais fundamental. Porquê Kilby observa, o algoritmo é projetado para prever elevações no risco de alguém desenvolver submissão de opioides ao longo da vida, não se uma novidade récipe mudará essa trajetória.
Por exemplo, se alguém já é dependente, uma novidade récipe não muda isso, e negá-la pode aumentar o risco de morte por overdose se a pessoa recorrer a drogas ilícitas.
Recentemente, o NarxCare foi escoltado no jogo de previsão de submissão pelo AvertD, um teste genético que avalia o risco de transtorno por uso de opioides para pacientes que podem ser prescritos tais medicamentos, que a filial regulatória Food and Drug Administration (FDA) aprovou em dezembro pretérito.
Pesquisas do trabalhador, Solvd Health, mostram que um paciente que desenvolverá submissão de opioides tem 18 vezes mais chances de receber um resultado positivo do que um paciente que não a desenvolverá.
O teste, que procura genes específicos associados a vias motivacionais no cérebro afetadas pela submissão, utiliza um algoritmo treinado com dados de mais de 7.000 pessoas, incluindo algumas com transtorno do uso de opioides.
Mas essa aprovação da FDA veio, surpreendentemente, em seguida o comitê consultivo da filial para o teste ter votado esmagadoramente contra. Embora a FDA tenha trabalhado com a empresa por trás do teste para modificá-lo com base no feedback do comitê, ele continuou levantando preocupações.
E, recentemente, um grupo de 31 especialistas e cientistas escreveu para a FDA instando-a a virar sua decisão e revogar sua aprovação. Algumas das preocupações do grupo ecoam os problemas com o NarxCare e seu algoritmo.
Para um estudo publicado em 2021, Alexander S. Hatoum, professor assistente de pesquisa em ciências psicológicas e cerebrais na Universidade Washington em St. Louis, e seus colegas avaliaram independentemente os elementos do algoritmo usados para uma utensílio porquê o AvertD, com base em informações publicadas pela empresa.
Eles descobriram que todas as iterações que testaram foram confundidas pela estratificação populacional —um problema que afeta testes genéticos porque eles refletem a história da progénie humana e porquê ela mudou ao longo do tempo devido a padrões de transmigração.
Quando o AvertD estava sendo considerado para aprovação pela FDA, o Hatoum e seus colegas escreveram um glosa público para a filial que dizia que as variantes genômicas usadas no teste estavam “altamente confundidas pela progénie genética” e não previam o risco melhor do que o possibilidade quando a estratificação populacional não era levada em conta. (Em uma reunião de 2022, o CEO da Solvd afirmou que o AvertD se ajustava adequadamente à estratificação populacional; a FDA não respondeu diretamente a uma pergunta sobre essa asseveração.)
O trabalho do Dr. Hatoum também demonstrou que esses testes podem rotular erroneamente pessoas que são descendentes de dois ou mais grupos que historicamente estavam isolados um do outro porquê estando em risco de submissão. Porquê a maioria dos afro-americanos tem tal progénie mista, isso poderia enviesar o teste para identificá-los porquê de cumeeira risco.
“Isso significa que o protótipo pode usar os marcadores genéticos do status afro-americano para prever o transtorno do uso de opioides, em vez de usar quaisquer marcadores genéticos biologicamente plausíveis,” disse Marzyeh Ghassemi, professora do MIT que estuda tirocínio de máquina na saúde.
Em um email, a Solvd disse que em seu estudo galeno do AvertD, “não foram observadas diferenças no desempenho por raça, etnia ou gênero,” acrescentando que estava realizando testes pós-comercialização conforme exigido pela FDA para determinar ainda mais o teste.
A empresa também criticou a metodologia do Hatoum, dizendo que seu estudo “afirma uma premissa falsa.”
A FDA disse em um expedido que “reconhece que na tomada de decisões pré-mercado para dispositivos, geralmente existe alguma incerteza sobre benefícios e riscos,” acrescentando que, no entanto, “determinou que há uma garantia razoável da segurança e eficiência do AvertD.”
Ainda assim, a filial colocou um aviso de caixa preta no AvertD, proibindo seu uso em pacientes com dor crônica e enfatizando que o teste não pode ser usado sem consentimento do paciente.
Mas isso dificilmente será uma escolha de traje livre: os pacientes podem temer ser estigmatizados porquê potencialmente dependentes se não concordarem em ser testados. E falsos negativos que rotulam erroneamente alguém porquê de reles risco podem, inversamente, levar a prescrições descuidadas.
Em meio à crise dos opioides, é compreensível que os reguladores queiram permitir tecnologias que possam reduzir o risco de submissão. Mas eles devem prometer que tais algoritmos e dispositivos sejam transparentes sobre seus métodos e limitações e que reduzam preconceitos raciais e outros —em vez de reforçá-los.
