Estudo de usabilidade em diagnóstico: por que o desempenho analítico não basta

Sensibilidade e especificidade dizem o que um teste é capaz de detectar. Só a usabilidade diz se as pessoas conseguem chegar a esse resultado.

Um teste diagnóstico pode ter desempenho analítico impecável e, ainda assim, falhar na vida real. O motivo raramente está na química. Está no gesto: a gota de sangue que não encheu o capilar, o tempo de espera medido de cabeça, a linha tênue que alguém leu como ausência de sinal. O estudo de usabilidade existe para encontrar esses pontos antes que o produto chegue a quem vai depender dele.

O desempenho que só existe no papel

Estudos de usabilidade, também chamados de estudos de fatores humanos, colocam usuários representativos diante da tarefa completa, da abertura da embalagem à interpretação do resultado, com apenas a bula, as instruções de uso do fabricante. Ninguém pergunta se o usuário gostou do produto. Observa-se onde ele hesita, o que pula, o que entende errado e se esse erro pode levar a um dano.

A norma ABNT NBR IEC 62366-1 organiza essa disciplina para dispositivos médicos com lógica de gestão de risco: identificar as tarefas críticas, antecipar os erros de uso previsíveis e demonstrar, com dados, que a interface do produto os mantém em nível aceitável.

O que 1.400 pessoas mostraram sobre um autoteste

Um estudo conduzido em Joanesburgo e publicado na PLOS ONE avaliou sete autotestes de HIV com 1.400 adultos que nunca tinham feito o procedimento. Sem treinamento, apenas com a bula, cada participante executou as etapas sob observação. O resultado geral foi bom, com usabilidade média de 92,8% e confiança relatada próxima de 96%. Os detalhes é que tornam o dado útil. As falhas se concentraram na coleta e na transferência da amostra, como gota de sangue insuficiente, capilar mal preenchido e técnica inadequada de swab nos testes de fluido oral.

A leitura do resultado trouxe o dado mais incômodo. Negativos e positivos foram interpretados corretamente por mais de 96% dos participantes, mas o positivo fraco foi lido de forma correta por apenas 74,9%, e com frequência foi confundido com negativo. Em um teste de HIV, um positivo percebido como negativo é exatamente o tipo de erro que nenhum número de sensibilidade analítica revela.

Formativo e somativo: dois estudos, duas perguntas

A IEC 62366-1 distingue dois tipos de avaliação de usabilidade. A avaliação formativa acontece durante o desenvolvimento e pergunta o que ainda precisa melhorar. A avaliação somativa acontece no fim, com o produto e a bula em versão final, e pergunta se o uso é seguro o bastante para ir ao mercado.

O formativo não é o estudo que a autoridade regulatória analisa para aprovar o produto. A decisão recai sobre o somativo. Mesmo assim, pular o formativo é a economia mais cara do projeto.

Um somativo é um teste de aprovação: se uma tarefa crítica falha, o desenvolvedor precisa corrigir o produto ou a bula e repetir a validação, com novo recrutamento, novo prazo e novo custo. O formativo é onde se pode errar sem conseqüência. Com poucos participantes, ele revela a ilustração ambígua, o passo fora de ordem, o termo que o leigo não entende, a tempo de corrigir antes da versão final.

Há ainda um ganho menos óbvio. As rodadas formativas documentam por que a interface e a bula ficaram como ficaram, e essa rastreabilidade sustenta o arquivo de engenharia de usabilidade que acompanha o produto. Quem chega ao somativo depois de um bom formativo chega para confirmar, e não para descobrir.

Do erro observado ao produto corrigido

A força desse tipo de estudo está em transformar impressão em evidência acionável. Quando se descobre que uma etapa concentra os erros, o desenvolvedor pode redesenhar as ilustrações da bula, incluir imagens de referência de positivos fracos na bula e na embalagem, ajustar o tempo de leitura ou trocar o dispositivo de coleta. Fazer isso antes do registro custa uma revisão de projeto. Descobrir o problema em campo, depois do lançamento, custa recolhimento, reputação e, no pior cenário, uma decisão clínica errada.

Há ainda a distinção entre o erro que atrapalha e o erro que machuca. Errar o tempo de espera por dois minutos pode ser irrelevante para um produto e crítico para outro. Cabe ao estudo, a partir da análise de risco, separar o que é incômodo do que compromete a segurança do resultado, e concentrar a atenção onde o dano é possível.

Quando o usuário muda, o problema também muda

O autoteste e o teste de PCR ilustram dois lados do mesmo desafio. No autoteste, o usuário é leigo, de qualquer idade e escolaridade, sozinho em casa, sem ninguém para corrigir um passo. No PCR, o operador tem formação, mas lida com preparo de reagentes, pipetagem e leitura de curvas, e a variação entre rotinas e níveis de treinamento pode produzir erros que não aparecem nos estudos de desempenho feitos pela equipe experiente do próprio desenvolvedor. Nos dois casos a pergunta é a mesma: o produto funciona nas mãos de quem realmente vai usá-lo?

A demanda por essas respostas cresce porque os testes estão saindo do laboratório central e entrando em rotinas cada vez mais distantes dele. Quanto mais longe da bancada, mais a evidência de uso precisa ser demonstrada em vez de presumida.

As normas que organizam a usabilidade

A usabilidade não se apoia em uma única norma. A IEC 62366-1 define o processo, mas ele só se sustenta em conjunto com a gestão de risco, o sistema de qualidade e as regras de rotulagem.

Na prática, a ISO 14971 diz onde o dano pode ocorrer, a IEC 62366-1 diz como testar se o usuário chega lá, e a ISO 18113 diz o que a bula precisa informar para evitar o erro.

O que a regulamentação brasileira exige

Sim, o Brasil exige evidência de usabilidade, e de forma explícita para produtos destinados a usuários leigos. A RDC n° 830/2023 da Anvisa, em vigor desde 1º de junho de 2024, inclui no dossiê técnico de IVD o relatório de usabilidade para os produtos destinados aos usuários leigos (art. 58, inciso VI, alínea I). O Anexo II da resolução aplica esse item às classes de risco II, III e IV.

A mesma resolução determina que a linguagem de rótulos e instruções de uso seja compatível com o conhecimento, a experiência e a escolaridade do usuário pretendido. Autotestes são, em regra, classe III, o que os leva ao regime de registro, com análise técnica do dossiê pela Anvisa.

Para os IVD de uso profissional, incluindo o PCR e os testes rápidos usados por profissionais, não há no dossiê um item que peça um estudo de usabilidade. O que existe é a obrigação geral da RDC n° 848/2024, que trata dos requisitos essenciais de segurança e desempenho e vale para todos os dispositivos médicos e IVD. Ela exige que o projeto permita uso seguro e exato conforme as instruções e reduza o risco de erro do usuário no manuseio e na interpretação dos resultados. Na prática, o estudo somativo não é cobrado no registro de um produto profissional.

A ausência da exigência não elimina o risco. Uma bula mal adequada ao profissional também afeta o resultado final: um volume de pipetagem ambíguo, uma etapa de preparo fora de ordem ou um critério de validação da corrida mal explicado produzem erro mesmo em mãos treinadas. O operador experiente tende a confiar na própria rotina e a ler a bula por cima, o que torna a clareza do texto ainda mais decisiva. Por isso o estudo de usabilidade faz sentido também para produtos profissionais, mesmo quando o regulador não o pede.

Somado ao relatório de gerenciamento de risco, obrigatório no dossiê, isso faz da IEC 62366-1 o caminho reconhecido para demonstrar conformidade. Nenhuma das resoluções menciona os termos formativo e somativo. O que a Anvisa recebe é o relatório final de usabilidade, que corresponde ao estudo somativo.

Como se reconhece um estudo que convence

Algumas escolhas de desenho definem se os dados serão levados a sério. A amostra precisa refletir o público real, com variação de idade, escolaridade, letramento em saúde e experiência prévia. As tarefas críticas devem ser definidas antes, a partir da gestão de risco, e não depois de ver os resultados. A observação precisa ocorrer sem ajuda do avaliador, porque a ajuda esconde o erro.

O estudo deve incluir a interpretação de resultados simulados, inclusive os ambíguos, porque é neles que a decisão se perde. E o que for encontrado precisa voltar ao desenho do produto e da bula, com nova rodada de verificação quando a mudança for relevante.

Um olhar voltado ao uso real

Na Base Científica, a usabilidade é uma linha de trabalho consolidada. Conduzimos estudos formativos e somativos que vão dos autotestes, como o de HIV, aos testes moleculares, como o PCR, com usuários leigos e com operadores treinados, sempre a partir da bula e das tarefas críticas de cada produto.

Nossa experiência não se limita ao registro na Anvisa. Também conduzimos testes de usabilidade destinados à marcação CE, no contexto do regulamento europeu de diagnóstico in vitro, o IVDR (Regulamento (UE) 2017/746). Para o fabricante que busca os dois mercados, isso permite planejar um único programa de usabilidade, com protocolo e relatório alinhados à IEC 62366-1, que atenda às duas submissões.

Em todos os estudos o princípio é o mesmo: observar pessoas reais executando o procedimento completo, registrar onde o uso se afasta do previsto e transformar essas observações em evidência clara sobre o que o produto exige de quem o utiliza.

Referências

• Usability assessment of seven HIV self-test devices conducted with lay-users in Johannesburg, South Africa. PLOS ONE.
• ABNT NBR IEC 62366-1. Dispositivos médicos, Parte 1: Aplicação de engenharia de usabilidade.
• IEC/TR 62366-2. Medical devices, Part 2: Guidance on the application of usability engineering to medical devices.
• ABNT NBR ISO 14971. Dispositivos médicos: Aplicação de gerenciamento de risco a dispositivos médicos.
• ISO 18113. In vitro diagnostic medical devices: Information supplied by the manufacturer (labelling).
• Anvisa. Resolução RDC n° 830, de 6 de dezembro de 2023. Classificação de risco, notificação, registro, rotulagem e instruções de uso de dispositivos médicos para diagnóstico in vitro.
• Anvisa. Resolução RDC n° 848, de 6 de março de 2024. Requisitos essenciais de segurança e desempenho de dispositivos médicos e IVD.
• Regulamento (UE) 2017/746 do Parlamento Europeu e do Conselho, relativo aos dispositivos médicos para diagnóstico in vitro (IVDR).