Como medir o impacto de uma solução multimédia num museu ou espaço cultural

A instalação não é o fim do projeto

Depois de meses de planeamento, desenvolvimento e instalação, é comum que a equipa de um museu ou espaço cultural considere o projeto de multimédia interativa concluído no momento em que a solução entra em funcionamento. Na prática, é precisamente neste momento que começa uma fase igualmente importante: perceber se a solução está genuinamente a cumprir o objetivo para o qual foi criada.

Medir o impacto de uma solução multimédia num museu ou espaço cultural não se resume a contar quantas pessoas a utilizaram. É necessário perceber como os visitantes interagem com a solução, se exploram os conteúdos, se estes contribuem para a compreensão da narrativa do espaço e se a experiência se mantém relevante e operacional ao longo do tempo.

Para isso, é importante combinar diferentes indicadores. Dados de utilização são um ponto de partida, mas ganham valor quando são relacionados com métricas de envolvimento, observação do comportamento dos visitantes, feedback qualitativo e indicadores operacionais.

Porque a contagem de utilizações não é suficiente

O indicador mais fácil de obter, e por isso o mais usado, é o número de interações registadas por uma aplicação multimédia. É um dado relevante, mas isoladamente diz muito pouco sobre o valor real da solução.

Uma aplicação pode ser muito utilizada e, ainda assim, não contribuir de forma significativa para a compreensão do visitante, por exemplo, se a interação for breve e superficial, sem que o conteúdo seja efetivamente absorvido. Ao mesmo tempo, uma solução com menos utilizações pode ter um impacto mais profundo se os visitantes que a usam lhe dedicam mais tempo e saem com uma compreensão mais rica do que viram. Por isso, o número de utilizações deve ser lido em conjunto com outros indicadores.

O contrário também pode acontecer. Uma solução com menos utilizações pode proporcionar interações mais longas e aprofundadas, nas quais os visitantes exploram diferentes conteúdos e estabelecem uma relação mais significativa com a informação apresentada. Por isso, o número de utilizações deve ser interpretado em conjunto com outros indicadores e, sobretudo, em função do objetivo definido para a solução.

O indicador só faz sentido quando existe um objetivo

Antes de decidir o que medir, é necessário perceber o que se espera que a solução multimédia faça.

Pretende facilitar a compreensão de um determinado tema? Permitir ao visitante explorar informação que não poderia ser apresentada fisicamente? Aumentar o envolvimento com uma coleção? Tornar determinado conteúdo mais acessível? Incentivar uma exploração autónoma? As respostas determinam que indicadores são realmente relevantes.

Por exemplo, um tempo médio de interação elevado não é necessariamente positivo. Se uma aplicação foi concebida para transmitir uma informação simples em poucos minutos, uma utilização demasiado longa pode até indicar dificuldades de navegação. Da mesma forma, uma interação curta não significa necessariamente falta de interesse se o visitante conseguiu encontrar rapidamente a informação de que precisava.

É por isso que os indicadores devem ser definidos, sempre que possível, ainda durante o planeamento do projeto. Sem um objetivo e uma referência sobre o comportamento esperado, os dados existem, mas tornam-se mais difíceis de interpretar.

Indicadores de envolvimento: para além de contar cliques

O primeiro grupo de indicadores relaciona-se com a forma como os visitantes interagem com a solução, e não apenas com a frequência dessa interação.

O tempo médio de interação ajuda a perceber quanto tempo os visitantes dedicam à experiência, contudo, deverá ser analisado em função da duração esperada e da quantidade de conteúdo disponível.

A profundidade de navegação permite perceber quantas áreas ou níveis de conteúdo são explorados. Numa aplicação concebida para oferecer diferentes camadas de informação, este indicador pode revelar se os visitantes avançam para além dos primeiros conteúdos apresentados.

A taxa de abandono precoce, correspondente às interações iniciadas e interrompidas rapidamente, também pode ser particularmente útil. Quando é elevada, pode justificar uma análise à usabilidade da interface, à extensão dos conteúdos, à localização do equipamento ou à clareza das instruções.

Nenhuma destas métricas deve ser interpretada isoladamente, pois o seu valor está na leitura conjunta e na comparação com aquilo que a experiência foi concebida para proporcionar.

Indicadores de compreensão e retenção

Perceber se o visitante compreendeu ou reteve a informação é mais difícil do que medir uma interação num ecrã, mas existem formas de recolher essa informação.

Os métodos diretos podem incluir questionários breves à saída da exposição, entrevistas realizadas pela equipa do espaço ou pequenas atividades integradas na própria experiência que permitam perceber se os principais conceitos foram compreendidos.

Também existem sinais qualitativos relevantes. A observação pode revelar se os visitantes discutem entre si aquilo que acabaram de descobrir, regressam a determinado conteúdo, relacionam a informação digital com objetos presentes no espaço ou colocam questões mais aprofundadas à equipa.

Estes indicadores exigem mais intervenção humana e são mais difíceis de recolher de forma contínua. Ainda assim, acrescentam uma dimensão que os dados automáticos de utilização não conseguem captar: aquilo que a interação significou efetivamente para o visitante.

Acessibilidade e inclusão também devem ser avaliadas

Uma solução multimédia pode apresentar bons números de utilização e, ao mesmo tempo, criar dificuldades para determinados públicos. Por isso, a avaliação deve considerar também a acessibilidade da experiência.

Pedidos frequentes de ajuda, dificuldades de leitura, elementos interativos que não são facilmente compreendidos ou barreiras no acesso aos conteúdos podem revelar problemas que não aparecem nos dados de utilização.

A observação de diferentes perfis de visitantes é particularmente importante neste contexto. Crianças, pessoas mais velhas, visitantes com diferentes níveis de literacia digital ou pessoas com necessidades específicas podem relacionar-se de formas muito distintas com a mesma interface.

Avaliar estas diferenças ajuda a perceber se a solução está efetivamente preparada para os públicos a que se destina e pode identificar melhorias ao nível da interface, dos conteúdos ou das alternativas de acesso à informação.

Indicadores de integração com a experiência global da visita

Uma aplicação multimédia faz parte de um percurso que inclui o espaço físico, os objetos, os conteúdos expositivos e outros momentos da visita. Por isso, também é importante perceber como a solução se integra nessa experiência mais ampla.

O tempo médio de permanência em determinada área, por exemplo, pode ajudar a identificar alterações no comportamento dos visitantes, embora não permita, por si só, atribuir essas alterações à presença da solução multimédia.

O mesmo se aplica ao feedback. Comentários em questionários, livros de visitas, avaliações ou outros canais podem revelar se a experiência multimédia é espontaneamente identificada como uma componente valorizada da visita.

A observação do percurso também pode ser relevante. Uma solução muito utilizada mas que cria congestionamentos, interrompe a circulação ou desvia a atenção de elementos essenciais da exposição pode necessitar de ajustes, mesmo que os números de interação sejam elevados. O objetivo não é provar que toda a experiência depende da tecnologia, mas perceber se esta está a desempenhar adequadamente o seu papel dentro do conjunto.

Indicadores operacionais: robustez e sustentabilidade

O impacto de uma solução multimédia não depende apenas da reação do visitante. Uma experiência pode ser interessante e bem recebida, mas tornar-se difícil de sustentar se exigir intervenções técnicas constantes ou se os conteúdos forem demasiado complexos de atualizar.

A frequência de avarias, bloqueios ou reinicializações ajuda a perceber se o equipamento e o software estão preparados para o contexto de utilização. O tempo de indisponibilidade também é relevante: uma solução que permanece frequentemente fora de serviço compromete inevitavelmente a experiência para a qual foi concebida.

Devem ainda ser considerados o esforço e os custos associados à manutenção, bem como a atualização dos conteúdos, pois se cada alteração exigir uma intervenção técnica complexa, a solução pode tornar-se progressivamente desatualizada. A facilidade com que a equipa responsável consegue gerir conteúdos, quando essa autonomia faz parte dos requisitos do projeto, é por isso outro indicador importante da sustentabilidade da solução.

Como explorámos no artigo “Como planear um projeto de multimédia interativa para um espaço cultural”, muitas destas questões devem ser consideradas antes da instalação. Definir antecipadamente como será feita a manutenção, quem atualizará os conteúdos e quais os requisitos de funcionamento cria uma base mais sólida para avaliar posteriormente o desempenho.

Que indicadores podem ser acompanhados?

Não existe um conjunto universal de métricas adequado a todos os projetos. Os indicadores devem resultar dos objetivos da solução, do tipo de experiência e do público a que se destina.

Mais importante do que acompanhar um grande número de métricas é escolher aquelas que ajudam efetivamente a responder à pergunta inicial: a solução está a cumprir aquilo para que foi criada?

Como organizar um processo de avaliação contínua

Avaliar o impacto de uma solução multimédia não deve ser um exercício pontual realizado apenas depois da instalação. A avaliação torna-se mais útil quando existe continuidade e possibilidade de comparar resultados ao longo do tempo.

Podem, por exemplo, ser definidos momentos de análise após os primeiros meses de funcionamento, no final do primeiro ano e posteriormente com uma periodicidade adequada à realidade do espaço.

Este processo pode combinar dados recolhidos de forma automática pela solução, períodos de observação direta e feedback qualitativo dos visitantes. Não é necessário medir tudo permanentemente, algumas métricas podem ser acompanhadas de forma contínua, enquanto outras podem ser analisadas através de períodos de amostragem.

Com o tempo, esta informação permite perceber se os padrões de utilização se alteraram, se determinados conteúdos perderam relevância, se surgiram problemas recorrentes e que aspetos podem ser melhorados.

A avaliação deixa, assim, de servir apenas para determinar se o investimento inicial foi bem-sucedido e passa também a apoiar a evolução da própria experiência.

O que fazer quando os indicadores revelam que algo não está a funcionar

Nem todos os projetos de multimédia produzem imediatamente os resultados esperados e é precisamente por isso que medir é importante.

Quando a avaliação revela pouco envolvimento, dificuldades de utilização ou problemas operacionais recorrentes, o primeiro passo deve ser perceber a origem do problema.

Em alguns casos, podem existir aspetos relativamente simples de corrigir: conteúdos demasiado extensos, instruções pouco claras, uma interface que dificulta a navegação ou uma localização que não acompanha o percurso natural do visitante. Pequenos ajustes podem produzir diferenças significativas.

Noutros casos, os indicadores podem revelar um problema mais estrutural. A tecnologia escolhida pode não ser adequada ao público, o objetivo pode ter sido pouco claro desde o início ou a solução pode não estar devidamente integrada na narrativa e no espaço.

Nestas situações, insistir em alterações superficiais pode não resolver o problema. A avaliação permite reconhecer mais cedo quando é necessário rever aspetos da própria concepção do projeto.

Avaliar faz parte de um projeto multimédia bem planeado

Uma solução multimédia não deve ser avaliada apenas pela qualidade do equipamento, pelo aspeto visual da interface ou pelo número de pessoas que lhe tocaram. O seu valor depende da capacidade de cumprir uma função concreta dentro da experiência do espaço.

Por isso, a avaliação deve começar ainda durante o planeamento. Definir o que se pretende alcançar, quem vai utilizar a solução, que comportamentos são importantes observar-se e que indicadores podem ser recolhidos cria uma referência para analisar posteriormente o seu desempenho.

Na InovaDigital, esta relação entre objetivos, conteúdos, tecnologia e experiência faz parte da abordagem ao desenvolvimento de aplicações multimédia. Pensar na evolução e avaliação da solução desde o início permite criar experiências que não terminam no momento da instalação, mas que podem ser acompanhadas, ajustadas e mantidas relevantes ao longo do tempo.

Mais do que perguntar quantas pessoas utilizaram uma solução, importa conseguir responder a uma questão mais útil: a experiência está a cumprir o objetivo para o qual foi criada?