Método de avaliação de usabilidade de software a partir da satisfação de usuários e da aplicação de quesitos da norma ISO 9241

Método de avaliação de usabilidade de software a partir da satisfação de usuários e da aplicação de quesitos da norma ISO 9241 Marco Aurélio Medeiros

Pós-Graduação em Engenharia de Produção Universidade Federal de Santa Catarina Laboratório de Utilizabilidade de Informática (88040-901) Florianópolis, SC, Brasil 0XX 48 3317549 [email protected]

Walter de Abreu Cybis

Pós-Graduação em Engenharia de Produção Universidade Federal de Santa Catarina Laboratório de Utilizabilidade de Informática (88040-901) Florianópolis, SC, Brasil 0XX 48 3317549 [email protected]

RESUMO Este artigo apresenta uma atividade de avaliação da satisfação de clientes de empresas fornecedoras de software a partir do questionário ISONORM, baseado nos princípios de diálogo previstos na parte 10 da norma ISO 9241. O artigo mostra ainda como associar o grau de satisfação dos usuários e os quesitos de diversas partes da norma ISO 9241, para a identificação objetiva de falhas de usabilidade dos sistemas.

1

INTRODUÇÃO

Nos últimos anos, instituições reguladoras, reconhecendo a importância da ergonomia no uso e projeto de equipamentos de terminais de vídeo, têm desenvolvido padrões, guias e regulamentações que visam proteger a saúde, segurança, conforto e eficiência dos usuários de computador. Os padrões ergonômicos exercem um importante papel no aprimoramento da usabilidade dos sistemas, através da melhoria da consistência da interface com o usuário e da qualidade ergonômica de seus componentes [STEWART 95]. Estes padrões ajudam os projetistas a obter sistemas e componentes que podem ser usados de maneira eficaz, eficiente, segura e confortável. Também auxiliam a reduzir a desnecessária variedade de software e hardware, assegurando que os benefícios de quaisquer variações sejam plenamente justificáveis. O padrão ISO voltado para usabilidade, cuja discussão encontra-se em estado mais adiantado é a norma internacional ISO 9241 – Ergonomic Requirements for Office Work with Visual Display Terminals (VDT). É importante para este artigo citar que uma NBR (Norma Brasileira Registrada) correspondente a esta norma ISO e que leva o nome de “Requisitos ergonômicos para o trabalho de escritório com computadores” encontra-se em fase de elaboração desde junho de 1999. Espera-se a publicação das partes 1 e 10 desta norma ainda para o ano 2000 (www.abnt.com.br). Paralelamente, outros padrões, que focalizam a usabilidade de sistemas de software, encontram-se em desenvolvimento: 

ISO 14915 - Multimedia User Interface Design - Ergonomic Requirements for human-centred multimedia interfaces;



ISO 11064 - Ergonomic Design of Control Centres;



ISO 13407 - Human-Centred Design Process for Interactive Systems.

O trabalho de definição de padrões tem impacto direto no setor de desenvolvimento de software, por duas razões [SYSCON 99]: 

os maiores fornecedores de software são grandes corporações que atuam no mercado internacional. Por isso, as melhores e mais efetivas soluções têm que ter aplicabilidade internacional;



a CEN – Organização de Padronização Européia – optou por adotar as padronizações da ISO no mercado interno da Comunidade Econômica Européia. A padronização da

CEN substitui padrões nacionais na União Européia e nos países membros da Área de Livre Comércio Européia. Esta diretiva pode tornar-se uma dificuldade adicional no caso de empresas brasileiras exportadoras de software. No setor de informática, como nos demais setores da economia, é perceptível a tendência de busca da conformidade dos sistemas da qualidade com as normas da série ISO 9000. Dados da SEPIN – Secretaria de Políticas de Informática e Automação - [SEPIN 99], de fevereiro de 1999, apontam 166 empresas de informática, das quais aproximadamente 40 atuando no desenvolvimento de software, com seus sistemas da qualidade auditados e em conformidade com a norma ISO 9001 ou 9002. No requisito 4.20, demanda-se do fornecedor o estabelecimento de técnicas estatísticas que mensurem a capacidade de processo [MARANHÃO 94] e, mais recentemente, os indicadores de satisfação dos clientes com relação aos produtos e serviços fornecidos. A opção preferencial para suprir este requisito é a adoção de questionários de avaliação de satisfação ad-hocs que examinam critérios de qualidade definidos de forma heurística pelas empresas. A substituição destes critérios heurísticos por princípios normativos, como os fornecidos pela ISO 9241-10, por exemplo, tende a permitir:

2



classificar os indicadores de satisfação obtidos: pode-se, além de obter um indicador geral, determinar indicadores para cada princípio de diálogo descrito na norma (Adequação à Tarefa, Auto-descrição, Controlabilidade, Conformidade com as Expectativas do Usuário, Tolerância a Erros, Suporte à Individualização, Adequação ao Aprendizado);



determinar metas para os graus de satisfação globais e de cada princípio;



atuar pontualmente: ao se detectar indicadores com grau de avaliação indesejáveis, pode-se buscar formas de atuação específica sobre os critérios considerados insatisfatórios, de forma a reduzir as falhas;



abordagem metódica: a partir da correlação entre as partes da norma, pode-se buscar mecanismos para elevar os indicadores. Por exemplo, se o indicador de controlabilidade de um produto que utiliza a metáfora de formulários estiver abaixo dos níveis desejados, pode-se buscar amparo na parte 17 da norma, que trata de preenchimento de formulários, para identificar as falhas apresentadas e alternativas de correção.

A IMPORTÂNCIA DA USABILIDADE PARA A SATISFAÇÃO DO USUÁRIO

Os computadores tornam-se mais e mais importantes no espaço de trabalho. Tão difundida quanto o próprio computador no dia-a-dia é a idéia que a informática agiliza e facilita a execução das tarefas originalmente manuais. No entanto, [EBERTS 94] relata estudos, que concluem que interfaces projetadas de maneira incorreta fazem com que essa não seja uma verdade absoluta. Por essa razão, algumas vezes a execução de uma tarefa informatizada é mais difícil e consome mais tempo : 

[HANSEN 78] conclui que estudantes que fizeram provas informatizadas levaram, em média, o dobro do tempo que levariam para fazer o mesmo teste usando lápis e papel: questionados quanto à razão do tempo extra, os estudantes responderam que o gastaram tentando descobrir como usar o computador.



[GOULD 81] analisando o trabalho de usuários de computador, chegou à conclusão que escrever uma carta em um processador de texto requeria, em 1981, até 50% a mais de tempo do que escrever à mão.

Embora não sejam exatamente atuais, estes estudos colocam em questão a usabilidade do software moderno, concebido para ser utilizado com interface gráfica e ser suportado por hardware dotado de maiores recursos. [PRUMPER 93] demonstra que a melhoria de usabilidade devido a simples evolução tecnológica não é evidente. Em pesquisa baseada em um questionário elaborado a partir da norma ISO 9241-10, 350 usuários de software na Alemanha expressaram suas opiniões com relação à utilização de produtos com interface gráfica e de outros, com interfaces tradicionais (modo caractere). Os resultados alcançados

pelos produtos com interface gráfica deixaram muito a desejar, tendo tido avaliações levemente superiores as interfaces tradicionais. Considerando estes aspectos, é evidente que a usabilidade é uma necessidade elementar para sistemas de software interativo. Produtos com baixa usabilidade são, geralmente, responsáveis por frustração, ansiedade, baixa produtividade e, em casos extremos, por abandono do software [EBERTS 94]. [Cybis et Michel, 1999], por exemplo, demostraram ser significativas as interferências na manifestação política dos eleitores brasileiros causadas por problemas de usabilidade na interface da urna eletrônica empregada nas eleições municipais de 1996.

3

AVALIAÇÃO DE USABILIDADE COMBINANDO SATISFAÇÃO DO USUÁRIO E ISO 9241

O grau de satisfação dos clientes de empresas fornecedoras de software, pelo menos no que se refere ao produto, está ligado, tanto à sua utilidade como ao grau de usabilidade do produto. Assim, os questionários de avaliação da satisfação de clientes com relação a produtos de software devem investigar também, o grau de usabilidade percebida por seus usuários. Este artigo apresenta uma proposta de avaliação de usabilidade de sistemas a partir da avaliação da satisfação de clientes da empresa Softplan Planejamento e Sistemas, de Florianópolis, fornecedora de um Sistema de Informações Gerenciais destinado aos Departamentos de Estradas de Rodagem Nacional e Estaduais. Diversos fatores propiciaram a realização desta atividade junto à Softplan: 

o Sistema da Qualidade da Softplan já tem sua conformidade com a ISO 9001 reconhecida e certificada, e o processo de projeto e desenvolvimento é padronizado e atende ao requisito 4.4 da Norma ISO 9001.



a aplicação de formulários de avaliação de satisfação dos clientes já faz parte da cultura da empresa, estando de acordo com o item 4.10 da mesma norma;



os clientes estão geograficamente distribuídos por várias regiões do país, o que possibilita agregar à avaliação influências culturais distintas.

A estratégia incluiu a aplicação de questionários para identificar o grau de satisfação dos usuários no que se refere aos princípios de diálogo previstos na parte 10 da norma ISO 9241 (Ergonomic Requirements for Office Work with Video Display Terminals – VDTs: Dialogue Principles ). Posteriormente os indícios de problemas de usabilidade foram examinados com a ajuda de quesitos específicos de diversas partes desta norma ISO. Cronologicamente, foram realizadas as seguintes atividades: 

identificação de um modelo de questionário de avaliação;



definição de uma amostra de usuários.



análise da satisfação do usuário



inspeção baseada na norma ISO 9241

IDENTIFICAÇÃO DE UM MODELO DE QUESTIONÁRIO O modelo de questionário teve que obedecer a alguns critérios mínimos: 

possuir uma grande correlação com a norma usada e, preferencialmente ser dela derivado;



ser conciso e objetivo;



já ter sido suficientemente aplicado anteriormente, tendo a validade de seus resultados sido discutida e comparada com outras ferramentas de avaliação.

Com base nestes critérios foram analisados os trabalhos de: 

[NORMAN 89], que descreve o QUIS – Questionnaire for User Interaction Satisfaction – na Universidade de Maryland;



[OPPERMANN 97], que referencia o SUMI – Software Usability Measurement Inventory – desenvolvido como parte do Projeto MUSIC – Metrics for Usability Standards in Computing – do Programa ESPRIT;



[REITERER 93], que apresenta o EVADIS II – Evaluation of User Interfaces – uma versão aprimorada do questionário voltado à especialistas desenvolvido por Oppermann em 1988;



e, finalmente, [PRUMPER 99], que descreve brevemente o ISONORM 9241/10, baseado na norma ISO 9241-10.

O questionário ISONORM foi o escolhido por melhor atender aos critérios definidos, especialmente, no que se refere à validade dos resultados obtidos por este modelo de questionário. No trabalho citado, Prümper compara os resultados obtidos por um grupo de 31 usuários que efetuaram duas avaliações de um mesmo produto: uma usando o QUIS, outra o ISONORM. O trabalho conclui que o ISONORM, apesar de mais conciso, obteve resultados similares e uma correlação de 73% com o QUIS. Este questionário apresenta questões organizadas em sete divisões, conforme os princípios de diálogo da ISO 9241-10 :Adequação à Tarefa, Auto-descrição, Controlabilidade, Conformidade com as Expectativas do Usuário, Tolerância a Erros, Suporte à Individualização, Adequação ao Aprendizado. Com o objetivo de reduzir o tempo de preenchimento do questionário, para cada princípio foram definidas, no máximo, cinco questões. As respostas encontram-se entre dois pólos, o esquerdo descreve o extremo negativo, e o direito, o positivo, conforme o exemplo mostrado a seguir.

O software ---

--

-

+/-

Requer muito tempo para aprender

+ x

++ +++ Requer pouco tempo para aprender

Tabela 1 – Formato de questão colocada ao usuário

Os conceitos atribuídos pelos usuários avaliadores são transformados em notas de acordo com a seguinte equivalência. Conceito Nota Equivalente

--1

-2

3

+/4

+ 5

++ +++ 5 7

Tabela 2 – Equivalência nota x conceito

IDENTIFICANDO A AMOSTRA DE USUÁRIOS O Sistema de Informações Gerenciais destinado aos Departamentos de Estradas de Rodagens Nacional e Estaduais, e órgãos afins foi o escolhido entre os vários projetos da empresa, por possuir a maior quantidade de módulos. Assim, foram enviados questionários para todos os usuários (em uma quantidade estimada de 200) situados nos Estados de Santa Catarina, Paraná, Rio Grande do Norte, Bahia e Distrito Federal. Foram respondidos 31 questionários, representando 15,5% do total enviado. Os usuários responderam 5 perguntas para cada um dos princípios da norma [ISO9241-10 94]: 

Adequação à Tarefa: avalia se o software dá ao usuário suporte suficiente para que as tarefas sejam executadas de maneira eficiente e efetiva;



Auto-descrição: Avalia se cada passo do programa é imediatamente compreensível através de feedback do sistema ou através de explicações quando solicitadas;



Controlabilidade: : avalia se o software permite que o usuário inicie e controle a direção e o ritmo da interação;



Conformidade com as expectativas dos usuários: Avalia se o software é consistente e corresponde às características individuais do usuário como tarefa, conhecimento, educação, experiência e convenções usualmente aceitas;



Tolerância a Erros: avalia se o software atinge os resultados esperados apesar de erros evidentes na entrada, requerendo nenhuma ou mínima ação corretiva por parte do usuário;



Suporte à Individualização: avalia se o software é facilmente modificado de forma a adequar-se às necessidades das tarefas do usuário, preferências e experiência individuais;



Adequação ao Aprendizado: avalia se o software suporta e guia o usuário no aprendizado do uso do sistema.

Os gráficos a seguir caracterizam o perfil dos usuários participantes da pesquisa conforme os seguintes aspectos: 

experiência de uso do sistema: foram divididos em 3 categorias, segundo a experiência de uso do sistema, em meses – até 6 meses – 35% da amostra, de 6 a 18 meses – 55 % da amostra, mais que 18 meses – 10 % da amostra ;



freqüência semanal de uso do sistema: foram divididos em 3 categorias, segundo a carga horária semanal de uso do sistema – até 8 horas – 40% da amostra, de 8 a 20 horas – 27 % da amostra, mais que 20 horas – 33 % da amostra;



experiência na atividade: foram divididos em 3 categorias, segundo a experiência na atividade para a qual o sistema foi desenvolvido, em meses – até 12 meses – 31% da amostra, de 12 a 36 meses – 24 % da amostra, mais que 36 meses – 45 % da amostra.

ANÁLISE DA SATISFAÇÃO DO USUÁRIO

Figura 1 – Médias das notas dadas aos critérios

Os dados das avaliações tabulados, verifica-se que os usuários manifestaram-se sensivelmente favoráveis a 3 aspectos dos produtos, que obtiveram médias bastantes elevadas: 

adequação à tarefa, com média 6,10;



conformidade com as expectativas do usuário: 6,00;



adequação ao aprendizado, com média 6,03.

Contudo, alguns itens merecem estudo mais aprofundado visando à intervenção corretiva: 

controlabilidade, com média 5,61. Este tipo de qualidade é mais importante para sistemas on-line, cujos tratamentos podem ser demorados ou para sistemas cujas ações tenham uma estrutura sequencial extensa. Como os sistemas administrativos

avaliados não possuem estas características, as notas não tão favoráveis não denotam um impacto tão importante na tarefa, podendo ser minimizadas; 

tolerância a erros, média 5,45. Este tipo de qualidade é geral e requer maior atenção dos projetistas devido ao tipo de tarefa administrativa que os sistemas apoiam, onde a potencialidade de erros é significativa;



Suporte à individualização, média 5,74. Esta qualidade é importante para os usuários mais experientes na tarefa e na operação dos sistemas, sendo portanto necessária uma análise mais afinada da distribuição deste percentual entre os tipos de usuários questionados;



Auto-descrição, com média 5,96: Este tipo de qualidade é geral para qualquer tipo de aplicação e estilo de interface e, a exemplo da tolerância a erros, requer uma atenção especial.

É importante considerar o que dizem os que têm mais experiência na tarefa no que se refere ao suporte à individualização. Assim, a estratificação das médias segundo os perfis dos usuários classificados por frequência de uso semanal, experiência no uso do sistema (figura 2 e 3) demonstra uma tendência importante de melhoria nas médias de avaliação.

Figura 2 – Médias das notas estratificadas por experiência no uso do sistema

Figura 3 – Médias das notas estratificadas por freqüência de uso

Observa-se que quem usa mais o sistema o considera mais conforme a suas expectativas, mais personalizável e mais adequado à tarefa. Mas o acha menos tolerante a erros, menos controlável e com feedback não tão bom. Se estas são dimensões não tão bem colocadas no âmbito geral, este quadro confirma ainda mais a necessidade de tratá-las de forma prioritária nas revisões dos sistemas.

Figura 4 – Médias das notas estratificadas por experiência na atividade

É evidente que quem tem mais experiência no programa o conhece melhor, devendo ter suas observações levadas em conta de forma especial. Neste caso, é importante saber que estas pessoas consideraram melhor as qualidades de conformidade com as expectativas do usuário e de adequação à tarefa, que representam importantes qualidades de operação. Já estas mesmas pessoas acham que o sistema não está no mesmo nível no que se refere à controlabilidade, ao feedback e à tolerância a erros.

Conforme as estratificações realizadas, verifica-se que as dimensões controlabilidade, auto-descrição e tolerância a erros foram não tão bem avaliadas pelos usuários mais freqüentes e experientes na operação dos sistemas. Considerando que a dimensão de controle não tenha um impacto tão grande em sistemas administrativos, as qualidades de feedback e de tolerância a erros deveriam ser as priorizadas nas futuras revisões dos sistemas. INSPEÇÃO BASEADA NA NORMA ISO 9241 Na sequência do estudo, elaborou-se uma matriz de correlação que associa cada questão do ISONORM com os quesitos das partes 12, 13, 14, 15, 16 e 17 da norma. Como sua estrutura sugere, para cada questão ISONORM foram listados os quesitos de diferentes partes que devem ser aplicados em uma inspeção técnica detalhada dos sistemas.

Para a questão Oferece poucos recursos para automatizar tarefas repetitivas? Pequenos erros podem ter conseqüências severas?

Verificar os seguintes itens da parte: 12 13 14 15 16 17 4.3 6,9 7.7 6.6 9.2.3 9.2.5

Tabela 3 – Relação questão x quesito da norma ISO 9241

Assim, se a pergunta “Pequenos erros podem ter conseqüências severas?” obtiver uma avaliação negativa, deve-se aplicar uma inspeção a partir dos critérios 9.2.3 e 9.2.5 da parte 13 da norma, e 6.6 da parte 15. A elaboração desta matriz resultou da análise empírica tanto das questões ISONORM como dos quesitos das diversas partes da norma ISO 9241. A estrutura final selecionou 183 quesitos da norma, que associados às questões ISONORM geraram um checklist de 278 itens de inspeção. O item Tolerância a Erros, cujas questões obtiveram os menores graus de satisfação na pesquisa realizada, apontaram os critérios que posteriormente foram utilizados na inspeção do produto da Softplan. Verificou-se primeiramente a aplicabilidade do critério ao sistema e, posteriormente, a aderência do sistema ao quesito. As falhas identificadas através da aplicação dos quesitos da norma ISO 9241, foram em sua maioria de fácil solução, já que originam-se de características não implementadas, ou insuficientemente implementadas, na toolkit desenvolvida pela empresa.

4

CONCLUSÕES

O estudo realizado parece indicar que as boas práticas ergonômicas adotadas pela empresa influenciam positivamente no grau de satisfação dos usuários dos produtos. De fato, [ROSA 99] mencionou que entre as práticas normais da empresa, no que se refere ao projeto de produtos de software, destacam-se: 

a elaboração de um guia de estilo da organização permeado por preocupações ergonômicas;



os sistemas são desenvolvidos a partir de uma biblioteca de classes reutilizáveis construída pela própria empresa. A elaboração destas classes é cercada de cuidadosos estudos ergonômicos [ROSA 99]. Este aspecto é particularmente interessante porque permite avaliar o quanto esta forma de desenvolvimento influencia positivamente na satisfação dos clientes.



aplicação de um checklist ergonômico no projeto da interface de utilização;



desenvolvimento de protótipos com validação junto ao usuário.

A forma de avaliação aqui apresentada mostrou-se útil e prática, permitindo atingir os objetivos de: 

servir como uma ferramenta de levantamento do grau de satisfação do usuário;



estabelecer como melhorias prioritárias exatamente os pontos considerados menos satisfatórios por parte dos usuários.



5

partir das falhas apontadas pelos usuários para o processo de identificação de causas e intervenção corretiva baseada na norma ISO 9241.

REFERÊNCIAS BIBLIOGRÁFICAS

CYBIS, W.A. e MICHEL, G., 1999, Avaliação ergonômica da urna eletrônica: II Workshop de fatores humanos e sistemas informatizados, Campinas, SP EBERTS, R. 1994. User interface design. New Jersey: Prentice-Hall, 1994. GOULD , J. 1981. Composing letters with computer-based text editors. Human Factors, 23, p. 831-833, 1981. HANSEN, W.; DORING, R.; WHITLOCK, L., 1978 . Why an examination was slower on-line than on paper. International Journal of Man-Machine Studies, 10, p. 507-519, 1978. ISO. ISO 9241-10: ,1994 Ergonomic requirements for office work with visual display terminals (VDTs) – dialogue principles. Zurique, 1994. MARANHÃO, M. ,1994 1994.

. ISO série 9000: manual de implementação. 2. ed. Rio de Janeiro: Qualitymark,

NORMAN, K.; SHNEIDERMAN, B. , 1989. Questionnaire for user interaction satisfaction (quis 5.0). EUA: Universidade de Maryland, HCI-Lab, 1989. OPPERMANN, R.; REITERER, H. 1997. Software evaluation using iso 9241 evaluator. Behaviour & Information Technology, v.16, n. 4/5, p. 232-245, 1997. PRUMPER, J., 1993 . Software-evaluation based upon ISO 9241 part 10. In: Vienna Conference, VCHCI´93. Viena: 1993. PRUMPER, J., 1999 . Test it: isonorm 9241/10. In: HCI International ´99. 1999. Ainda não publicado – cópia gentilmente cedida pelo Dr. Prumper. ROSA, M., 1999 . Considerações ergonômicas na elaboração de guias de estilo – uma ferramenta de apoio à concepção / projeto de formulários. Florianópolis, 1999. Dissertação de Mestrado apresentada ao Programa de Pós-graduação em Engenharia de Produção da UFSC. SEPIN, 1999. EMPRESAS do setor de informática com certificação. Brasília: MCT, Secretaria de Política de Informática e Automação, 1999. http://www.mct.gov.br/sepin/dsi/qualidad/ISOinfor.htm. Consultado em 06/06/1999. STEWART, T., 1995 .Display screen ergonomics. Londres: System Concepts, 1995. SYSCON, 1999, Standards & Legislation. System Concepts, Londres, v. 5, n. 4, 1999.