Visão Geral[]
A primeira edição da Competição de Avaliação, coordenada pelo Prof. Elton José da Silva (UFOP), foi no IHC 2006. Inscreveram-se um total de 45 equipes, de diversas instituições de ensino do país. No Grupo de Trabalho promovido durante o IHC 2006, os participantes compartilharam que a Competição introduziu um elemento motivador nos processos de ensino e aprendizagem dos métodos de avaliação. Esses resultados positivos levaram-nos à segunda edição da Competição, no IHC 2008.
Sistema Avaliado[]
A edição de 2006 propôs a avaliação do JEMS (Journal and Event Management System), da SBC (Sociedade Brasileira de Computação), um sistema amplo que cobre todo o processo de submissão, avaliação e decisão sobre aceitação ou não das submissões e notificação de autores, tanto para conferências, como para periódicos.
Grupo de Trabalho (GT)[]
O GT foi realizado durante o IHC 2006, com o objetivo de:
- Avaliar a experiência com a I Competição de Avaliação (benefícios e dificuldades);
- Gerar uma lista de sugestões para continuidade do trabalho iniciado na I Competição;
- Gerar uma lista de sugestões para próximas edições.
Participaram do GT: Bruno Santana (PUC-Rio); Clarindo de Pádua (UFMG); Cláudia (SBC); Cristiane Nobre (PUC-MG); Eduardo Tanaka (Unicamp); Elisa Volpato (USP); Elton Silva (UFOP); Milene Silveira (PUCRS); Plinio Aquino (FEI); Raquel Prates (UFMG); Yusca Aguiar (UFCG)
Segundo eles, os benefícios da Competição são:
- Motivação dos alunos para participarem e conhecerem mais sobre a área de IHC e avaliação;
- Oportunidade prática de consolidar aprendizado teórico;
- Gratificante contribuir para a comunidade;
- Divulgação e fortalecimento da área;
- Oportunidade prática de trabalho em grupo para os alunos.
As dificuldades enfrentadas para participar da Competição foram:
- Domínio de gerenciamento de conferências é desconhecido;
- Complexidade de avaliar sistemas multi-usuário;
- Falta de material de apoio para o sistema (manual, exemplo de conferência, etc.);
- Escopo de avaliação muito amplo;
- Formato do relatório definido pela coordenação (2 colunas) não é apropriado;
- Falta de clareza no objetivo do relatório: mais acadêmico ou estilo indústria?
- Falta de clareza em algumas instruções da coordenação;
- Número aberto de cenários e papéis a serem considerados;
- O foco do relatório: número de problemas, aplicação do método, etc.;
- Tempo de divulgação (ideal antes do início do semestre);
Segundo os partipantes, os relatórios submetidos à Competição podem ser aproveitados das seguintes formas:
- Competição de redesign do JEMS (SBC?);
- Comunidade de IHC combinar de adotar a competição como um modelo de ensino (?);
- Disponibilizar o material estendido das avaliações (apresentação, filmes, etc.);
- Encaminhamento para SBC:
- Deixar claro o esforço feito para executar a avaliação;
- Sugerir formas de implementar: apoio de agência (CNPq).
Para as próximas edições, as sugestões foram:
- Patrocínio x Sistemas de interesse da comunidade (empresa pode apoiar a vinda de alunos, prêmios, etc);
- Incluir sugestões de redesign;
- Possibilidade de fazer redesign;
- Escopo reduzido;
- Avaliar separadamente ou por critérios parte de avaliação e redesign;
- Criação de uma lista de discussão dos participantes deste para dar idéias e discutir possibilidades para o próximo;
- Divulgação do formulário de revisão;
- Disponibilização do material gerado nesta edição para a próxima;
- Variação dos temas da competição (avaliação, redesign, modelagem, design, design patterns);
- Grad e Pós
- Diferentes sistemas;
- Nível de aprofundamento distinto (visão mais crítica da aplicação da metodologia, comparação entre diferentes métodos, avaliação de diferentes qualidades de interação).