O Sistema de Referência Bioinformática é uma tentativa de construir uma estrutura razoável de testes, testes, e os dados, para permitir que os usuários finais e fornecedores para sondar o desempenho de seus sistemas.
O que estamos tentando fazer é criar um quadro para o teste, e um conjunto de testes que todos possam baixar e usar para sondar elementos específicos de desempenho dos sistemas.
Além disso, a fonte para estes testes estão disponíveis sob a licença GPL, e estão hospedados em Bioinformatics.org e Scalable Informática LLC A idéia é permitir que os usuários finais, consumidores, desenvolvedores de sistemas, e outros para construir e usar facilmente testes significativas por motivos de medição e de ajuste .
Joe Landman de Scalable Informática LLC concebeu a idéia e escreveu os códigos originais. Estamos à procura de sugestões adicionais de referência de código, testes, conjuntos de dados, etc.
Testes de linha de base atuais são vários BLAST NCBI corre, várias corridas HMMER, e uma variedade de outros. Pretendemos incluir ClustalW, Tandem X!, Vários química, dinâmica e testes relacionados, bem como vários outros.
Testes como LINPACK ou HPL simplesmente não fornecem indicadores de desempenho significativos ou modelos preditivos para informática de alto desempenho. Infelizmente, nem fazer uma série de testes mais recentes e focado.
Este é um problema como LINPACK e HPL especificamente testar o desempenho em diversas operações da matriz, onde você tem padrões de acesso de memória efetivamente regulares, e operações matemáticas específicas.
Estes códigos são mais úteis para a comparação com códigos com operações de ponto flutuante pesados e tráfego de memória intercalada. Estes códigos não foram projetados para sistemas de avaliação de desempenho global, onde o disco I / O, latência de memória, e outros fatores contribuem para os problemas de desempenho.
Os melhores testes são os que são mais semelhantes aos códigos que você vai correr na máquina. Os próprios testes devem ser aproximações razoáveis para uma execução real do seu código, usando dados reais. Você pode precisar de pare-o de volta a fim de obter os tempos de execução realistas.
Você deve ter um subconjunto razoável de tamanhos de dados. Um único teste não dizer-lhe como o seu sistema de escalas, e uma das razões para a existência deste teste é especificamente para lhe permitir testar o desempenho, enquanto você aumenta vários aspectos da carga de trabalho.
Você raramente obter um sistema de repouso em um cluster, então nós recomendamos que você tente executar o mais realista em um ambiente operacional possível. Uma linha de base em um sistema de repouso é bom, mas pode definir as suas expectativas excessivamente.
top
Comentários não encontrado