Condor

Condor agora é influenciado por ambos os desafios tecnológicos e sociológicas de tal ambiente de computação,
Condor equipa tem vindo a construir incríveis ferramentas que permitem aos cientistas e engenheiros para aumentar a sua taxa de transferência de computação

O que é novo nesta versão:.

< li> 7.6.X é a nova série Condor estável.
• Muitos novos recursos foram adicionados desde 7.4.X.

O que é novo na versão 7.3.2:

• Notas da versão:
• O formato da saída do condor_status com a opção -grid foi alterado para fornecer informações mais úteis.
• Removida a nova linha acrescentada ao final da produção condor_status -Formatar. Portanto, o código que analisa a saída deste comando agora deve ter cuidado ao aparar a última linha.
• Novos recursos:
• condor_fetchlog pode agora buscar os arquivos de histórico de um daemon condor_schedd. E, o arquivo histórico mantido pelo daemon condor_schedd podem agora ser rodado diária ou mensal.
• O condor_ckpt_server vai limpar automaticamente os arquivos de ponto de verificação obsoletos. As variáveis ​​de configuração que controlam este comportamento estão descritos abaixo.
• O condor_ckpt_server (seja o de 32-bit ou 64-bit) executável irá agora comunicar corretamente entre 32-bit e 64-bit submeter nós. Se por algum acaso bit questões largura surgir no protocolo de ponto de verificação (por exemplo, com tamanhos de arquivo), mensagens de erro claras são registrados nos logs do servidor de ponto de verificação.
• A nova ferramenta permite condor_ssh_to_job depuração interativa de postos de trabalho em execução. Veja a página de manual em [*] para mais detalhes.
• O comando condor_status agora é substancialmente mais rápido, especialmente com a opção -Formatar.
• Grade universo tipo grade GT5 foi adicionado para apresentação ao novo serviço Globus GRAM5. Quando um serviço GRAM é identificado como GT5, JobManager estrangulamento eo Grid Monitor não são usados. Consulte a seção 5.3.2 para mais detalhes.
• Grade universo tipo grade creme foi adicionado para apresentação ao serviço de emprego CREAM de gLite. Consulte a seção 5.3.8 para mais detalhes.
• Quando baixa nos arquivos descritores para a criação de novas camadas de rede, o daemon condor_schedd agora evita o empilhamento ilimitado acima de mensagens que ele envia periodicamente ao condor_negotiator e condor_startd.
• O desempenho e insuficiência manipulação da Rede Monitor de ter sido melhorado.
• Para o tipo de grade nordugrid no universo grid, informações sobre o status do trabalho é actualmente obtido utilizando um servidor LDAP de Nordugrid ARC, o que deve melhorar muito o desempenho. Além disso, Condor podem agora dizer quando estes trabalhos estão em execução.
• A nova opção -valgrind para condor_submit_dag causas condor_submit_dag para gerar um arquivo apresentar descrição que usa valgrind em condor_dagman, em vez de o binário condor_dagman como seu executável.
• condor_dagman agora preguiçosamente avalia e abre arquivos de log de trabalho do nó. Em vez de analisar tudo submeter arquivos de descrição e imediatamente abrir os seus arquivos de log especificado no arranque, condor_dagman agora analisa a enviar arquivos de descrição de apenas antes de cada trabalho é apresentado, e tem cada arquivo de log aberto apenas quando os trabalhos relevantes estão na fila ou a execução de scripts POST . Além disso, condor_dagman agora gera automaticamente um arquivo de registro de usuário padrão para qualquer trabalho nó que não especificar um.

Foram removidos
• Tanto o suporte e documentação para o universo MPI. Aplicações MPI são suportados através da utilização do universo paralelo.
• Quando o teste do daemon condor_startd de software de máquina virtual falhar (por máquinas configuradas como capaz de executar máquinas virtuais), o condor_startd vai repetir periodicamente o teste até que tenha êxito.
• O nordugrid_gahp agora limita o número de conexões feitas a cada servidor NorduGrid ARC e reutiliza conexões quando possível.
• Adicionado a função eval ClassAd (), que leva um argumento de cadeia e avalia o conteúdo da seqüência de caracteres como uma expressão ClassAd. Um exemplo de política onde isso é útil é descrito no ponto 3.5.9 sobre a suspensão do trabalho.
• O novo condor_q opção -attributes limita os atributos que são exibidos ao usar o -xml ou opções -Long. Limitando o número de atributos, também aumenta a eficiência da consulta.
• recursos de gerenciamento de energia do Condor estão agora implementado como um plug-in. Em particular, o condor_startd agora dirige um programa externo, conforme especificado pelo HIBERNATION_PLUGIN variável de configuração, para realizar a detecção de estados disponíveis de baixa potência e a mudança para esses estados de baixa potência.
• O novo condor_rooster daemon Condor foi adicionado ao acordar máquinas hibernação quando a expressão definida pela configuração UNHIBERNATE variável torna-se verdadeira. As variáveis ​​de configuração relacionados com a condor_rooster estão descritos na seção 3.3.35.
• Adicionado a capacidade de extrair informações de tampão estado do leitor de log de eventos do usuário para o leitor log usuário. Isso é implementado através de uma nova classe C ++ ReadUserLogStateAccess conforme definido no read_user_log.h.
• As alterações no valor do CERTIFICATE_MAPFILE variável de configuração ou o conteúdo do arquivo a que se refere já não requer um reinício completo de Condor. Em vez disso, o condor_reconfig comando fará com que as mudanças a serem utilizados.
• O daemon condor_master agora vai imprimir o caminho e os argumentos para quaisquer daemons ele começa se D_FULLDEBUG está habilitado. Anteriormente, não havia nenhuma maneira de obtê-lo para apresentar os argumentos com os quais ele estava começando um daemon.
• O daemon condor_had agora tem a capacidade de controlar o que não o condor_negotiator daemons. Isto é controlado através do macro HAD_CONTROLLEE.
• Condor agora reconhece VOMs extensões em proxies X.509. Os atributos VOMs são codificados no trabalho ClassAd atribuem X509UserProxySubject.
• O condor_startd agora podem limpar as máquinas virtuais ociosos, na sequência de um acidente de Condor, ou o seu sistema operacional hospedeiro.
• Na sequência de um acidente, o condor_gridmanager já não reinicia todos os jobmanagers para trabalhos GT2. Isso deve melhorar o tempo de recuperação.
• Condor funciona melhor com as ClassAds categorizados como genérico no daemon condor_collector. Vários daemons que se registram com ClassAds genéricos podem agora ter ferramentas que utilizam a opção -subsystem manipular seus ClassAds corretamente.
• Condor agora fornece um mecanismo para impor recurso estrito limitante para alguns universos de trabalhos em execução.
• Configuração Adições variável e das alterações:
• O novo EMAIL_SIGNATURE variável de configuração especifica uma assinatura personalizada para ser anexada ao e-mail enviado pelo sistema Condor. Se definido, então este assinatura personalizada substitui o padrão especificado internamente. Não existe um valor padrão para esta variável.
• O CKPT_SERVER_CLIENT_TIMEOUT variável nova configuração informa os condor_schedd quanto tempo, em segundos, que está disposto a esperar para tentar falar com um processo condor_ckpt_server antes de declarar uma condor_ckpt_server baixo. Consulte a seção 3.3.11 para a descrição completa.
• O novo CKPT_SERVER_CLIENT_TIMEOUT_RETRY variável de configuração informa o condor_schedd que uma vez por condor_ckpt_server está sendo marcado como para baixo, como podem segundos devem passar antes do condor_schedd vai tentar se comunicar com o condor_ckpt_server novamente. Consulte a seção 3.3.11 para a descrição completa.
• O novo CKPT_SERVER_REMOVE_STALE_CKPT_INTERVAL variável de configuração informa o condor_ckpt_server para começar a remoção de checkpoints obsoletos no intervalo especificado em segundos. Consulte a seção 3.3.8 para a descrição completa.
• O novo CKPT_SERVER_STALE_CKPT_AGE_CUTOFF variável de configuração informa o condor_ckpt_server quantos anos o tempo de acesso de um arquivo de verificação deve ser, a fim de ser considerado obsoleto. Desta vez, é comparada com a noção atual de agora, quando o servidor checkpoint verifica o arquivo de imagem checkpoint. Consulte a seção 3.3.8 para a descrição completa.
• O SlotWeight variável nova configuração pode ser usado para dar um slot maior peso ao calcular o uso, computando ações justas, e fazer cumprir as quotas de grupo. Veja 3.3.10 para a descrição completa.
• A nova variável de configuração MAX_PERIODIC_EXPR_INTERVAL implementa um limite máximo para o tempo entre a avaliação de expressões periódicas, devido ao momento de adaptação implícito no PERIODIC_EXPR_TIMESLICE variável de configuração. Veja 3.3.11 para a descrição completa.
• O GRIDMANAGER_SELECTION_EXPR variável nova configuração pode ser usada para controlar o número de processos condor_gridmanager será gerado para gerenciar os trabalhos do universo de grade. Como parte dessa mudança, retirou a variável de configuração e código de suporte para GRIDMANAGER_PER_JOB desde que a nova variável de configuração substitui-lo. Veja 3.3.11 para a descrição completa.
• O GRIDMANAGER_MAX_PENDING_SUBMITS_PER_RESOURCE variável de configuração e os GRIDMANAGER_MAX_PENDING_SUBMITS acelerador correspondentes foram removidos.
• A nova configuração controles GRID_MONITOR_DISABLE_TIME variável quanto tempo o condor_gridmanager aguardará após encontrar um erro antes de tentar reiniciar um trabalho Grade Monitor. Veja 3.3.23 para a descrição completa.
• A nova configuração macro pré-definida DETECTED_MEMORY indica a quantidade de memória física (RAM) detectada pelo Condor. O valor é dado em Mbytes.
• A nova configuração macro DETECTED_CORES pré-definidos indica o número de núcleos de CPU detectadas pela Condor.
• Os controles DELEGATE_FULL_JOB_GSI_CREDENTIALS variáveis ​​nova configuração se um proxy X.509 completo ou limitado é delegada para o tipo de grade empregos grade GT2 universo. Veja 3.3.26 para a descrição completa.
• O novo UNHIBERNATE variável de configuração é usado pelo condor_startd para anunciar em sua ClassAd uma expressão booleana que especifica quando a máquina deve ser acordado, por exemplo, por condor_rooster. Veja 3.3.10 para a descrição completa.
• O novo HIBERNATION_PLUGIN variável de configuração especifica o caminho para o plug-in que o condor_startd usa tanto para detectar as capacidades estado de baixa energia de uma máquina e para desligar a máquina para um estado de baixo consumo de energia. Veja 3.3.10 para a descrição completa.
• O novo HIBERNATION_PLUGIN_ARGS variável de configuração especifica os argumentos de linha de comando que o condor_startd vai passar para o plug-in quando invocá-lo para desligar a máquina para um estado de baixo consumo de energia. Veja 3.3.10 para a descrição completa.
• O HIBERNATION_OVERRIDE_WOL variável nova configuração pode ser usado para direcionar o condor_startd ignorar Wake on LAN (WOL) capacidades de interface de rede da máquina, e para mudar para um estado de baixa energia, mesmo que a interface não suporta WOL, ou se WOL está desativado nele. Veja 3.3.10 para a descrição completa.
• As variáveis ​​controles DAGMAN_USER_LOG_SCAN_INTERVAL nova configuração quanto tempo condor_dagman aguarda entre as verificando os arquivos de log de trabalho para atualizações de status. Veja 3.3.25 para a descrição completa.
• A nova variável de configuração DAGMAN_DEFAULT_NODE_LOG define o nome do arquivo de log padrão para o novo recurso de arquivo de log do nó padrão condor_dagman. Veja 3.3.25 para a descrição completa.
• Removido os DAGMAN_DELETE_OLD_LOGS variável de configuração; novo código de leitura do arquivo de log torna obsoleto.
• O novo HAD_CONTROLLEE variável de configuração é usado para especificar o nome do daemon que os controles condor_had. Esse nome deve corresponder ao nome do daemon em DAEMON_LIST do condor_master.
• Bugs Fixo:
• Corrigido um bug em funções ClassAd onde argumentos que deveriam ter sido corretamente coagidos a cordas em vez avaliada a erro.
• Corrigido uma mensagem de diagnóstico confuso com o JobRouter, que aconteceu quando um trabalho foi removido dentro de 5 minutos de ser apresentado.
• Corrigido um bug em que o uso de slots de dinâmicas (ver secção 3.13.7) fez com que os ClassAd máquina atribuem SLOT_STARTD_ATTRS a desaparecer do ClassAd para alguns slots.
• Corrigido um bug plataforma Windows em que a janela de pertencer a um trabalho Condor não recebe uma mensagem de pintura.
• Corrigido um bug que causava condor_q -Analisar a falhar quando não havia nenhum arquivo daemon ClassAd condor_schedd.
• Corrigido uma falha condor_procd causado quando o ambiente de um processo monitorado ultrapassado 1MByte in / proc.
• Corrigido um bug plataforma Windows que poderia causar o condor_credd para falhar se uma credencial solicitada não está na loja de senha.
• Corrigido um bug que causava o bloqueio de rotação de log de eventos de trabalho a ser criado com permissões incorretas.
• Corrigido um bug no sistema de rotação de log de eventos do trabalho que poderia causar-lhe para nunca mais ser rodado na porta do Windows de Condor.
• Corrigido uma condição de corrida potencial na inicialização do log de eventos de trabalho.
• condição de corrida fixo que poderia causar um acidente do condor_collector e condor_schedd no desligamento.
• Corrigido um bug em que o condor_master, às vezes, morrer e produzir um arquivo dprintf_failure.MASTER quando quer reiniciar devido a novos timestamps binários ou quando começou inicialmente.
• Corrigido um vazamento de memória relacionada a variáveis ​​de configuração SOAP que ocorreram quando Condor foi reconfigurado.
• Corrigido um bug em que o comando apresentar cron_day_of_week arquivo de descrição foi erroneamente ignorado.
• Corrigido o erro em que as variáveis ​​de configuração MAX_JOB_QUEUE_LOG_ROTATIONS e GRIDMANAGER_SELECTION_EXPR não iria funcionar corretamente no arranque; eles só funcionou depois de um condor_reconfig.
• Corrigido um bug em que as operações de SOAP estavam sendo incorretamente autorizada com o IP de pares.
• Corrigido um bug plataforma Windows em que nem todos os daemons Condor foram confiável para o Firewall do Windows (anteriormente conhecido como Internet Connection Firewall ou ICF).
• Corrigido um estado de desligamento de corrida no condor_master relativamente às elevadas daemons disponibilidade.
• Corrigido um bug em que um daemon Condor incorretamente determinou que tinha acabado de descritores de soquete.
• Corrigido um bug onde o condor_schedd iria bloquear durante longos períodos de tempo ao tentar se conectar a um servidor de ponto de verificação para baixo. Agora o condor_schedd vai fazer um bloqueio conectar com um tempo limite para o servidor de ponto de verificação para um número configurável de segundos. Se a conexão falhar, o condor_schedd vai colocar uma moratória sobre a conexão com o servidor de ponto de verificação até que os configuráveis ​​passes período de moratória. As variáveis ​​do arquivo de configuração que descrevem este comportamento estão descritos acima.
• Mudou o cheque que condor_dagman faz para outras instâncias condor_dagman executando o mesmo DAG, se encontrar um arquivo de bloqueio na inicialização. Agora, se condor_dagman não é certo se o outro Dagman está vivo, ele continua, em vez de sair.
• Corrigido um grande vazamento de descritor de arquivo no daemon Stork.
• Corrigido um bug em que as transferências Cegonha bem sucedidos foram marcados como falha.
• Corrigido um vazamento de memória incomum no código de leitura de arquivos de log de eventos do usuário ao ler eventos mal formatadas.
• Corrigido um bug no qual vários ClassAds máquina na condor_collector com o mesmo nome, mas diferentes valores de atributos StartdIPAddr, faria com que o condor_negotiator para sair com um erro. Isto é incomum e não deveria acontecer em uma instalação típica Condor. A causa mais provável está usando condor_advertise para anunciar ClassAds personalizados para grade de matchmaking.
• Corrigido um bug que causou condor_dagman de dump de memória, se tudo submeter tentativas falharam em um nó DAG ter um script POST. Este bug existe desde Condor versão 7.1.4.
• Corrigido um vazamento de memória no condor_schedd, que ocorreu quando o NEGOTIATOR_MATCH_EXPRS variável de configuração foi utilizado.
• Corrigido um bug no código de plataforma Windows que trata os scripts como executáveis. Extensões de arquivos desconhecidos foram tratados como um erro, em vez de como um executável do Windows.
• O condor_job_router agora define corretamente o ClassAd atribuem EnteredCurrentStatus ao momento atual, quando a criação de um novo emprego roteado. Anteriormente, ele copiou esse atributo da tarefa original.
• O condor_job_router emite uma mensagem de log mais amigável quando se observa que a cópia encaminhada do trabalho foi removido.
• A correção foi feita para um problema visto em 7.3.1 em que daemons Condor usando CCB para se conectar a outros daemons Condor, às vezes, consomem grandes quantidades de tempo de CPU para nenhuma boa razão.
• Corrigido um bug caso de falha rara em que tenta se conectar via CCB poderia ficar em um estado pendente indefinidamente.
• A Unix apenas bug causados ​​daemons Condor para falhar ao iniciar se MAX_FILE_DESCRIPTORS foi configurado maior do que o limite rígido atual herdado por Condor. Se Condor está sendo executado como root, isso não é mais o caso.
• O condor_gridmanager agora anuncia ClassAds grade corretamente quando há vários daemons condor_collector.
• Ao usar -xml condor_q e -Formatar em conjunto para limitar o número de ClassAd atributos retornados na consulta, a tag recipiente XML não foi gerado. Este é fixo, mas agora a maneira preferida para limitar os atributos retornados é usar -attributes opção condor_q.
• Corrigido um bug em que o condor_master Unix falhou ao tentar reiniciar-se, se o MASTER_LOCK variável de configuração foi definida, ou se a condor_master foi chamado com a opção -t. Este bug existe desde a série 7.0, e provavelmente já existia muito mais tempo do que isso.
• Corrigido um vazamento de memória significativa na gahp_server. Esse vazamento só estava presente em versões 7.3.x Condor anteriores.
• Corrigido um bug que pode causar um trabalho removido, que é realizada e, em seguida, liberado para voltar ao estado de repouso.
• Os arquivos jar Globus distribuídos com o x86-64 RHEL 5 RPMs foram danificados, causando empregos tipo grade GT4 a falhar. Isso foi corrigido.

O que é novo na versão 7.2.2:

• Adicionado uma porta cheia de Condor para Debian 5.0 em a plataforma x86.
• Adicionado uma porta recortada da Condor para Debian 5.0 na plataforma x86_64.
• Adicionado a bandeira de linha de comando para -DumpRescue condor_dagman e condor_submit_dag. Esta bandeira é destinado principalmente para testes.
• Adicionado suporte para a opção -debug para condor_qedit.
• O Job Router agora usa um temporizador fatia de tempo para a avaliação da expressão periódica, semelhante ao daemon condor_schedd. O intervalo de avaliação é controlada pelo PERIODIC_EXPR_INTERVAL variável de configuração, e seu padrão é 60 segundos, o mesmo valor padrão usado pelo daemon condor_schedd.
• O Job Router agora redefine o trabalho de origem, se ocorrer uma falha ao atualizar o daemon condor_schedd para uma expressão periódica que avaliou a True. Expressões periódicas do trabalho deve ser avaliado novamente em algum momento no futuro com uma atualização bem-sucedida.

O que é novo na versão 7.2.0:.

• Principais aprimoramentos de recursos

O que é novo na versão 7.0.5:

• Este comunicado contém muitas correções de bugs e algumas melhorias para o erro manuseio de trabalhos universo local.
• Observe que algumas das correções são relacionadas à segurança; portanto, os sites devem atualizar ou restringir permissões em que é permitido para enviar trabalhos Condor para usuários confiáveis.