DataCleaner

DataCleaner é uma fonte aberta e uma solução totalmente gratuito para as organizações e empresas que desejam aumentar e medir a qualidade dos seus dados.

Com DataCleaner, os usuários serão capazes de perfil, compare, validar dados contra regras de negócio, e monitorar a progressão destas medições ao longo do tempo.

Entre as suas características, podemos citar o monitoramento de dados, profiling e análise de dados DQ, limpeza de dados e enriquecimento, detectar e mesclar duplicatas, a qualidade dos dados do cliente, bem como ETLightweight super-rápido (Extract-Transform-Load).

Para saber mais sobre as funções e capacidades do DataCleaner, bem como a forma de trabalhar com ele, por favor consulte http://eobjects.dk/docs

What é novo nesta versão:

• As melhorias e novos recursos:
• Nós fizemos tudo possível criar e soltar tabelas por meio da UI desktop do DataCleaner. Note-se que o termo & quot; table & quot; aqui, na verdade abrange mais de tabelas de banco de dados relacionais apenas. Ele também inclui folhas em armazenamentos de dados do MS Excel, coleções no MongoDB, tipos de documentos em CouchDB e ElasticSearch e assim por diante ... Basicamente todos os tipos de armazenamento de dados que suportam write-operações, exceto armazenamentos de dados de tabela única, como armazenamentos de dados CSV, suporta esta funcionalidade! A funcionalidade é exposta através de:
• & quot; Criar tabela & quot; activado através do menu do botão direito de esquemas na árvore no lado esquerdo do aplicativo.
• & quot; Criar tabela & quot; permitiu também através das entradas de seleção de tabela em componentes, tais como inserção na tabela, a pesquisa de mesa e mesa de Update.
• & quot; Gota tabela & quot; activado através do menu do botão direito de tabelas na árvore no lado esquerdo do aplicativo.
• Nós adicionamos a capacidade (opcional) de especificar o seu serviço web Salesforce.com Endpoint URL. Isso permite que você use DataCleaner para ligar a ambientes de sandbox de Salesforce.com, assim como para seus próprios terminais personalizados.
• O apoio ElasticSearch foi melhorado, permitindo mapeamentos personalizados, bem como reutilizar as definições de armazenamento de dados ElasticSearch agora também para a busca e indexação.
• A amostragem dos registros e seleção de potenciais duplicatas na função de detecção de duplicata foi melhorado, levando à configuração mais rápido porque as decisões tomadas durante a sessão de treino são mais representativos.
• O formato de arquivo modelo de detecção duplicado foi atualizado, que removeu a necessidade de um arquivo de "referência" em separado, a fim de salvar as decisões de formação passados. Compatibilidade com o formato antigo foi mantido, mas utilizando o novo formato acrescenta muitos benefícios para a experiência do usuário.
• Correções de bugs:
• Uma questão de discussão inanição foi fixado no monitor de DataCleaner. O impacto desta questão foi ótimo, mas aconteceu apenas em casos raros e muito personalizados. Se ouvinte objetos personalizados no monitor DataCleaner iria lançar um erro, isso resultaria em um recurso não sendo liberado e ocupando um thread do pool de quartzo-agendamento no servidor. Se isso acontecer muitas vezes o servidor pode eventualmente ficar sem threads em que piscina.
• O menu vertical no ecrã o resultado está agora a fazer um bom trabalho de exibir os rótulos dos componentes que têm resultados. Isto torna mais fácil de reconhecer quais os pontos item de menu para o item de resultado.

O que é novo na versão 3.5.5:

• A transformação de 'Sinônimo de pesquisa "tem agora uma opção a olhar para cima a cada sinal de entrada. Isso é útil se você estiver fazendo a substituição de sinônimos dentro dos valores de um campo de texto longo.
• Bloqueio de execução de trabalhos DataCleaner através do serviço web do monitor por isso às vezes pode falhar com um erro causado pelo fio de bloqueio. Este problema foi corrigido.
• Uma melhoria foi feita na forma como os postos de trabalho e a sequência de componentes estão fechadas / limpos após a execução.
• O JNLP / versão Java WebStart de DataCleaner foi exposta por um bug no runtime Java causando certos arquivos JAR para não ser reconhecidos pelo lançador WebStart, sob certas circunstâncias. Este problema foi corrigido, fazendo pequenas modificações para esses arquivos JAR.
• Alguns links mortos na documentação foi corrigido.

O que é novo na versão 3.5.4:

• Agora é possível ocultar colunas de transformações de saída . Esconderijo não afetará o fluxo de processamento em tudo, mas simplesmente ocultá-los a partir da interface do usuário e, portanto, potencialmente tornando a experiência mais limpa, ao interagir com outros componentes.
• Um novo serviço web foi adicionada ao aplicativo de monitoramento web, que fornece uma maneira de monitorar o status da execução de um determinado trabalho.
• Um bug foi corrigido, fazendo com que o relatório HTML falhar para certos tipos de análise quando nenhum registro havia sido processado.
• e 6 outras pequeno bug foi dirigida.

O que é novo na versão 3.5.1:

• Captura mudou registros:
• Um novo filtro foi adicionado para permitir o processamento incremental de registros que não foram processados ​​antes, por exemplo, para criação de perfis ou copiar somente os registros modificados. o nome do novo filtros é a captura mudou registros, referindo-se ao conceito de mudança de captura de dados.
• execução em fila de postos de trabalho:
• O monitor DataCleaner agora fila a execução do mesmo trabalho, se for acionado várias vezes. Isso garante que você não possa executar o mesmo trabalho ao mesmo tempo que pode levar a todos os tipos de questões, dependendo do que o trabalho faz.
• pequenas correções de bugs:
• Várias correções de bugs foi implementado.

O que é novo na versão 3.5:

• Vários assistentes estão agora disponíveis para registrar armazenamentos de dados; incluindo file-upload para o servidor para arquivos CSV, entrada de conexão de banco de dados, o registo guiada credenciais Salesforce.com e muito mais.
• Os assistentes de construção de trabalho também foram estendidos com vários recursos avançados; Seleção de distribuição de valor e padrão encontrar campos no assistente de análise rápida, uma nova assistente para criar EasyDQ postos de trabalho com base de clientes de limpeza e um novo assistente de trabalho para disparar empregos Pentaho Data Integration (leia mais abaixo).
• Você agora pode ad-hoc consultar qualquer armazenamento de dados diretamente na interface do usuário da web. Isto torna mais fácil para obter informações rápidas ou esporádica para os dados sem a criação de postos de trabalho ou outras abordagens gestão de tratamento de dados.
• Uma vez que trabalhos ou armazenamentos de dados são criados, o usuário é orientado a tomar medidas com o objeto recém-construído. Por exemplo, você pode rapidamente executar um trabalho logo após ele é construído, ou consultar um armazenamento de dados depois que ele é registrado.
• Os administradores podem agora fazer o upload diretamente postos de trabalho para o repositório, o que é especialmente útil se você quer entregar-editar o conteúdo XML dos arquivos de trabalho.
• Uma grande parte do cruft técnica está agora escondido em favor de mostrar diálogos simples. Por exemplo, quando um trabalho é accionado um indicador de carga grande é mostrado e, quando terminar o resultado será mostrado. A tela de registro avançado que foi previamente há ainda pode ser exibida após clicar em um link para obter detalhes adicionais.

O que é novo na versão 3.1.2:

• Nós adicionamos um serviço web no monitoramento pedido de obtenção de um (lista de) valores de métrica. Isso torna o monitoramento ainda mais útil como um componente-chave de infra-estrutura, como uma forma de monitorar os dados (de qualidade) e expor os resultados para aplicativos de terceiros.
• O componente 'lookup Table' foi melhorado pela adição de participar semântica como uma propriedade configurável. Usando a juntar-se a semântica você pode ajustar, se desejar a pesquisa para trabalhar semanticamente como um LEFT JOIN ou um INNER JOIN.
• Os componentes EasyDQ foram atualizados, acrescentando novas opções de configuração e uma interface resultado desduplicação mais rico.
• Melhorias de desempenho têm sido um foco específico deste release. Foram feitas melhorias no motor de DataCleaner para utilizar ainda uma abordagem de processamento de streaming em certos casos de canto que não foi coberta anteriormente.

O que é novo na versão 3.1.1:

• A data e opções de análise de tempo relatadas foram ampliados , acrescentando analisadores de distribuição de números da semana, meses e anos. Todos os analisadores relacionadas com a data e hora estão agora agrupados dentro de um submenu chamado & quot; Data e hora & quot; em & quot; Analisar & quot;.
• Um opcional & quot; estatística & quot descritiva; opção foi adicionada ao analisador Número e o analisador de data / hora. Esta opção adiciona métricas adicionais para os resultados destes analisadores, tais como mediana, assimetria, e curtose percentis. Estas métricas são opcionais desde a sua pegada de memória é um pouco maior do que as métricas existentes.
• As linhas nos gráficos de linha do tempo da aplicação web de monitoramento agora têm pequenos pontos neles. Isto é especialmente útil para os gráficos com poucos (ou mesmo apenas um) observações neles -. Apontar exatamente onde os pontos de observação são
• O analisador de consulta quando as consultas ad-hoc invocando também foram substancialmente melhoradas. Agora consultas podem conter cláusulas distintas, * -wildcards, subconsultas e são para as questões de texto de casos de tolerante a falhas.
• Dois novos transformadores foram adicionados para gerar UUIDs e para gerar marcas de tempo.

O que é novo na versão 3.1:

• fórmulas métricas - elaborado Data Quality KPIs:
• Agora é possível construir muito mais elaborado Data Quality KPIs na aplicação web monitoramento de DataCleaner. A interface de usuário permite que você construa fórmulas complexas em um estilo fórmula de planilha; utilizando variáveis ​​recolhidas por empregos DataCleaner.
• fórmulas métrica pode combinar qualquer número de métricas, constantes e operações, enquanto que pode ser expresso em uma equação matemática.
• Por exemplo - medir a taxa de registros duplicados em percentagem da contagem de registro total. Ou medir a quantidade de códigos de produtos que estão em conformidade com um conjunto de múltiplos padrões de cadeia.
• Ad-hoc consulta - de qualquer armazenamento de dados:
• Com DataCleaner 3.1 agora você pode executar consultas ad-hoc a qualquer armazenamento de dados! As consultas podem ser expressos em SQL simples e será aplicada às bases de dados, bem como arquivos, bancos de dados NoSQL e muito mais, proporcionando um mecanismo de consulta verdadeiramente útil para estender em sua experiência de descoberta e de dados de perfis.
• A opção de consulta também está disponível através de um serviço web para monitorar os usuários com a função admin. A consulta é fornecido como um parâmetro HTTP ou no corpo POST, eo resultado é fornecida como uma tabela XHTML.
• Valor de correspondência - uma nova opção de análise:
• Muitas vezes você ter uma ideia sólida sobre a qual deve ser permitido e esperado para um campo particular valores. Em DataCleaner sempre houve a opção de análise de Distribuição do Valor que iria ajudá-lo valer os seus pressupostos. Em DataCleaner 3,1 porém, você tem uma oferta mais preciso - a correspondência de valor. Esta opção de análise permite que você especifique um conjunto de valores esperados e, em seguida, executar uma distribuição de valor como análise, especificamente para validar e identificar valores inesperados.
• Copiar, excluir e gestão de postos de trabalho:
• Gestão de postos de trabalho e os resultados na aplicação do monitor DataCleaner foi melhorado muito. Agora você pode clicar em um trabalho na página de agendamento do monitor, e encontrar opções de gestão disponíveis para operações como renomear, copiar, excluir e muito mais. Cada operação respeita os vínculos com outros artefatos no monitor, tais como resultados de análises, horários e mais. Isto significa que a gestão do repositório acompanhamento tornou-se muito mais fácil e madura.
• Gerir histórico de qualidade de dados:
• Às vezes, você está diante de situações em que você realmente quer fazer acompanhamento com os dados históricos! Pode ser que você tem lixeiras históricos ou backups de bancos de dados, o que você deseja mostrar e contar a história de. Agora você pode fazer a análise desses dados históricos, enviá-lo para o monitor DataCleaner, e usando um novo serviço web, definir um conjunto de dados históricos do que resultado da análise particular. Isso significa que seus cronogramas irá traçar adequadamente os resultados usando sua data prevista, mas com os resultados que você coletou talvez em um momento posterior.
• Suporte programador cluster (somente EE):
• O planejador de monitor de DataCleaner foi exteriorizada, de modo que ele pode ser substituído por meio de configuração simples. No Enterprise Edition (EE) da DataCleaner, nós fornecemos um agendador de cluster, fornecendo a capacidade de balanceamento de carga e distribuir suas execuções em um cluster de máquinas.
• Single-signon (SSO) usando CAS (EE somente):
• Na Enterprise Edition (EE) da DataCleaner nós agora fornecer uma opção de conexão única para o aplicativo monitor. Agora DataCleaner pode ser uma parte integrante da sua infra-estrutura de TI, também em termos de segurança.
• ... E muito mais:
• A descrição acima é apenas um resumo. Mais de trinta problemas foram resolvidos nesta versão. Nós resolvemos vários pedidos provenientes dos fóruns e comunidade, e nós encorajamos todos a usar este meio como um veículo para a mudança. Estamos muito felizes de fazer o desenvolvimento de DataCleaner ser fortemente influenciado pelas correntes na comunidade.

O que é novo na versão 3.0.3:

• Adiciona um serviço para renomear postos de trabalho no repositório de monitoramento .
• Você pode acessar este como um serviço Web RESTful ou interativamente na interface do usuário.
• Um serviço Web foi adicionado para alterar a data histórica de um resultado de análise no repositório de monitoramento.
• A aplicação Web foi feito compatível com recipientes legado JSF.
• O cache de configuração no aplicativo da Web aumentou, levando a tempos de carregamento da página e inicialização de trabalho mais rápidos.

O que é novo na versão 3.0.2:

• Ao ativar uma tarefa na aplicação web de monitoramento, o painel auto-atualiza a cada segundo para obter o último estado da execução.
• armazenamentos de dados com base em arquivo (como CSV ou Excel planilhas) com caminhos absolutos estão agora resolvido corretamente no aplicativo de monitoramento da web.
• O & quot; Selecione a partir de chave do mapa / valor & quot; transformador agora suporta expressões SELECT aninhada como & quot; Address.Street & quot; ou & quot; OrderLines [0] .product.name & quot;.
• O mecanismo de consulta à tabela foram otimizados para performance, usando instruções preparadas quando executado em bancos de dados JDBC.
• Os administradores podem agora baixar armazenamentos de dados baseados em arquivos diretamente do & quot; Datastores & quot; página.
• A manipulação de exceção no aplicativo de monitoramento web foi melhorado um pouco, fazendo com que as mensagens de erro mais precisa e intuitiva.

O que é novo na versão 3.0.1:

• O bugfix primário neste lançamento foi sobre como restaurar o mapeamento de colunas e categorizações enumeráveis ​​específicos. Por exemplo, no novo analisador Integralidade, descobrimos que depois de recarregar um trabalho guardado, o mapeamento não foi sempre correto.
• Além disso algumas melhorias internas foram feitas, tornando mais fácil para implementar a aplicação Web Monitor DataCleaner em ambientes usando o Spring Framework.
• Por último, mas não menos importante, as definições de visualização do aplicativo de desktop foram melhorados, tomando automaticamente uma olhada no trabalho que está sendo visualizada e alternância exibidos artefatos com base no tamanho da tela e quantidade de detalhes necessários para mostrá-lo bem.

O que é novo na versão 3.0:

• Exibição do cronograma e as tendências das métricas de qualidade de dados
• repositório centralizado para gerenciamento e contendo trabalhos, resultados, prazos, etc.
• Programação e auditoria dos trabalhos DataCleaner
• A prestação de serviços web para invocar transformações DataCleaner
• Segurança e multi-tenancy
• Os alertas e notificações quando as métricas de qualidade de dados estão fora de suas zonas de conforto esperados.
• Há um novo analisador de Integralidade que é muito útil para simplesmente identificar registros que possuem campos incompletos.
• Você agora pode exportar DataCleaner resultados a boa aparência relatórios HTML que você pode dar ao seu gerente, ou enviar para o seu parser XML!
• O novo ambiente de monitoramento também está intimamente integrado com o aplicativo de desktop. Assim, a aplicação de desktop agora tem a capacidade de publicar trabalhos e resultados para o repositório monitor, e para ser usado como um editor interativo para conteúdo já no repositório.
• Novas transformações orientadas para a data estão agora disponíveis: Filtro de intervalo Data, que permite subconjunto conjuntos de dados com base em intervalos de data e formato de data, que permite formatar uma data usando uma máscara de data .
• O Regex Analisador (que anteriormente só estava disponível através do ExtensionSwap) foi agora incluído no DataCleaner. Isto torna muito conveniente para analisar e padronizar os campos de texto ricos usando expressões regulares.
• Há um novo texto transformador caso disponível. Com esta transformação pode facilmente converter entre maiúsculas / minúsculas e capitalização adequada de frases e palavras.
• Dois novos busca / substituição transformações foram adicionados:. Pesquisa Plain / substituir e busca Regex / substituir
• A experiência do usuário do aplicativo de desktop foi melhorada. Nós adicionamos várias mensagens de ajuda na aplicação, fez as cores ficam mais claras e nítidas e melhorou a movimentação da fonte.

O que é novo na versão 2.5.2:

• Suporte Apache CouchDB:
• Nós adicionamos suporte para o banco de dados NoSQL Apache CouchDB. DataCleaner suporta tanto a leitura de, analisar e escrever a suas instâncias do CouchDB.
• escritor tabela Update:
• Seguindo os nossos esforços anteriores para trazer recursos de estilo ETLightweight em DataCleaner, nós adicionamos um escritor que atualiza registros em uma tabela. Você pode usar este, por exemplo, para inserir ou atualizar registros com base em condições específicas.
• Como Inserir em escritor tabela, o novo escritor mesa DataCleaner actualização não se restringe aos bancos de dados baseados em SQL, mas qualquer tipo de armazenamento de dados que suporta a escrita (atualmente bancos de dados relacionais, arquivos CSV, planilhas do Excel, bancos de dados MongoDB e bancos de dados MongoDB), mas a semântica é o mesmo que com uma declaração tradicional atualizar a tabela em SQL.
• Broca ao pormenor as informações guardadas nos arquivos de resultados:
• Ao usar o recurso resultado Guardar da DataCleaner 2.5, alguns usuários experientes que suas informações drill-to-detalhe foi perdido. Em DataCleaner 2.5.2 agora também persistem essa informação, tornando seus arquivos DQ muito mais valioso quando se investiga incidentes de dados históricos.
• Melhoria da manipulação de erro EasyDQ:
• Os componentes EasyDQ foram melhorados em termos de tratamento de erros. Se um problema de rede momentânea ocorre ou outro problema semelhante faz com que alguns registros a falhar, os componentes EasyDQ agora graciosamente recuperar e mais importante -. Seu trabalho lote prevalecerá mesmo apesar de erros
• mapeamento da tabela para armazenamentos de dados NoSQL:
• Uma vez que o CouchDB e MongoDB não são tabela com base, mas tem uma estrutura mais dinâmica nós fornecemos duas abordagens para trabalhar com eles: O padrão, que é deixar DataCleaner detectar automaticamente uma estrutura de tabela, eo avançado que permite que você especifique manualmente o seu estrutura da tabela desejada. Anteriormente a opção avançada estava disponível apenas através de configuração XML, mas agora a interface do usuário contém diálogos apropriados para fazer isso diretamente no aplicativo.

O que é novo na versão 2.4.1:

• Melhorias de recursos:
• Batch carregamento recursos que estamos aumentou quando gravar dados em tabelas de banco de dados. Esperar para ver muitas ordens de magnitude de melhorias aqui.
• Escrevendo a dados tem sido mais convenientemente disponibilizados adicionando as opções para o menu da janela.
• Agora você pode facilmente mudar o nome de componentes de um trabalho clicando duas vezes seus guias.
• O transformador Javascript agora tem coloração de sintaxe, de modo que seus Javascripts são mais fáceis de inspecionar e modificar.
• Correções de bugs:
• Quando a leitura e gravação para o mesmo armazenamento de dados (por exemplo. Área de teste do DataCleaner) temos a certeza de que o cache de tabelas de armazenamento de dados que é actualizada. Anteriormente alguns cenários permitiu-lhe ver uma exibição de out-of-date das tabelas.
• A potencial impasse quando se inicia o pedido foi resolvido. Este impasse foi uma consequência de um problema no JVM, mas nós trabalhamos em torno dele sincronizando todas as chamadas para a API específica em Java.

O que é novo na versão 2.4: (. Aka desduplicação ou correspondência difusa de registros)

• Detecção duplicada , que é livre para usar para até 500.000 valores.
• validação de dados de endereços e de limpeza. Isso permite que você verifique se existem endereços, se eles estão corretamente formatado e até mesmo a sugerir correções no caso de você ter erros.
• validação de dados de nome e de limpeza. Com o serviço de nome, EasyDQ não só formatar seus nomes de forma consistente, mas também verifica a existência de erros de ortografia e interpreta as partes do nome.
• E-mail e validação de telefone e de limpeza. Estes serviços oferecem a verificação dos dados de e-mail e telefone, certificando-se de que existem domínios de e-mail, que os códigos de país estão corretos e muito mais.

O que é novo na versão 2.3:

• suporte de dados da International:
• Se você estiver trabalhando com dados internacionais, então você pode ter diferentes conjuntos de caracteres em seus dados, por exemplo, chinês ou hebreu. Nós adicionamos o conjunto de caracteres analisador de distribuição, que é uma opção de perfil que lhe permite descobrir quais conjuntos de caracteres são usados ​​em seus dados.
• Trabalhando com dados contendo diferentes conjuntos de caracteres pode ser problemático. Usando o novo transformador Transliterate agora você pode transliterar cordas de diferentes sistemas de escrita para caracteres latinos.
• Há também uma nova demonstração webcast, concentrando-se nas capacidades de dados internacionais de DataCleaner 2.3 na seção de documentação.
• Agrupamento de resultados de análises por uma coluna secundária:
• O analisador padrão agora é capaz de padrões de grupo com base em uma coluna secundária. Isso é útil para análises como:
• Obter padrões de números de telefone, agrupados por país.
• -se padrões de nome de usuário e-mail com base no domínio de e-mail.
• Algo semelhante foi feito para o analisador de Valor de Distribuição; isso permite análises, tais como:
• Será que todos os nomes de cidades distintas, quando agrupadas por código postal?
• O que é a distribuição de género no âmbito determinados tipos de clientes?
• Improved gráficos:
• Os resultados Padrão Finder pode agora ser mostrado em um gráfico. Isso faz com que a distribuição visível e mostra o quanto de um & quot; cauda longa & quot; de padrões que existe.
• A saída do analisador de distribuição de valor foi melhorado em um par de áreas:
• A leitura da carta foi melhorado.
• Ele mostra o número total de linhas ea contagem distinta sobre estas linhas: o número de valores diferentes que existem nas linhas. Isso ajuda a descobrir como muitas vezes existem valores duplicados.
• Se houver cadeias vazias, usamos a palavra-chave para ele, de modo que é mais fácil reconhecê-los.
• Output:
• Ao lado dos formatos já existentes de saída (arquivos CSV e armazenamentos de dados H2) adicionamos escrever saída para planilhas do Excel.
• Depois de escrever para um armazenamento de dados, agora é possível visualizar a saída, de modo que você pode verificar se a saída está de acordo com as suas expectativas.
• Agora também é possível adicionar a saída como um novo armazenamento de dados, de modo que ele pode ser usado como entrada para um novo emprego.
• Outras melhorias:
• A documentação foi normalmente melhorado. Em particular, foram adicionadas descrições de registro e de interface de linha de comando.
• O mecanismo de extensão foi melhorado por modularizing várias partes do aplicativo e introduzindo Google Guice como um quadro de injeção de dependência geralmente disponível para os desenvolvedores de extensão.
• E, claro, nós fizemos mais de vinte pequenas melhorias e correções de bugs.

O que é novo na versão 2.2:

• O principal fator para esta versão tem sido uma história sobre a extensibilidade . Ao liberar a aplicação estamos simultaniously lançando um website uma nova DataCleaner que apresenta uma importante nova área: A ExtensionSwap. A ideia do ExtensionSwap é permitir o compartilhamento de extensões para DataCleaner e instalação simplesmente clicando em um botão no navegador!
• A extensão API DataCleaner foi melhorou muito nesta versão, tornando possível criar seus próprios transformadores, analisadores e filtros. Se você sentir suas extensões podem ser de interesse para outros usuários, por favor, compartilhe-o no ExtensionSwap e nós fornecemos um canal para que você possa distribuí-lo facilmente a milhares de usuários. A API de extensão eo ExtensionSwap é explicado em nossa nova demonstração webcast para desenvolvedores e outros técnicos com interesse.
• Também estamos lançando um conjunto de extensões iniciais sobre o ExtensionSwap: Os Contatos HIquality de extensão DataCleaner que fornece Nome avançada, telefone e e-mail de limpeza, baseado em linguagem natural de processamento de serviços web DQ inferências Humano. Também estão enviando uma extensão de amostra que irá servir como um exemplo para os desenvolvedores que querem experimentar o desenvolvimento de extensão si. Nos próximos meses, vamos ter certeza para deixar ainda mais extensões provenientes de nossa carteira interna de ferramentas que usamos em equipes de conhecimento reunindo de Inferência Humana.
• Além de extensibilidade também estamos focando embeddability. Queremos ser capaz de incorporar DataCleaner facilmente em outras aplicações para fazer perfis e análise de dados possível em qualquer lugar! Nós criamos uma nova API bootstrapping que permite aplicações para agrupar DataCleaner e inicializar-lo com uma configuração dinâmica ou executá-lo em um & quot; modo de armazenamento de dados único & quot ;, onde o aplicativo está atento no sentido de apenas inspecionando um único armazenamento de dados (tipicamente definida pela aplicação que incorpora DataCleaner). Nós já temos alguns casos muito interessantes de incorporação DataCleaner nas obras -. Tanto em outras aplicações de código aberto, bem como aplicações comerciais
• Nós adicionamos suporte para analisar conjuntos de dados SAS. Isso é algo que está muito orgulhoso de como nós somos, ao nosso conhecimento, a primeira aplicação open source importante para fornecer tal funcionalidade, em última análise, liberando uma grande quantidade de usuários SAS. A parte interoperabilidade SAS foi criado como um projeto separado, SassyReader, por isso, esperamos para ver adopção em comunidades de código aberto de cortesia do DataCleaner em breve também!
• Nós também adicionamos suporte para um outro tipo de armazenamento de dados: Fixo arquivos de largura. Fixos arquivos largura são arquivos de texto onde cada coluna tem uma largura fixa. Não há separador ou citação de caracteres, como arquivos CSV, em vez de cada linha são iguais em comprimento e cada linha será indexado de acordo com um conjunto de comprimentos de valor.
• Uma opção para & quot; falhar em inconsistências & quot; foi adicionado ao arquivo CSV e armazenamentos de dados de arquivo de largura fixa. Estas bandeiras adicionar uma verificação de integridade formato ao usar esses armazenamentos de dados com base em arquivo de texto.
• Um bug foi corrigido, o que causou configurações CSV separador para não ser retidos na interface do usuário, durante a edição de um armazenamento de dados CSV.
• caracteres japoneses e outros não são suportadas na interface do usuário. Este & quot; erro & quot; Era uma questão de investigar as fontes disponíveis no sistema e selecionar uma fonte que pode tornar os caracteres específicos. Na maioria dos sistemas modernos não haverá fontes capazes disponível, mas em alguns ramos Unix / Linux ainda pode haver limitações.
• A seção de documentação foi atualizado! Desde a versão inicial 2.0 a documentação ter sido muito atrás, mas temos finalmente conseguiu obtê-lo até à data. Há ainda peças que faltam nos docs, mas deve definitivamente ser útil para uso básico, bem como uma referência para a maioria dos tópicos.
• tempo de inicialização do aplicativo foi melhorada com a paralelização o carregamento configuração e atrasando a inicialização dessas partes da configuração que não são necessários para a exibição da janela inicial.
• O analisador semelhança fonética localizador foram removidos da distribuição principal, já que esta era bastante experimental e serve principalmente como uma prova de conceito e um aperitivo para a comunidade para criar analisadores de correspondência mais avançados. Agora você pode encontrar e instalar o localizador de semelhança fonética na ExtensionSwap.
• Cancelado ou manipulação de trabalhos errornous foi melhorada e a interface do usuário responde mais corretamente, desativando botões e indicadores de progresso, se um trabalho foi interrompido.
• Fixed algumas questões UI menores pertencentes ao dimensionamento mesa e uso de barras de rolagem.

O que é novo na versão 2.1.1:

• Melhorias:
• Adicionado um campo de texto de pesquisa / filtragem na lista de armazenamentos de dados. Isso permite que você encontre rapidamente seu armazenamento de dados se você tiver registrado mais armazenamentos de dados do que o disponível na tela.
• Os dados de referência para códigos de país foi adicionado à distribuição padrão, graças vai para Graham Rhind para fornecer estes.
• Adicionado uma barra de rolagem horizontal para os dados de pré-visualização janelas de há mais de 10 colunas.
• Capacidade de adicionar um pacote de extensão com a nova funcionalidade na caixa de diálogo Opções em tempo de execução. Mais foco em extensões seguirá nos próximos lançamentos.
• Nós exposta uma prévia do nosso Command-Line Interface (CLI), permitindo que você chamar o aplicativo com o & quot; -usage & quot; parâmetro que irá mostrar as opções CLI.
• Adicionado número de opções para formatar o & quot; Converter em Número & quot; transformador.
• Correções de bugs:
• Corrigido um problema fora-de-memória quando consultar tabelas com muitas colunas (150 +).
• Corrigido um problema que fazer com que o & quot; análise de limite & quot; caixa de seleção para não ser verificado corretamente quando um trabalho foi reaberto depois de salvar.
• Não é realmente uma correção de bug já que nunca foi uma característica oficial, mas agora temos suporte à restauração de preferências do usuário (o arquivo userpreferences.dat) de versões anteriores do DataCleaner.

O que é novo na versão 2.1:

• Havia um monte de trabalho feito na interface do usuário ( consulte a página media):
• Decidimos remover a janela do lado esquerdo contém opções de configuração ambiente.
• Em vez todas estas opções já foram movidos para a janela do prédio trabalho para que o usuário só tem que se concentrar em uma única janela para todas as interações necessárias para construir um trabalho.
• A caixa de diálogo de boas-vindas / login também foi removido em favor de um painel mais discreto que pode ser puxado para dentro ou escondido da janela principal.
• seleção e gerenciamento de armazenamento de dados é considerada a primeira atividade no aplicativo, que é por isso que também é o primeiro passo para lidar com na janela principal.