Removedor de Linhas Duplicadas

Remova linhas duplicadas de um texto. Opções para correspondência sensível a maiúsculas, remoção de espaços em branco, preservação de ordem e exibição de contagem de linhas removidas.

Como Usar Removedor de Linhas Duplicadas

  1. 1Cole ou digite seu texto com linhas duplicadas.
  2. 2Escolha as opções de sensibilidade a maiúsculas e remoção de espaços em branco.
  3. 3Visualize a saída desduplicada com a contagem de linhas removidas.
  4. 4Copie as linhas únicas ou baixe o arquivo de texto.
ZenovayAnalytics

Analytics feito para fundadores.

  • Acompanhamento de visitantes em tempo real
  • Privacidade em primeiro lugar, modo sem cookies disponível
  • Configurado em dois minutos
Conheça o Zenovay

Perguntas Frequentes

O que conta como linha duplicada?▾
Por padrão, duas linhas são duplicatas se forem idênticas caractere por caractere (com distinção entre maiúsculas e minúsculas). Com o modo sem distinção entre maiúsculas e minúsculas ativado, "Apple" e "apple" são duplicatas. Com o corte de espaços em branco ativado, " hello " e "hello" são duplicatas. A primeira ocorrência de cada linha única é mantida; todas as ocorrências subsequentes são removidas. Linhas vazias também podem ser opcionalmente removidas.
Como removo linhas duplicadas no Linux ou Mac?▾
Usando ferramentas Unix: "sort -u arquivo.txt" ordena e remove duplicatas. "awk '!seen[$0]++'" remove duplicatas preservando a ordem original. "uniq arquivo.txt" remove duplicatas consecutivas (requer pré-ordenação). Para sem distinção entre maiúsculas e minúsculas: "awk '!seen[tolower($0)]++'".
Quando devo preservar a ordem de inserção versus ordenar?▾
Preserve a ordem quando a posição da linha importar: entradas de log, resultados SQL, arquivos de configuração, dados com ordenação implícita. Ordene quando a ordem não importar e você quiser saída alfabética: listas de palavras, listas de tags, valores de colunas CSV, instruções de importação. Esta ferramenta preserva a ordem de inserção por padrão (a primeira ocorrência vence), com uma opção para ordenar a saída depois.
Qual é a diferença entre único e distinto?▾
No uso cotidiano, "único" e "distinto" são sinônimos neste contexto. Na terminologia de banco de dados: DISTINCT remove linhas duplicadas dos resultados de consultas; UNIQUE é uma restrição que impede a inserção de duplicatas. Ambos significam "manter apenas uma ocorrência de cada valor". SQL: SELECT DISTINCT coluna FROM tabela retorna cada valor uma vez, independentemente de quantas vezes aparece.
Esta ferramenta lida com arquivos muito grandes?▾
Esta ferramenta baseada em navegador lida com texto colado no campo de entrada. Para arquivos muito grandes (milhões de linhas), use ferramentas de linha de comando: awk '!seen[$0]++' entrada.txt > saida.txt. A ferramenta do navegador é prática para até ~50.000 linhas.