Removedor de Linhas Duplicadas

Remova linhas duplicadas de um texto. Opções para correspondência sensível a maiúsculas, remoção de espaços em branco, preservação de ordem e exibição de contagem de linhas removidas.

Como Usar Removedor de Linhas Duplicadas

  1. 1Cole ou digite seu texto com linhas duplicadas.
  2. 2Escolha as opções de sensibilidade a maiúsculas e remoção de espaços em branco.
  3. 3Visualize a saída desduplicada com a contagem de linhas removidas.
  4. 4Copie as linhas únicas ou baixe o arquivo de texto.
ZenovayAnalytics

Analytics feito para fundadores.

  • Acompanhamento de visitantes em tempo real
  • Privacidade em primeiro lugar, sem banner de cookies
  • Configurado em dois minutos
Conheça o Zenovay

Perguntas Frequentes

O que conta como linha duplicada?
Por padrão, duas linhas são duplicatas se forem idênticas caractere por caractere (com distinção entre maiúsculas e minúsculas). Com o modo sem distinção entre maiúsculas e minúsculas ativado, "Apple" e "apple" são duplicatas. Com o corte de espaços em branco ativado, " hello " e "hello" são duplicatas. A primeira ocorrência de cada linha única é mantida; todas as ocorrências subsequentes são removidas. Linhas vazias também podem ser opcionalmente removidas.
Como removo linhas duplicadas no Linux ou Mac?
Usando ferramentas Unix: "sort -u arquivo.txt" ordena e remove duplicatas. "awk '!seen[$0]++'" remove duplicatas preservando a ordem original. "uniq arquivo.txt" remove duplicatas consecutivas (requer pré-ordenação). Para sem distinção entre maiúsculas e minúsculas: "awk '!seen[tolower($0)]++'".
Quando devo preservar a ordem de inserção versus ordenar?
Preserve a ordem quando a posição da linha importar: entradas de log, resultados SQL, arquivos de configuração, dados com ordenação implícita. Ordene quando a ordem não importar e você quiser saída alfabética: listas de palavras, listas de tags, valores de colunas CSV, instruções de importação. Esta ferramenta preserva a ordem de inserção por padrão (a primeira ocorrência vence), com uma opção para ordenar a saída depois.
Qual é a diferença entre único e distinto?
No uso cotidiano, "único" e "distinto" são sinônimos neste contexto. Na terminologia de banco de dados: DISTINCT remove linhas duplicadas dos resultados de consultas; UNIQUE é uma restrição que impede a inserção de duplicatas. Ambos significam "manter apenas uma ocorrência de cada valor". SQL: SELECT DISTINCT coluna FROM tabela retorna cada valor uma vez, independentemente de quantas vezes aparece.
Esta ferramenta lida com arquivos muito grandes?
Esta ferramenta baseada em navegador lida com texto colado no campo de entrada. Para arquivos muito grandes (milhões de linhas), use ferramentas de linha de comando: awk '!seen[$0]++' entrada.txt > saida.txt. A ferramenta do navegador é prática para até ~50.000 linhas.