중복 줄 제거하는 방법
- 위쪽 상자에 목록을 한 줄에 하나씩 붙여 넣으세요.
- 중복 없는 줄 상자가 바로 채워집니다. 각 줄은 처음 나온 순서대로 한 번씩만 남습니다.
- 필요하면 옵션을 조정한 뒤 결과 복사를 누르거나 .txt 다운로드로
unique-lines.txt파일을 받으세요.
결과 위에는 처리 내용이 요약됩니다. 예를 들어 7줄 → 중복 없는 5줄 · 중복 1개 제거됨 · 빈 줄 1개 제거됨처럼 나옵니다. 맨 앞의 숫자는 빈 줄을 포함한 입력 전체의 줄 수입니다.
옵션 설명
- 대소문자 무시(기본값 꺼짐) – “Apple”, “apple”, “APPLE”을 같은 줄로 봅니다. 처음 나온 줄의 표기가 남습니다.
- 앞뒤 공백 무시(켜짐) – 줄 앞뒤의 공백과 탭을 무시하고 비교하며, 결과에서도 지웁니다. 줄 가운데의 공백은 그대로 구분하므로 “New York”과 공백이 두 칸인 “New York”은 다른 줄입니다.
- 빈 줄 제거(켜짐) – 빈 줄과 공백만 있는 줄을 결과에서 뺍니다. 이 옵션을 끄면 빈 줄도 일반 줄처럼 취급하므로 첫 번째 빈 줄만 남습니다.
- 가나다순 정렬 (A→Z)(꺼짐) – 중복을 없앤 줄을 정렬합니다. 대소문자와 악센트는 구분하지 않고, 숫자는 “item 2”가 “item 10”보다 앞에 오는 자연스러운 순서로 놓습니다. 한국어 페이지에서는 한글이 가나다순으로 정렬됩니다. 다른 정렬 방식이 필요하면 줄 정렬을 쓰세요.
예시
다음 일곱 줄을 넣는다고 해 봅시다. 세 번째 줄은 apple 뒤에 공백이 하나 있고, 네 번째 줄은 비어 있습니다.
apple · Banana · apple␣ · (빈 줄) · cherry · banana · Apple
- 기본 설정에서는
apple,Banana,cherry,banana,Apple이 남습니다. 뒤쪽 공백을 무시하므로 세 번째 줄은 첫 줄의 중복이 되고, 빈 줄은 빠집니다. - 대소문자 무시를 켜면
apple,Banana,cherry만 남고 요약에는 중복 3개가 제거되었다고 나옵니다. - 앞뒤 공백 무시를 끄면
apple␣이 별도의 줄로 남습니다. 똑같아 보이는 두 줄이 모두 남는 가장 흔한 원인이 이런 공백입니다.
한글 목록도 똑같이 동작합니다. 서울, 부산, 서울, 대구, 부산을 한 줄씩 넣으면 서울, 부산, 대구가 남고, 정렬을 켜면 대구, 부산, 서울이 됩니다. 이메일 목록에서 [email protected], [email protected], [email protected], [email protected], [email protected]은 대소문자 무시를 켜면 주소 세 개가 됩니다. @ 뒤의 도메인은 원래 대소문자를 구분하지 않고, 실제로는 거의 모든 메일 서비스가 @ 앞부분도 구분하지 않으므로 합쳐도 대개 문제가 없습니다.
동작 원리
이 도구는 줄을 위에서부터 차례로 읽으면서 이미 본 줄을 기록해 둡니다(대소문자·공백 옵션을 적용한 상태로). 기록에 있는 줄은 건너뛰고, 처음 보는 줄만 결과에 추가합니다. 항상 첫 번째로 나온 줄이 남기 때문에 정렬을 이용하는 방법과 달리 원래 순서가 유지됩니다. 명령줄에서는 awk '!seen[$0]++' list.txt가 같은 일을 하고, sort -u는 중복을 지우면서 줄 순서도 바꿉니다. 스프레드시트에서는 UNIQUE 함수나 엑셀의 중복된 항목 제거 기능이 같은 역할을 합니다.
이럴 때 쓰세요
- 두 고객 명단이나 메일 발송 목록을 합칠 때: 한 목록 아래에 다른 목록을 붙여 넣고 결과를 복사하면 같은 사람에게 두 번 보내지 않습니다.
- SEO·광고용 키워드, 해시태그, 태그, 상품 코드 목록을 정리할 때
- 로그 파일이나 오류 보고서를 서로 다른 메시지만 남겨 줄일 때
- 여러 출처에서 모은 단어장이나 이름 목록을 만들 때
팁과 흔한 실수
- 한 줄에 값 하나가 원칙입니다. 값이 쉼표로 이어져 있다면 먼저 한 줄에 하나씩 나누세요. 반대로 결과를 쉼표로 이은 한 줄로 만들려면 줄바꿈 제거에서 “쉼표”를 고르세요.
- 눈에 안 보이는 차이 때문에 줄이 따로 남기도 합니다. 공백 대신 탭, 줄바꿈 없는 공백(NBSP), 둥근 따옴표와 곧은 따옴표, 전각과 반각 문자는 똑같아 보여도 서로 다른 문자입니다.
- 악센트는 무시하지 않습니다. 대소문자 무시를 켜도 “café”와 “cafe”는 다른 줄로 남습니다.
자주 묻는 질문
중복된 줄 중 어느 것이 남나요?
처음 나온 줄입니다. 뒤에 나온 같은 줄은 지워지고, 남은 줄은 정렬을 켜지 않는 한 원래 순서를 유지합니다.
어떤 줄이 지워졌는지 볼 수 있나요?
요약에는 지운 개수만 나옵니다. 정확히 어떤 줄인지 보려면 원래 목록과 결과를 텍스트 비교에 붙여 넣으세요. 지워진 줄이 모두 강조됩니다.
한글, 일본어, 중국어도 되나요?
네. 어떤 언어든 글자 단위로 정확히 비교합니다. 대소문자 무시 옵션은 대문자가 없는 문자에는 아무 영향을 주지 않습니다.
줄 수 제한이 있나요?
정해진 제한은 없습니다. 모든 처리가 브라우저 안에서 이루어지므로 수십만 줄짜리 목록도 일반적인 컴퓨터에서 금방 처리되며, 아주 큰 파일만 기기의 메모리에 따라 제한을 받습니다.