× Сервис предназначен для удаления дубликатов url. Поддерживает DOS/UNIX/MAC форматы строк, работает с верхним и нижним регистрами, преобразует любую кодировку текста в utf-8.

В параметрах предлагаются дополнительные условия для обработки текста:

- очистка url до последнего слеша;

- очистка динамического запроса в url;

- очистка домена от url;

- удаление протокола и порта в url.

Возможность выбора определенных url из текста:

- только домены на латинице и кириллице;

- только домены punycode;

- только ipv4 адреса.

Пример работы функции «Удаление дубликатов»:

Если обработать следующий текст с включенным параметром «оставить исходный url» и «удаление дубликатов»:

nonameno.com/index.php https://nonameno.com/faq/windows-life-hacks.html nonameno.com

В результате получим следующий список:

example.com/index.php
nonameno.com

В данном примере nonameno.com не будет удален, т.к уникальность проверяется по домену целиком, а не по его части.
Но если сравнить nonameno.com и http://nonameno.com:8080/index.php тогда второй url будет удален, т.к является дубликатом первого домена.
Протокол, порт и путь при проверке уникальности будут игнорироваться.