× Сервис предназначен для удаления дубликатов url. Поддерживает DOS/UNIX/MAC форматы строк, работает с верхним и нижним регистрами, преобразует любую кодировку текста в utf-8.

В параметрах предлагаются дополнительные условия для обработки текста:

- очистка url до последнего слеша;

- очистка динамического запроса в url;

- очистка домена от url;

- удаление протокола и порта в url.

Возможность выбора определенных url из текста:

- только домены на латинице и кириллице;

- только домены punycode;

- только ipv4 адреса.

Пример работы функции «Удаление дубликатов»:

Если обработать следующий текст с включенным параметром «оставить исходный url» и «удаление дубликатов»:

f1ru.net/index.php http://sabitoff.ru/board/index.php www.sabitoff.ru

В результате получим следующий список:

example.com/index.php
www.sabitoff.ru

В данном примере www.f1ru.net не будет удален, т.к уникальность проверяется по домену целиком, а не по его части.
Но если сравнить www.sabitoff.ru и http://www.sabitoff.ru:8080/index.php тогда второй url будет удален, т.к является дубликатом первого домена.
Протокол, порт и путь при проверке уникальности будут игнорироваться.