|
Узнай как собрать все ссылки с сайта:
|
|
Способ 1
Сбор всех URL ссылок с сайта, плагин для FireFox, собирающий все ссылки с сайта.
Способ 2
Тщето побродив по просторам интернета в поисках подходящего парсера ссылок с сайта, я задумался над
альтернативным методом сбора ссылок с сайта.
В этом мне удачно помог Teleport PRO. Если в свойствах стартового адреса указать `but only URLs on top` , и в свойствах закачки нужного сайта указать только галочки на `Искать только имена (т.е. создать карту сайта, не сохраняя файлы)`, то мы получим отличный парсер всех исходящих ссылок с сайта.
По окончании работы Teleport Pro, выделяем всю структуру сайта во втором окошке и копи-пастим себе куды надо.
Назрел следующий вопрос, как отсортировать список URL ссылок с удалением дубликатов? В этом мне помогла мини утилита сортировки и удаления лишних URL. Важно знать по этой утилите что она сортирует и обрабатывает URL формата http://url/
т.е. нормальным URL считается если в ссылке есть 3 косых черты.
всё остальное удаляется. Значит загружаем в прогу список URL, жмём кнопку сортировать URL, и сохраняем полученный отсортированный список URL. |
| 
