Черный список означает, что ссылки с этих доменов не будут добавлены в очередь обработки.
Список игнорируемых доменов означает, что ссылки добавлены в очередь будут, но не будут обрабатываться в процессе работы. В дальнейшем вы можете разрешить определенные ссылки для сканирования из списка игнорируемых и пересканировать их заново.
Такой механизм следует использовать совместно с ограничением количества ссылок на сканируемые домены или совместно с фильтром ключевых слов.
|
Home / Support