Как умный фильтр ускоряет сканирование

Задача умного фильтра - избежать сканирования страниц-дубликатов и страниц с низким приоритетом. Это ускоряет работу сервиса и позволяет сэкономить на стоимости тарифа.

Умный фильтр определяет движок сайта и использует набор фильтров ему соответствующих.

Битрикс

backurl=                       # трекбеки
back_url=
back_url_admin=
?backurl*=
&backurl*=
?captcha                       # каптча
&captcha
/feed                          # все фиды
/rss                           # rss фид
?sort=                         # сортировки
&sort=
?sort_by=
&sort_by=
?order_by=
&order_by=
?order_to=
&order_to=
?order_field=
&order_field=
?bxajaxid=                     # системные ссылки
&bxajaxid=
?ajax=
&ajax=
?login*=
&login*=
?filter_history=
&filter_history=
?register=
&register=
?forgot_password=
&forgot_password=
/ajax.php
?utm*=                         # ссылки с utm-метками
&utm*=
?openstat=                     # ссылки с метками openstat
*openstat=
?action=                       # ссылки с активными действиями
&action=
show_include_exec_time=        # административные страницы
show_page_exec_time=
show_sql_stat=
bitrix_include_areas=
clear_cache=
clear_cache_session=
?edit=
&edit=
?products_on_page=             # количество товаров на странице
&products_on_page=
?oid=                          # заказы
&oid=
?order=
&order=
?b_order=
&b_order=
?q=                            # поиск и фильтрация
&q=
?s=
&s=
/filter/clear/apply/

WordPress и WooCommerce

?s=                            # поиск
&s=
?feed=                         # фиды
&feed=
/rss                           # rss фид
?utm*=                         # ссылки с utm-метками
&utm*=
?openstat=                     # ссылки с метками openstat
*openstat=
?trackback=                    # трекбеки
&trackback=
?add-to-cart                   # Различные операции с товарами в WooCommerce
&add-to-cart
?remove_item=
&remove_item=
?undo_item=
&undo_item=
?rest_route=                   # системные ссылки
&rest_route=
?redirect_to=
&redirect_to=