Идеальный robots.txt для вордпресс

Вукоммерц

В результате последних нескольких лет работы вывел для себя данный роботс. Конечно буду его менять, по мере необходимости.

Для чего нужен этот файл? Ну прежде всего для удаления дублей страниц и get-запросов в поиске, хотя часто встречаю использование get, для расширения количества страниц, например страницы фильтров и т д.

User-agent: *
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /wp/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: */embed$
Disallow: */xmlrpc.php
Disallow: *openstat=
Disallow: /*?customize_
Disallow: /*?preview_id=
Disallow: /*?page_id=
Allow: /*.js
Allow: /*.css
Allow: /*.png
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.svg
Allow: /*.webp
Allow: /*.pdf
Clean-param: pg
Clean-param: etext
Clean-param: w3tc_note
Clean-param: page_id
Clean-param: preview_id
Clean-param: preview_nonce
Clean-param: preview=true
Clean-param: _thumbnail_id
Clean-param: obj
Clean-param: utm
Clean-param: wpforo
Clean-param: customize_changeset_uuid
Clean-param: customize_theme
Clean-param: customize_messenger_channel
Sitemap: sitemap