W pliku robots.txt za pomocą różnych sprytnych wzorców dopasowania można zablokować wiele niepotrzebnych podstron. Często jest też to jedyna prosta droga do pozbycia się duplikatów ze strony.
Stosowanie wzorców może jednak prowadzić do zabawnych sytuacji.
W jednym ze sklepów, gdzie nijak można ingerować w kod strony musieliśmy się pozbyć różnych sposobów sortowania tych samych list produktów. Takie mieszanie w tej samej zupie, które prowadzi do obniżenia oceny całej witryny. Jednym z wprowadzonych wzorców było:
Disallow: *name*
W założeniu wzorzec miał zablokować indeksowanie list produktów sortowanych według nazwy. Przy okazji zablokowaliśmy wszystkie produkty ze słowem ornament 🙂
Dzięki śledzeniu danych w Narzędziach dla Webmasterów błąd szybko został namierzony i naprawiony.