Robots.txt для сайтов на DLE
posted in Создание сайтов |Сейчас разбираюсь с новой для себя системой управления контентом сайта – DLE. CMSка достаточно неплохая, вот только с запретом индексации категорий и отдельных страниц возникли вопросы.
Но полазив некоторое количество времени по сайтам и форумам, я составил наилучший вариант для решения этой проблемы. Нужно создать файл Robots.txt, записать в него этот текст:
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
И поместить этот файл в корень нашего сайта, созданного на DLE. Это позволит поисковым системам игнорировать огромное количество лишних страниц, создаваемых этим движком, и в то же время, уделять внимание основным страницам, которые мы и будем продвигать по нужным нам запросам.
