Мысли вслух

Иногда нам может понадобиться список сайтов, забаненных в поисковых системах. Зачем? Ну вариантов здесь может быть множество – например, контент, забанненый на одном сайте, может быть использован на другом сайте. Также, классификация подобных сайтов позволит понять, как поисковые системы решают – забанить сайт или нет.

К тому же, зачастую сайт, находящийся вне индекса одной из поисковых систем, может быть не забанен, а просто непроиндексирован – такое часто случается с форумами на популярных движках, либо с сайтами на не очень стабильных хостингах, имеющих проблемы с регистрацией. Также такое встречается, когда создатель сайта перестарался, пытаясь раскрутить сайт и дал поисковой системе повод подозревать себя в ссылочном спаме или другие “серых” методах раскрутки.

Ну и не забывайте, что одного анализа недостаточно. Нужно не забывать заглядывать в список факторов, влияющих на бан. И самому, в будущем, избегать подобных ошибок.

В общем, вариантов множество. Итак, как же достать список подобных сайтов. Можно просто попытаться спарсить выдачу одной поисковой системы, на предмет индексации сайтов в другой ПС, можно посмотреть списки доменов с тИЦем – как правило, подобные домены уже не присутствуют в индексе Яндекса, можно просмотреть базы каталогов – каталоги с большой долей вероятности или уже забанены или будут забанены в ближайшее время (правда ценность подобного контента невелика).

Но есть и другой отличный способ – база данных Сапы. В ней есть возможность поиска различных сайтов, для покупки ссылок. И там есть фильтрация по тем сайтам, которые присутствуют/отсутствуют в индексе Яндекса или Гугла (ну, а именно эти ПС нам как правило и нужны).

Так вот, именно используя эту фильтрацию можно получить список забаненных сайтов, и затем использовать его по своему усмотрению.