Последний вопрос самый простой. Если не рассматривать различные параноидальные теории, то цель сбора персональных данных одна – обогащение. Но законными средствами.

Все просто – собранная персональная информация помогает крупными поисковым системам и сервисам статистики делать множество анализ, включающих в себя, например, таргетинг рекламы или улучшение поиска.

В первом случае каждый пользователь видит ту рекламу, которая ему действительно нужна и интересна – это повышает эффективность рекламы в десятки раз и помогает как экономить рекламные бюджеты, так и зарабатывать больше денег.

Во втором случае повышение качества поиска действует по тому же принципу, но уже на благо самого пользователя поисковика – система “прикидывает”, что именно и для чего ищет пользователь с подобными интересами, в этом возрасте и с данным социальным статусом и выдает наиболее релевантный результат.

Каким же образом собираются данные о пользователях? Через софт, который сами же пользователи, осознанно или неосознанно ставят на свои персоналки. Это:

- Браузеры, со встроенными тулбарами Гугла или Яндекса.
Практически все современные браузеры имеют плагины данных тулбаров, а некоторые (например, Гугл Хром) содержат их по-умолчанию.

- Счетчики статистики, установленные на сайтах.
Например, ливинтернете или гугл анализатор.

- Базы данных социальных сервисов.

- Поисковые запросы пользователя, его переходы по ссылкам и общая “модель поведения в сети”. Т.е. современные системы самостоятельно анализируют поведение каждого пользователя и присваивают ему те или иные качества: возраст, социальную группу, семейное положение и т.п.

К тому же, зачастую сайт, находящийся вне индекса одной из поисковых систем, может быть не забанен, а просто непроиндексирован – такое часто случается с форумами на популярных движках, либо с сайтами на не очень стабильных хостингах, имеющих проблемы с регистрацией. Также такое встречается, когда создатель сайта перестарался, пытаясь раскрутить сайт и дал поисковой системе повод подозревать себя в ссылочном спаме или другие “серых” методах раскрутки.

Ну и не забывайте, что одного анализа недостаточно. Нужно не забывать заглядывать в список факторов, влияющих на бан. И самому, в будущем, избегать подобных ошибок.

В общем, вариантов множество. Итак, как же достать список подобных сайтов. Можно просто попытаться спарсить выдачу одной поисковой системы, на предмет индексации сайтов в другой ПС, можно посмотреть списки доменов с тИЦем – как правило, подобные домены уже не присутствуют в индексе Яндекса, можно просмотреть базы каталогов – каталоги с большой долей вероятности или уже забанены или будут забанены в ближайшее время (правда ценность подобного контента невелика).

Но есть и другой отличный способ – база данных Сапы. В ней есть возможность поиска различных сайтов, для покупки ссылок. И там есть фильтрация по тем сайтам, которые присутствуют/отсутствуют в индексе Яндекса или Гугла (ну, а именно эти ПС нам как правило и нужны).

Так вот, именно используя эту фильтрацию можно получить список забаненных сайтов, и затем использовать его по своему усмотрению.