28 апреля, воскресенье

Никакого фиаско социологов не было

19 сентября 2013 / 22:08
заведующий аналитическим отделом Фонда «Общественное мнение»

Даже самый неточный прогноз, сделанный на основе социологических данных, в принципе никак не может дискредитировать ни сами эти данные, ни опросные технологии.

В связи с неоправдавшимися прогнозами по явке и распределению голосов на выборах московского мэра, общим местом стали разговоры о т.н. «фиаско социологов». Как вы оцениваете ситуацию: российские социологи действительно потерпели профессиональное поражение или масштабы их ошибок преувеличены?

Никакого «фиаско социологов», а тем более – «фиаско социологии» не было. Были недостаточно точные прогнозы. Но любой прогноз – курса валюты, итогов футбольного матча, выборов – вероятностен, как вероятностно само будущее. И даже самый неточный прогноз, сделанный на основе социологических данных, в принципе никак не может дискредитировать ни сами эти данные, ни опросные технологии. Потому что опросы имеют дело с миром мнений, представлений, установок, ценностей, а все интерпретации, касающиеся того, как люди реально поведут себя – на выборах или в какой-то другой ситуации, – пытаются учесть еще и факторы, о которых опросы ничего не говорят.

Как это происходит? Вот есть у нас результаты опроса, проведенного более чем за неделю до выборов мэра Москвы, и мы делаем на их основе электоральный прогноз (позже, чем за неделю, нельзя – закон запрещает). «Сырые» данные говорят, что примерно три четверти москвичей придут на выборы, а С. Собянин получит почти три четверти их голосов (о других кандидатах, чтобы было проще, не говорю). Но нам доподлинно известно из опыта, что очень многие на самом деле на выборы идти не собираются, и среди «обещающих» голосовать за представителя власти таких гораздо больше, чем среди тех, кто выражает намерение голосовать за других. Есть модель расчета, которая учитывает эти смещения и интегрирует распределение ответов на множество вопросов анкеты. Расчет показывает: результат С. Собянина – около 60%. И есть у нас более ранние данные, расчеты и т. д. Дальше возникает выбор: можно предположить, что те тренды, которые мы наблюдали в августе, получат дальнейшее развитие, причем с той же интенсивностью, можно счесть, что они получат «ускорение», можно предположить «разворот» (нередко бывает, причем по разным причинам, что изначальный фаворит по ходу кампании несет потери, а в последние дни часть голосов к нему возвращается), а можно решить, что ничего уже не изменится, что разнонаправленные факторы, влияющие на поведение избирателей, будут взаимно гаситься. Вот за эти предположения опросные технологии и расчетные модели вообще никакой «ответственности» не несут. Выбрали бы мы линейную экстраполяцию – ошибка была бы примерно вдвое меньше, решили бы, что впереди «разворот», – промахнулись бы еще сильнее.

Почему ошиблись – долгий разговор, гипотезы выдвинуты (и опубликованы), мы их по возможности проверяем. Но еще раз скажу: делая прогноз, поллстеры выходят за рамки своего ремесла. И лучше бы, может быть, не выходить за эти рамки и вообще предвыборных прогнозов не делать. Но тут возникает такая проблема: тогда читающая публика (а читает она невнимательно) уж точно будет всегда интерпретировать данные опросов как прогнозы. Даже сейчас, когда мы своевременно вывесили свой прогноз на сайте ФОМ, и его воспроизвели некоторые СМИ, очень многие сделали эту ошибку. И не только безнадежно темные люди, но и, например, философ А. Рубцов, который в «Новой» очень гневно клеймил ФОМ за то, что он якобы «обещал» Собянину 74%. И если не публиковать прогнозы, то так будут ошибаться все. Так что прогноз – это еще и способ показать, как мы сами трактуем наши данные. Вы можете трактовать их иначе – извольте, но не считайте, что данные и есть трактовка, то есть прогноз.

Некоторые говорят о том, что кампания против социологов инициирована силами, заинтересованными в делегитимации социологического знания. Есть ли в такой позиции рациональное зерно?

Рассуждать о том, имеет ли место какая-то целенаправленная атака на социологов, специально направленная на делегитимацию социологического знания, не хочу. Информации не имею, а «теории заговора» не люблю. Хотя все, что написал Игорь Задорин о силах, заинтересованных в «сокрушении» поллстерских организаций, вполне справедливо. Но есть и другая сторона дела: есть определённая «культура полемики», которую я определять, пожалуй, не буду – неполиткорректно получится. Такой замес воинствующего примитивизма, конспирологии и инфантильной жажды самоутверждения. Знакомо еще по Шукшину. Классическое: «Я б в Москве с киркой уран нашел при такой повышенной зарплате» – про это же. Ну и понятно, что ошибочный прогноз результатов выборов – идеальный повод для содержательных комментариев в интернете, где поллстерам предлагают каяться, «убиться» и т. д. и очень сокрушаются, что в текстах тех, кто говорит по существу, «многа букав». Тем более что любой прогноз, помещенный в предвыборный контекст, звучит как политическое высказывание (хотя им на самом деле не является) – потому примешиваются и политические эмоции. Но для меня этот тип высказываний – скорее объект умеренного исследовательского интереса, чем позиция, с которой надо как-то считаться.

В своем тексте «Мы предъявляем встречный иск!» Игорь Задорин, среди прочего выражает недоумение по поводу ряда своих коллег, публично декларирующих свою политическую позицию. Насколько в действительности проблематично совместить профессионализм исследователя с персональной политической вовлеченностью?

Для меня лично проблемы влияния собственных политических взглядов на исследование, касающееся политики, не существует вообще. Когда я формулирую вопросы в анкету, анализирую данные или участвую в прогнозировании, я полностью абстрагируюсь от своих предпочтений, и никаких специальных усилий это, поверьте, не требует. Другое дело, что уже в тексте, написанном по результатам исследования, можно выразить собственное – позитивное или негативное – отношение к тем фактам или тенденциям, которые обнаружились в ходе исследования. Но к процессу их выявления это отношения не имеет.
А когда собственная позиция влияет на то, как программируется и проводится исследование, исследование заканчивается, не начавшись. Это вопрос интеллектуальной дисциплины, с которой у многих, конечно, худо. Но у нас много с чем худо.

Штабная социология Навального вызвала шквал критики со стороны социологов-профессионалов. Претензии к волонтерам, очевидно состояли не в том, что они намеренно фальсифицируют данные, а скорее в том, что, даже стремясь быть объективными, они, все равно исподволь, незаметно для себя программируют исследование в соответствии со своей политической позицией. Ведь интеллектуальная дисциплина исследователя – это не вопрос получасового инструктажа в штабе.

Не готов судить о том, проявлялась или не проявлялась политическая ангажированность волонтеров Навального на стадии исследования. Я там не был, не видел, как они опрашивали людей и т.д. Что касается исходного инструмента – анкеты, которую они сделали, – то она была нормальной. В случае изначально ангажированного исследования внедрение политической позиции начинается с инструмента – человек, задавая вопрос, ставит этот вопрос таким образом, чтобы получить желаемый ответ. По крайней мере, этого греха на «партизанской социологии» нет. Что же касается собственно полевой части исследования – того, где и как были расставлены интервьюеры, как они выбирали, к кому обращаться, а к кому нет, и т. д. – то сомнения относительно уровня профессионализма во всем этом у меня, безусловно, есть, и тот факт, что прогноз, сделанный вроде бы на основе их опросов, оказался относительно точным, мне не кажется доказательством поллстерского профессионализма. Да и точен он был, кстати, только в одном отношении – верно предсказан результат А. Навального (26-29%). Об уровне явки в нем вообще ничего не говорилось, а результат С. Собянина был довольно существенно «занижен» (44-47%).
Но даже если бы этот прогноз попал «в яблочко»… Никакой одиночный прогноз – хоть погоды, хоть курса валюты, хоть футбольного матча – свидетельством профессионализма еще не является. Даже в сфере прогнозирования, не говоря уже об исследованиях.

Материал подготовлен Центром политического анализа для сайта ТАСС-Аналитика