Блог

Говорят, что экспертиза грантового конкурса не может быть объективной «по определению». Так ли это?

Обзоры, кейсы, аналитика Экспертиза и эксперты
Недавно попалась видеозапись экспертной сессии, на которой обсуждались подходы и принципы экспертизы проектов на грантовые конкурсы. Тема всегда вызывает нескончаемые обсуждения, разногласия, а также «праведный (и не очень) гнев» соискателей грантов, особенно после объявления результатов конкурсов. 

Выступление отличное (ссылку на полное видео оставлю в самом низу). Трудная и деликатная тема раскрыта очень неплохо (особенно для новичков).  Хотя, как профессионал я позволю себе не согласиться с частью утверждений о подходах к процессу экспертизы и принципах работы эксперта. Есть над чем подискутировать. Но особенно мое внимание привлекло утверждение о невозможности обеспечения объективности оценки в контексте разбора принципов экспертизы. 

Цитата спикера (22 минута): 
«Следующий спорный пункт – это объективность. Моя позиция, что объективным эксперт быть не может по определению. Потому что у нас разный опыт, у нас разные точки зрения на проблематику <…> . Это все откладывает отпечаток на оценку  <…>. Поэтому, когда оценивается заявка, есть минимум два эксперта, и это, в какой-то степени, может уравновесить  эти две субъективные позиции  <…>. Но  она тоже не будет объективная  <…>».   

Сделаю важную ремарку. Я давно знаю спикера лично, уважительно отношусь к нему как к специалисту. И мне даже есть за что ему быть благодарным в своей профессиональной биографии. Данный текст – это не попытка его в чем-то уличить, задеть или «пожурить». Ни в коем случае! Наоборот, мы должны быть благодарны ему за возможность открытого обсуждения интересующего всех нас вопроса оценки грантов. Моя цель – донести свою точку зрения и предложить вам порассуждать на тему экспертизы (потому что среди моих читателей есть, в том числе, и эксперты конкурсов). Мне бы хотелось, чтобы это пошло на пользу общему делу.

Итак, как по мне, отсутствие объективности не может быть некоторой нормой конкурсных процедур. Более того, я считаю вредным признание этой  некой «нормальной необъективности» и капитуляцию перед ней. Но еще более непродуктивным я считаю защиту или оправдание необъективности в формате: «это нормально, так все устроено, просто все мы разные, объективности не бывает – все субъективно».

Обеспечение объективности – это важнейшее условие любого  качественного конкурса. Иначе все теряет смысл. В первую очередь – сама процедура экспертизы. Ведь получается, что как не обосновывай проблему, как не проектируй технологию ее решение и не готовь качественную упаковку заявки, все  будет зря, потому что упрется в “нормальную необъективность”… 

Это, безусловно, нечестно и неуважительно по отношению к труду и личностям заявителей, которые тратят, порой, колоссальное время своей жизни для работы с заявками, берут моральные обязательства перед партнерами, вкладывают силы и ресурсы в обучение и оправдано ждут «честного и справедливого суда» в итоге. Ведь мы все понимаем, что каждый адекватный человек готов признать своё поражение в конкурсе, если оно обосновано. «Да , обидно и досадно… но объективно!». Погрустил, собрался и пошёл устранять объективные недочёты, чтобы принять участие в конкурсе повторно. Это нормально. 

Но при этом я должен признать, что объективность эксперта – это действительно очень относительный параметр. Тот самый «человеческий фактор». И естественно, что оценка каждого конкретного эксперта – это во многом его субъективная точка зрения. Но, погодите, я себе не противоречу… 

Любой «человеческий фактор» сдерживается на институциональном уровне. 

Например, чтобы люди не продолжали как в древние времена лишать жизни друг друга  свободно, в больших количествах и по самым разным поводам, появились соответствующие институциональные нормы регулирования: государственные законы, система наказания, религиозные ограничения, иная система общественных ценностей и так далее. Конечно, преступления такого рода продолжаются, то есть некоторые люди  продолжают демонстрировать такую модель поведения в некоторых обстоятельствах и оправдываясь конкретными личными мотивами, но вся система вокруг нас всей своей мощью сдерживает рост таких поступков, стремиться к их недопущению и строго карает.

Поэтому я считаю, что стремление к обеспечению объективности итоговой оценки должно быть институциональной целью самого грантодателя, то есть сутью построения конкурсных процедур. Чтобы понять, как это сделать, мы должны задаться вопросом: «Как обеспечить максимальный уровень объективности экспертизы, чтобы итоги конкурса были справедливы?»

Но давайте начнём с определения. 

«Объективность» – это  отношение к объекту (явлению) и его характеристикам, процессам, как к независимому от воли и желания человека. Объективность подразумевает наличие знаний как таковых об объекте (явлении). Устойчивость объективности зависит от количества и точности понимания различных параметров объекта и/или процессов явления (Википедия).

Как мы видим, объективность подразумевает не только «независимое отношение», но и наличие «знаний» и «понимания» параметров и процессов. Это очень важно, потому что мы обычно ждём, чтобы эксперты нас просто «объективно оценивали», то есть обладали соответствующими морально-психологическими качествами, которые обеспечат беспристрастность. Но при этом мы упускаем из виду, что важны и другие условия, некоторые из которых даже не зависят от самого эксперта. Вместе с тем, все эти факторы только в совокупности могут обеспечить реальную объективность экспертизы. 

Я говорю как раз об институциональном уровне – об обеспечении Объективности Экспертизы.

Объективность Экспертизы – это параметр, отражающий качество организации конкурсных процедуры, исключающих влияние субъективных факторов, таких как некачественная оценка или принятие предвзятых итоговых решений. То есть оценка заявок должна проводиться «как есть» и результаты должны определяться вне зависимости от пристрастий субъектов оценки (экспертов) и субъектов принятия итоговых решений (организаторов конкурса).

Обратите внимание, что Объективность Экспертизы – не равно только совокупности Объективности Экспертов. Более того, Объективности Экспертов недостаточно для обеспечения Объективности Экспертизы Конкурса. И тем более, технология обеспечения Объективность Экспертизы Конкурса должна быть весомее для итогового результата, чем субъективность эксперта. Но без Объективности Экспертизы Конкурса становится бессмысленна Объективность Эксперта.

Чтобы понять, как можно добиться необходимого качества Объективности Экспертизы нужно выделить два ключевых уровня, от которых она зависит: 1 – «Организатор Конкурса» (институциональный уровень), 2 – «Эксперт Конкурса» (привлекаемый ресурс). Как понятно из написанного выше, только оба эти уровня способны обеспечить нужный результат.

Что критически важно, по моему мнению, обеспечить на каждом уровне:

Уровень 1 – «Организатор конкурса»:


А) Ценностный базис грантовой программы:
  • учредители должны заложить в  фундамент своего фонда или грантовой программы такой набор ценностей и принципов, который с самого начала запрограммирует установку к объективности. Это необходимым образом сформирует миссию грантодателя, определит его корпоративную культуру, принципы построения внутренних и конкурсных процедур, требования к набору людей (в том числе и экспертов) и многое другое;
  • наличие корреляция заявленных и истинных намерений. То есть не должно быть так, что организаторами заявляется намерение, скажем,  “поддержки всех качественных общественных инициатив”, а на самом деле истинные намерения заключаются в том, чтобы поддержать только “правильные” с точки зрения грантодателя организации. Такая раскорреляция никогда не даст возможности добиться реальной Объективности Экспертизы; 

Б) Качественная технология оценки и принятия решений – важнейшее условие, включающее в себя следующее требования:
  • технология процедуры оценки должна быть таковой, чтобы исключить влияние личностного фактора конкретного эксперта; 
  • технология оценки должна быть открыта и понятна для заявителей. Это позволит более прицельно готовиться;
  • технология принятия итогового решения быть открыта и понятна для заявителей;
  • должна существовать прямая зависимость итогового решения грантодателя и оценки экспертов. Без возможности исключений. То есть не должно быть так, что эксперты поставили “проходные баллы”, но заявка не победила по “иным причинам” (не должно быть и наоборот);
  • обеспечение контроля качества экспертизы. Для этого можно проводить супервизию или выборочные проверки, использовать программное обеспечение и так далее;
  • обязательное письменное оформление экспертизы. Это дисциплинирует эксперта, заставляет внимательнее изучать заявку, структурирует аналитический процесс, стимулирует лучше обдумывать свои выводы и решения. Такая экспертиза выходить за подписью эксперта (вот это уже ответственность);

В) Политика обеспечения качественного состава экспертов:
  • наличие понятных и открытых квалификационных требований целевого набора и отбора экспертов, которые должны включать, в том числе, оценку морально-деловых качеств и умения “быть экспертом” (т.е. проводить анализ, оценивать, формировать рекомендации и пр.); 
  • достойное поощрение работы эксперта, чтобы он был готов закладывать достаточно времени на проведение качественной процедуры оценки, ну и ощущал значимость своей работы и статуса; 
  • наличие ответственности за некачественную работу. Она может быть имиджевая и, даже, материальная (например, штрафы в случае обнаружения нарушений технологии оценки или халатное отношение к ним);
  • эксперты должны быть открыты, то есть их список должен быть известен. Это дисциплинирует каждого эксперта и заставляет относиться к своим обязанностям максимально ответственно. Это дисциплинирует и организатора конкурса, потому что качество экспертного состава – это имидж грантодателя (конечно, здесь есть некоторые риски “коррупционного характера”, например, но в закрытости экспертов, как мне кажется, разнообразных рисков еще больше);

Г) Политика коммуникации “грантодатель – участник”:
  • участник должен иметь возможность в случае проигрыша получить развернутую обратную связь по оценке именно своей заявки, чтобы понять, как улучшить следующую попытку. Ничего так не демотивирует, как старания вслепую. Еще больше демотивирует и раздражает проигрыш без обратной связи и невозможности ее получить;

Уровень 2 – «Эксперт конкурса».


Эксперт должен иметь намерение сделать свою работу качественно и объективно, для этого ему необходимо:
  • наличие лояльности миссии и ценностям конкурса. Естественно, что это касается тех миссий и ценностей, которые подразумевают объективность как фундамент работы;

  • отсутствие конфликта интересов с конкурсом, т.е. у эксперта не должно быть намерения дискредитировать грантодателя или конкретную грантовую программу;  

  • отсутствие конфликта интересов с заявителем, т.е. заявитель не может быть подконтрольной организацией, либо прямым конкурентом.Надо исключать работу эксперта с теми заявками, определенный результат оценки которых может принести ему прямую или опосредованную очевидную выгоду; 

  • наличие практического успешного опыта в сфере оцениваемых проектов, чтобы понимать специфику сферы, особенностей работы в ней, рабочих и нерабочих моделей, успешных практик, авторитетных исследователей и так далее. Без реального практического опыта невозможно оценивать модели практических действий, предлагаемые заявителями, ведь теоретические и практические подходы могут сильно отличаться. Также, очень важным считаю наличие аналитических навыков, которые необходимы для анализа и оценки опыта команды, моделей работы и прочего в заявке (здорово, чтобы у эксперта были опубликованные материалы: книги, статьи, блоги и т.п., можно было бы проверить систему его мышления и реальную компетентность);

  • наличие качественной подготовки по технологиям социального проектирования. Это не тоже самое, что предыдущий пункт. Тут дело обстоит с пониманием построения эффективных технологий в социальной сфере и смежных сферах (педагогических, маркетинговых,  информационных, коммуникационных и пр.), обладание опытом использования таких технологий. Это важно, чтобы оценивать качество предлагаемых заявителями проектных решений;

  • наличие соответствующих морально-деловых качеств личности, которые обеспечат ответственное и пристрастное отношение к своим экспертным обязанностям, вне зависимости от настроения, состояния здоровья (кроме критических случаев), личных обстоятельств и так далее;

  • наличие умения быть экспертом. Это подразумевает не только владение технологией оценки конкретного конкурса, но и готовность изучать дополнительные материалы в ходе экспертизы (чтобы компенсировать свое незнание нюансов и обстоятельств, например, а также и отказ от оценки (где не можешь быть объективными: не беспристрастен или недостаточно компетентен). 

Так мне представляется построение этих уровней. Также я убежден, что между ними должна существовать адекватная система «сдержек и противовесов», которые бы ограничивали влияние на итоговый результат каждого из уровней в отдельности.  То есть, в идеальном конкурсе, один конкретный эксперт не может быть виноват в необъективной оценке. Все должна решать «машина» процедур, где оценка одного конкретного эксперта – это лишь часть процесса, ограниченная в своем влиянии на итоги соответствующими “сдержками и противовесами”.   

Здесь справедливо бы было выделить еще один важный уровень – это  «Общественный Контроль», который мы сейчас не будем разбирать подробно, но зафиксируем его полезность (скорее – необходимость) для наилучшей работы модели «сдержек и противовесов», обеспечивающих Объективность Экспертизы.

Итак, как мы видим, обеспечение качественной и объективной экспертизы конкурсов – это реальная, хоть и сложная задача. Но, с точки зрения достижения общественного эффекта она крайне важна, ведь без объективной системы экспертизы никакой грантовый конкурс не может считаться инструментом (и уж тем более – институтом) общественного развития. Все просто, необъективность порождает ощущение несправедливости, которая формирует и развивает недоверие к грантодателю, а потом цепочка удлиняется – развивается недоверие к государственным институтам, политической системе, некоммерческому сектору, общественным процессам и так далее. Мне пришлось увидеть немало людей, которые разочаровывались в общественной жизни и оставили свои проекты или организации именно по этим причинам. А они могли бы принести пользу обществу.  

Конечно, все это кажется слишком идеальным, вы можете сказать мне: «Егор, реальность совершенно иная! В ней все по-другому!». Я знаю это и согласен с вами. Но разве не для того мы занимаемся социальным проектированием, чтобы сделать этот неидеальный мир лучше и справедливее? 

Что думаете? Приглашаю к обсуждению статьи Вконтакте сюда

P.S. Обещанная ссылка на полное видео