После обсуждения в комментариях Вконтакте статьи про объективность экспертизы и объективность эксперта на грантовых конкурсах, меня никак не отпускает мысль о том, что для качества экспертизы действительно важно, сколько заявок проверяет эксперт в день.
Меня и раньше удивляло, что есть люди, которые способны проверять по 50-80-100 (и более) заявок за месяц в рамках одно конкурса. Такой экспертной продуктивности стоило бы позавидовать, относиться к ней с пиететом и уважением, стремиться к таким показателям. Но, прошу меня заранее извинить за прямоту, – НЕТ, ни в коем случае.
Я попробую объяснить, почему количество проверяемых заявок напрямую влияет на итоговое качество оценки, почему бесконтрольность этого параметра со стороны заказчика экспертизы (грантодателя) приводит к снижению качества всей системы экспертизы, а также почему соискателей грантов это должно реально беспокоить и «бодрить нерв» при подготовке материалов.
Сколько времени нужно для экспертизы одной заявки
Начать следует с того, сколько времени занимает качественная экспертиза одной заявки. Это базовая единица измерения для обсуждаемой темы.Под «качественной» я подразумеваю то, что ее проверяет компетентный в тематике проекта и социальном менеджменте эксперт, стремящейся к лучшему качеству своей работы, строго соблюдающий методологию и регламент экспертизы, установленной заказчиком (грантодателем).
Итак, процесс экспертизы грантовой заявки включает в себя несколько важных этапов:
1) Изучение материала «как есть», то есть фактическое прочтение заявки (вместе с приложениями), чтобы составить общее представление о содержании: качестве обоснования проблематики, проектном решении, команде, организации, бюджете и так далее.
2) Проведение непосредственно экспертизы, т.е. проверка соответствия формальным критериям и требованиям, проверка доказательной базы актуальности и значимости, поиск корреляций и необходимых взаимосвязей между разными частями, щепетильная проверка бюджета и так далее.
3) Подготовка мотивированной оценки по каждому критерию (т.е. не просто оценки, а с наличием чёткого обоснования принятия решения).
4) Подготовка рекомендаций по каждому критерию, проектному решению и заявке в целом.
5) Повторная перепроверка после некоторой паузы, чтобы избежать искажений из-за субъективных внутренних и внешних факторов эксперта.
После этого заявка отправляется заказчику экспертизы.
На время изучения заявки напрямую влияют:
◆ объем заявки (текстовой части, количество и длина писем поддержки, объём презентаций и контента в них, длительность роликов и пр.);
◆ качество изложения (бывает и правда тяжело понимать текст, из-за проблем с формулировками, понятными только заявителю сокращениями, сложными оборотами, элементарной несвязанностью одной части текста с другими и так далее). Как эксперт ты изучаешь материал «как есть» и, если он непонятен, либо есть спорные моменты, ты не можешь ничего уточнить или задать вопросы авторам, если конкурс не подразумевает очной защиты. Вы даже не представляете, как может усложнить и удлинить изучение материала его плохое изложение…;
◆ структура и форма самой заявки, т.е. то, как она выводится на печатный лист (откровенно будем говорить, что распространенные сегодня печатные формы – это не самый удобный вариант для хорошего анализа);
◆ когнитивные особенности и навыки (скорость чтения, восприятие информации, ее обобщение, анализ, удержание объема и контекста и так далее);
◆ особенности организации своей работы самим проверяющим/экспертом: подход к изучению материалов, организация рабочего пространства, контроль отвлекающий факторов и так далее. Например, для меня лично, быстрее и и продуктивнее изучать материал, если его распечатать на бумаге, и делать это в первой половине дня на свежую голову :)
◆ реальная экспертность проверяющего (то есть то, насколько он действительно разбирается в проблематике и технологиях работы с ней). Будем честны, все знать невозможно, особенно по каждой из территорий нашей огромной страны. Поэтому (опять же, лично мне) часто приходится отводить время для изучения статистических и прочих релевантных данных по конкретной территории, чтобы оценить обоснование проекта;
◆ сложность «обратной связи» по итогам проверки, которая может включать и обоснование оценки и рекомендации по каждому критерию. Обдуманная и систематизированная обратная связь занимает достаточно времени. У меня, кстати, до сих пор хранятся все «обратные связи» по проектам, которые экспортировал в 2017 году на конкурсе президентских грантов. Объем каждой почти сопоставим с размером данной статьи. Я очень хорошо помню, сколько занимало время их подготовка, поэтому отлично понимаю, о чем говорю.
Так сколько же занимает времени занимает проверка одной заявки?
Из-за многих переменных - это индивидуальный параметр. Поэтому, скажу за себя. Мой опыт – это 3 часа, в среднем, на одну заявку. Под своим опытом я имею ввиду 20 лет в сфере социальных технологий, НКО и общественных проектов, а также порядка 10 лет работы экспертом на конкурсах и свободным консультантом, регулярно проводящим аудит заявок по заказу клиентов. Некоторые заявки удаётся отработать быстрее, а с некоторыми мне приходилось и по 4-6 часов сидеть (привет тем, кто пока не умеет лаконично излагать свой поток мыслей). Также, я не проверяю более одной-двух (максимум – трёх) заявок в день, потому что нужно время на свои проекты, личную жизнь, спорт, обучение, а также потому, что если пытаюсь сделать больше, то чувствую усталость и расфокусированность, влияющую на итоговый результат. Низкого качества себе позволить не могу, потому что в этом смысл моей работы как консультанта, который стремится помочь соискателям грантов повысить шансы на победу.
Вернёмся к «супер-продуктивным экспертам».
Я не претендую на сомнительное звание «самого быстрого эксперта», поэтому допущу, что есть те, кто проделывает весь цикл качественной экспертизы за один час. Получается, что тот, кто проводит по 5-6 экспертиз в день, тратит на чистую работу 5-6 часов. С учетом перерывов на естественные потребности (и только на них) – это 7-8 часов. Полноценный рабочий день. И тут встаёт вопрос, если человек может выделять столько времени на проверку заявок, то чем он вообще занимается в своей профессиональной деятельности, из которой и должен черпать ту самую экспертную компетенцию для качественной экспертизы? (не претензия, просто вопрос)
Более того, сложный аналитический труд (а именно таковым является экспертиза заявки) очень сильно нагружает мозг. Такая нагрузка продолжительное время просто невозможна, потому что мозг тратит больше всего энергии и после какого-то предела начинает «отдыхать» вне зависимости от наших желаний. Затормаживание неизбежно.
Получается, что при высокой нагрузке из-за количества экспертиз в день, падают когнитивные способности проверяющего, что в свою очередь снижает итоговое качество экспертизы. И все заявки, которые попали в период «торможения» эксперта не могут иметь шанса на качественную оценку. И это не я придумал, а природа.
Также, если человек отводит себе мало времени на работу, то когнитивные искажения только усиливаются. Приходится заставлять себя работать интенсивнее, держать в голове много информации, анализировать быстрее, считать быстрее, писать быстрее и так далее. Это быстро порождает элементарную усталость (и опять, привет, торможение!).
Но еще страшнее для итогового результата то, что в этих условиях проверяющий старается найти наиболее быструю и простую модель для принятия своих субъективно обоснованных решений. То есть он неосознанно (хотя, порой, абсолютно осознанно, к сожалению) идет по пути упрощения методологии экспертизы, накладывая некий шаблон без учёта разницы сложности и специфики материала, потому что ему надо уложиться в определённое время.
Возможно, такой человек просто не профессионал и не умеет проводить экспертизы. Возможно, он не понимает своей общественно значимой функции эксперта грантового конкурса (или понимает ее неправильно). Но, скорее всего, такой человек просто отрабатывает деньги, которые ему платят за оценку. Чем больше «проверил» – тем больше получил. Такая вот простая математика. Буду откровенен, что сильнее всего склоняюсь к третьей версии.
Какие выводы могут сделать грантодатели:
Вывод №1. Количество проводимых экспертиз напрямую влияет на качество всей работы конкретного эксперта. Если он «хочет, может и готов» проводить много экспертиз – это сигнал, который надо сразу считывать и делать оргвыводы.Вывод №2. Методология экспертизы может содержать ограничение на количество проверяемых заявок в день. Большим фондам это вполне можно сделать на программном уровне, чтобы в личном кабинете эксперта каждый день в доступе было только 2-3 заявки и не было возможности взять больше.
Вывод №3. Поднятие оплаты за заявку может быть хорошим стимулом для более качественной работы. Для проверяющего 1000-2000 рублей за 1 час на заявку – неплохо, и не хочется тратить 2-4 часа, потому что это прямо снижает стоимость времени. Настройка системы стимулирования даст отличный результат.
Вывод №4. Ограничения по количеству проверяемых заявок в совокупности с повышением контроля качества экспертиз важны и для того, чтобы не их развращать проверяющих. Возможность заработать больше денег без жесткого внешнего контроля качества развращает (все люди слабы), расслабляет и неизбежно будет приводить к ухудшению итогового результата. Если на системном уровне будет такая уязвимость, то качество всей системы будет неизбежно ухудшаться.
Вывод №5. Технически возможно упростить работу эксперту (значит – ускорить ее), также используя аппаратные и программные средства. Например – визуализация частей заявок. Так, если на печатную форму будет выводиться не таблица календарного плана, а «дорожная карта», которая показывает на временном отрезке по месяцам мероприятия с описаниями и их корреляцию с задачами и показателями эффективности, то эксперт бы мог делать свою работу быстрее примерно на 15-25% за счёт того, что ему будет облегчено структурирование.
Вывод №6. Анонимность эксперта понижает его ответственность, потому что он «прячется» от ответственности за свою некачественную работу за структурой фонда. Вопрос про анонимность сложный, не спорю, но факт понимания отсутствия ответственности за низкое качество нужно учитывать при совершенствовании системы.
Какие выводы должны сделать соискатели грантов:
Вывод №1. Придётся работать с фактом, что пока достаточно немало тех, кто проверяет много заявок в день. Это означает, что просто нужно принять, что шанс попасть в когнитивные искажения экспертов у соискателей достаточно велик. Представляя себе эксперта (это полезно делать, готовя заявку), вы должны ориентироваться на того, кто захочет принять решения очень быстро, потому что у него нет много времени на вас.Вывод №2. Понимания сложность работы эксперта – стремитесь ее упрощать за счёт разных механик (например, нарисуйте ему в презентации свою «дорожную карту», чтобы ему было легче вас понять). Чтобы ослабить влияние когнитивных искажений и повысить свои шансы на успех, нужно научиться лаконично излагать свои тексты и готовить проектные решения. Кратко, лаконично, четко, однозначно, по-существу. Этот навык придётся в себе развивать.
Вывод №3. Обязательно проходите внешний аудит до подачи заявки. Особенно, если у вас не такой большой опыт в грантрайтинге (механиках упаковки заявок). Опытный взгляд со стороны позволит избежать множества ошибок. Если хотите, можете его пройти у меня (подробности здесь: https://грантрайтеры.рф/audit).
P.S. Я вынашивал идею этой статьи несколько дней, а на изложение потратил более 3 часов, потом она «полежала» некоторые время, я ее проверил на свежую голову, и лишь потом опубликовал для своего заказчика – каждого из вас, кто ее читает. Поэтому я до сих пор не понимаю тех, кто делает по 5-6 (и более) экспертиз грантовых заявок в день. У меня так не получается. И стремиться не буду. Я за качество.