Фонд президентских грантов опубликовал статистику о победителях второго конкурса 2019 года, которая заставляет задуматься над тем, насколько фактор удачи играет ключевую роль в победе. В этой статье размышляем о проблеме интерпретации данных в заявке и отчете.
На обучающих мероприятиях и в индивидуальной работе со своими клиентами я постоянно говорю о важности внимательного отношения к представляемым данным при обосновании значимости и актуальности проекта.
Многие удовлетворяются тем, что представляют некоторый набор цифр - статистических данных (хотя, справедливости ради, стоит отметить, что пока еще многие не делают даже этого). Я не буду углубляться, лишь отмечу, что данные должны быть здесь реальными, релевантными, достаточными (оптимальными) для качественного описания проблемной ситуации.
Напомню, что для эксперта ситуация воспринимается именно через статистические данные, а не через наше личное отношение к проблеме, переживаниям о ее существовании и желанием ей заниматься.
Важно не только представить хорошую статистику, но и дать правильную интерпретацию цифрам, потому что в противном случае эксперт может сделать интерпретацию сам и такая интерпретация может быть совсем не такой нам не выгодна.
Причем это важно не только при обосновании. То же самое справедливо и для представления отчетных материалов. Есть соблазн дать как можно больше данных - «нарезать» результаты. Это, скорее всего, не так плохо, но без нужных акцентов в интерпретации может сыграть злую шутку.
Разберем на конкретном примере.
Недавно фонд Президентских Грантов опубликовал интересную статистику. Она показывает структуру победителей второго конкурса 2019 года через такой параметр как «количество попыток до победы». Из нее следует, что из 2128 победителей:
・21,5% победили с первой попытки (не участвовали ранее)
・52,6% побеждали в предыдущие конкурсы 2017-2019
・25,9% победили с какой-то попытки (даже с 6-ой)
Без сомнения, посыл очень позитивный, нацеленный на то, чтобы приободрить проигравших и дать им надежду, подкрепляя ее конкретной «раскладкой» статистики участников.
Если брать за аксиому, что конкурс честный, то победа в нем является следствием соблюдения формальных требований, а также представления качественной презентации эффективного проекта. То есть для победы необходимо:
・дать эффективное решение конкретной социальной проблемы,
・сделать качественную презентацию требуемых в условиях параметров,
・все подать в обозначенное время в указанном формате.
Если не соблюдены формальные требования, то проект не допускается до экспертизы, то есть до непосредственно конкурса. Поэтому мы должны исключить из анализа такие случаи и признать, что все участники представленной статистики в каждой своей попытке в этом блоке все сделали правильно.
Значит наличие или отсутствие победы определялось оставшимися двумя параметрами: умение заявителя проектировать, умение заявителя презентовать свою работу. То есть речь идет о навыках и подходах к их оценке (экспертизе).
Поэтому, когда я смотрел эти данные, мне определенно не хватало ответов на следующие вопросы:
- какова принципиальная разница в подготовке победителей «с первого раза» и тех, кто победил впервые после нескольких попыток?
- те, кто победили с нескольких попыток все это время подавали один и тот же проект или разные?
- что именно было улучшено в проектах, которые победили с некоторой попытки?
- запрашивали и получали ли участники обратную связь от фонда в которой они видели свои ошибки, чтобы провести над ними работы, либо доработка проводилась на свое усмотрение?
- оценивали ли одни и те же проекты в разных итерациях одни и те же эксперты или это были разные люди?
- оценивались ли заявки действительно квалифицированными в конкретной области экспертами?
- выдерживалось ли качество экспертизы на каждой итерации, ее непредвзятость и единообразие в методологии оценки?
- обучались ли соискатели на курсах и мероприятиях Фонда?
- обучались ли соискатели на иных образовательных площадках (каких)?
- пользовались ли услугами профессиональных грантрайтеров и консультантов на аутсорсе или все делали сами?
- какие иные статистически важные различия есть между представленными тремя категориями победителей?
Без этих данных представленная статистика заставляет сделать вывод о том, что нет абсолютно никакой прямой зависимости победы в конкурсе и того, что и как ты умеешь делать, чем именно занимаешься, сколько лет твоей организации, качество опыта, важность проблемы, качество заявки, наличие подготовки и так далее.
"Неужели получается, что победа в конкурсе - это просто удача» - скорее всего именно этот вывод сейчас сделан в вашей голове. Но давайте не выносить поспешных вердиктов.
Видите как применение критически важных для оценки статистических данных переменных перевернуло весь ход нашего анализа? Также это происходит у любого качественного и строгого эксперта, к которому может попасть наша заявка или наш отчет. Мы даем одни данные, полагая, что это будет воспринято одним образом, а итог может быть совершенно обратный.
«Так что с выводом об «удаче», Егор?» - вернете вы меня.
Кажется, что уже все очевидно, но не будем торопиться. Свой ответ я также должен обосновать данными.
И вот какие факты могу предложить для нашего анализа:
а) из опыта работы экспертом в Фонде президентских грантов в 2017 году. Тогда все заявки, которые мне попали на экспертизу, проиграли или выиграли объективно и справедливо. Ни одна организация, которой я поставил вердикт «не поддерживать» не прошла, даже не смотря на свой размер и связи;
б) опыт регулярного аудита десятков заявок в рамках проекта «ГрантРайтеры.РФ» говорит о том, что навыки и «разработки» и «упаковки» у подавляющего большинства соискателей требует совершенствования;
в) многие соискатели грантов не готовы инвестировать в свое развитие, удовлетворяясь бесплатным контентом и мероприятиями, что явно не дает возможность ускорить формирование нужных навыков. У меня есть немало примеров того, что люди по 5 раз подавали заявки, жаловались мне на проигрыш, но при этом ни разу не были готовы заплатить за качественный аудит (3 года жизни и собственные нервы были дешевле 7000 рублей);
г) многолетний опыт работы консультантом и ведущим семинаров показывает, что культура «эффективных проектных решений» в социальной сфере пока в зачаточном состоянии;
д) я видел заявки, которые не должны были выиграть, но получали существенную поддержку;
е) я видел заявки, которые выиграть должны были по всем признакам, но проиграли без объяснения причин;
ж) те, кто инвестирует в свое развитие, активно учится и регулярно участвует в конкурсах - побеждают с более высокой вероятностью и частотой (это в том числе опыт участников и клиентов проекта «ГрантРайтеры.РФ»);
з) для качественной оценки такого большого количества проектов нужно очень много высококлассных экспертов, но наличие их в необходимом количестве у меня вызывает сомнения, так как редко встречаю действительно классных профи;
и) большинство открытых и бесплатных обучающих мероприятий по проектированию и грантрайтингу содержательно очень низкого качества, не системны, либо не могут дать конкретную технологию работы. Поэтому можно люди участвуют много в чем, но это не дает качественный результат.
Исходя из этих и других данных, собранных за свои профессиональную практику, я понимаю, что все гораздо более сложно, чем кажется на первый взгляд. Поэтому делаю вывод, который постоянно привожу в виде следующего совета:
«Наша задача разработать максимально эффективное проектное решение, супер-качественно упаковать презентационные материалы, сделать подробную самоэкспертизу и доработку, соблюсти все формальности при своевременной подаче заявки. Отправили и надеемся на удачу. Не стоит переживать за то, на что повлиять мы не можем. Мы должны свою часть работы сделать «на отлично», а дальше - будь как будет».
Именно этот принцип и лег в основу образовательного проекта «Грантрайтеры.РФ».
Я не могу научить выиграть грант (никто не может, даже сам фонд). Но я могу научить проектному мышлению, технологиям упаковки и презентации, а также помочь с качественным предварительным анализом материалов.
Подводя итоги, я хотел бы обратить внимание, что сделанные тут выкладки являются моим частным мнением и не должны провоцировать вас радоваться или расстраиваться. Тем более не нужно теперь обвинять Фонд во всех смертных грехах.
Моей целью было показать, как недостаточное количество или некачественные данные могут быть причиной, что сделанная интерпретация внешним человеком будет не выгодна тому, кто их предоставил.
Итак, какие выводы нужно сделать из этой статьи:
1. Сами по себе статистические данные могут быть не только бесполезны для обоснования, но и вредны.
2. Качественная интерпретация данных - вот над чем надо трудиться при подготовке заявки и/или отчета.
3. Нужно опираться на критически важные переменные для анализа.
4. Стоит тратить время на анализ корреляций между разными данными. Либо за вас это сделает эксперт, что не всегда будет в вашу пользу.
5. Победа в конкурсе - это в определенном смысле удача. Но удачливее те, кто реально работает, совершенствует свои навыки проектирования и упаковки грантовых заявок, а также регулярно участвует в конкурсах.
6. Нужно инвестировать в свое обучение. Бесплатный контент не даст максимального эффекта.
7. Проект «ГрантРайтеры.РФ» - это ваш помощник, который обучит проектному мышлению и качественному грантрайтингу