типы развития муниципального образования

методы, основанные на использовании инструментальных перемен­ных и рефлексивных сравнений (таблица 7).

методы двойных различий- метод учета различий между различия­ми, метод анализа результативности программы, когда сравниваются раз­личия, имевшие место в экспериментальной и контрольной группах за вре­мя реализации программы;

метод отбора по подобию - метод формирования контрольной группы из тех, кто не участвует в проекте, но наиболее близок по ключе­вым переменным к экспериментальной группе;

Когда невозможно создать контрольные и экспериментальные группы посредством экспериментального подхода, для оценки можно использовать квазиэкспериментальные (нерэндомизированные) подходы. С помощью эконометрических методов создаются контрольные группы, напоминаю­щие экспериментальные (по крайней мере, в отношении наблюдаемых ха­рактеристик). Примеры:

Квазиэкспериментальные подходы

При использовании экспериментального подхода некоторые из этих проблем можно решить, благодаря тщательному планированию. Один из способов - случайный отбор бенефициаров. Это обеспечивает создание политически прозрачного механизма распределения и одновременно осно­ву грамотного плана оценки, поскольку бюджетные или информационные ограничения часто делают невозможным точно выявить тех, кто имеет наи­большее право на помощь, и оказать им эту помощь. Второй способ - ис­пользовать контрольные группы на более поздней стадии программы, по­сле того как план оценки уже разработан и сама оценка уже началась. Этот метод случайной выборки определяет, когда именно получат помощь те, кто имеет на это право (в отличие от определения того, получают ли они ее вообще). И, наконец, рэндомизация может быть применена в подвыборке из группы людей, имеющих одинаковое право на выгоды от программы.

Хотя экспериментальные подходы считаются оптимальным инстру­ментом при оценке воздействия программ, их практическое применение сопряжено с некоторыми проблемами. Во-первых, рэндомизация (процесс формирования случайной выборки) может оказаться неэтичной, так как она требует отказа в предоставлении помощи и услуг тем, кто нуждается в них и имеет на них право. В качестве крайнего (экстремального) примера мож­но привести отказ некоторым членам в лечении, которое потенциально мог­ло бы спасти им жизнь. Во-вторых, предоставление выгод одной группе и отказ по отношению к другой могут оказаться политически опасными. В-третьих, программа может быть столь широка, что получают выгоды все и контрольной группы просто не может быть. В-четвертых, у членов кон­трольной группы во время эксперимента возможны изменения некоторых ключевых характеристик, что сделает затруднительным получение адекват­ных и «чистых» результатов. В-пятых, трудно обеспечить по-настоящему случайный характер распределения выгоды от программы. И, наконец, при некоторых обстоятельствах экспериментальные подходы могут быть трудо­емкими и дорогостоящими, особенно при сборе новых данных.

Экспериментальные подходы, также называемые «рэндомизацией», обычно считаются наиболее надежной и обоснованной методикой оценки. При случайном распределении сам процесс создает экспериментальные и контрольные группы или объекты, сравнимые и статистически эквивалент­ные при достаточном объеме выборки. Это очень важный результат, посколь­ку контрольные группы или объекты, составленные с помощью случайной выборки, обеспечивают идеальную «гипотетическую ситуацию», свобод­ную от смещения выборки (эта проблема присутствует во всех оценках). Основное преимущество этой методики заключается в простоте интерпре­тации данных, так как воздействие программы измеряется разницей между средними показателями в экспериментальной и контрольной группах.

Экспериментальные подходы

Сильные и слабые стороны каждого из этих методов более подробно рассмотрены ниже. Ни один из методов не является идеальным, и потому окончательное решение о выборе наиболее подходящего из них должен при­нимать специалист по оценке. Однако заблаговременное и тщательное плани­рование даст больше вариантов при разработке схемы и стратегии оценки.

Тем не менее, довольно сложно отделить воздействие программы от такой ситуации из-за различий в предыстории, смещений и ошибок выбор­ки. Для оценки воздействия можно также использовать качественные мето­ды, или методы с вовлечением бенефициаров. Они часто дают возможность критически взглянуть на процесс с позиции бенефициаров, увидеть, какова ценность программы для ее участников, какие процессы могут влиять на результат и, таким образом, более корректно интерпретировать данные ко­личественного анализа.

Получить представление о гипотетической альтернативной ситуации можно несколькими методами, которые подразделяются на две общие кате­гории: экспериментальные (рэндомизированные) и квазиэксперименталь­ные (нерэндомизированные) подходы.

Чтобы получить представление о гипотетическом альтернативном сценарии, необходимо отделить эффект воздействия от других факторов, что представляет собой довольно сложную задачу. Для этого используют­ся контрольные группы (control groups), т. е. группы тех, кто не участвует в программе и не получает помощи.

На эти вопросы нельзя ответить простым измерением итогов про­граммы. Ведь в ситуации могут присутствовать другие факторы или со­бытия, коррелирующие с результатом, но не вызванные программой. Для обеспечения методологической строгости оценка воздействия должна охва­тывать так называемую «гипотетическую альтернативную ситуацию или сценарий», «предположение от обратного» (determining the counterfactual), т. е. «то, что было бы в отсутствие программы».

Особое значение представляет определение того, в какой степени эти выгоды оказываются достижимыми для бенефициаров и как эти выгоды воздействуют на их благосостояние. Среди вопросов, которые ставит пе­ред собой оценка воздействия, могут быть следующие: как проект повли­ял на бенефициаров? Были ли наблюдаемые улучшения прямым результа­том проекта или они произойти бы в любом случае? Можно ли повысить эффективность программы путем внесения в нее каких-либо изменений? Обоснованы ли затраты?

Согласно определению из литературных источников, оценка считается комплексной, если она включает в себя мониторинг, а также оценку процес­са, оценку «затраты-выгоды» и оценку воздействия. Однако эти составляю­щие имеют четкие различия. Мониторинг (monitoring) помогает определить, не отклоняется ли программа от плана. Он обеспечивает постоянную об­ратную связь, что позволяет выявлять проблемы по мере их возникновения. Оценка процесса (process evaluation) относится к процессам осуществления программы и предоставления соответствующих услуг. Оценка «затраты-выгоды» (cost-benefi t) и «затраты-эффективность» (cost-effectiveness) сопо­ставляет затраты по программе (финансовые и пр.) с альтернативными воз­можностями использования тех же ресурсов и соответствующими выгодами от программы. И, наконец, оценка воздействия (impact evaluation) выявляет, оказала ли программа ожидаемое воздействие на людей, домохозяйства или институты и дало ли это мероприятие необходимый эффект. Оценка воздей­ствия позволяет также анализировать побочные последствия, положитель­ные и отрицательные, для бенефициаров (получателей выгод).

Программа развития муниципального образования - это система практических действий по эффективному управлению муниципальным об­разованием, которая влечет за собой реальный, ощутимый эффект. Следо­вательно, его можно и нужно «наблюдать» и измерять. Как правило, му­ниципальные программы направлены на предоставление конкретных благ конкретным людям, группам людей, населению муниципального образова­ния. Поэтому оценивать успешность программ развития можно, опираясь на вполне объективные параметры.

3.2. Методика оценки воздействия муниципальных программ на развитие муниципального образования

изданные в издательстве Российской Академии Естествознания

3.2. Методика оценки воздействия муниципальных программ на развитие муниципального образования - СОВЕРШЕНСТВОВАНИЕ УПРАВЛЕНИЯ РАЗВИТИЕМ МУНИЦИПАЛЬНОГО ОБРАЗОВАНИЯ - Монографии - Российская Академия Естествознания