BULLETIN OF NATIONAL ACADEMY OF SCIENCES OF THE REPUBLIC OF KAZAKHSTAN
ISSN 1991-3494
Volume 2, Number 366 (2017), 154 – 159
A. Ch. Bazilov
Doctoral student, Academy of Public Administration under the President of the Republic of Kazakhstan, Astana, Kazakhstan.
E-mail: [email protected]
RANDOMIZED CONTROLLED TRIALS (RCTs) AS A TOOL
научную обоснованность получаемых выводов. РКИ наиболее оптимально для оценки эффектив- ности лечения и имеет низкую вероятность возникновения систематической ошибки [1].
Основная часть. Исторический аспект. Возникновение рандомизированного контролируе- мого испытания, как правило, связывают с исследованием Хилла по влиянию стрептомицина для лечения туберкулеза, отчет о котором был опубликован в 1948 году Британским Советом по медицинским исследованиям (British Medical Research Council, MRC). Но усилия эмпирически оценить экспериментальные методы лечения имеют куда более давнюю историю. К примеру, в 1753 году шотландский хирург Джеймс Линд проведя экспериментальное исследование доказал, что употребление цитрусовых эффективно в борьбе с цингой, поражающей моряков во время плавания в море [2].
Слабо контролируемые исследования все чаще и чаще появлялись в 18 и 19 веках, которые часто проводились скептиками, чтобы проверить результативность неортодоксальных средств, начиная от гипноза к гомеопатии [2].
Произошедшие фундаментальные сдвиги в социальной и научной структуре медицины в конце 19 и начале 20 веков, такие как увеличение числа больниц, появление новых индустрий в области биологии и вакцин, против выявленных новых микробов, разработки химиками новых терапевтических соединений и многое другое, создало новые возможности и требования для изу- чения более совершенных подходов к оценке экспериментальных методов лечения [2].
К концу ХІХ века, исследователи проводили испытания «альтернативного распределения», ко- торые являлись методологическими предшественниками РКИ. Условным началом использования этого метода может считаться исследование влияния дифтерийного антитоксина в лечении 484 па- циентов, проведенного в 1898 году в Копенгагене Йоханнесом Фибигером. Фибигер через день да- вал пациентам экспериментальное средство лечения, а потом сравнивал результаты. Вместе с тем, испытания «альтернативного распределения» имели неоспоримое ограничение для определения эффективности метода лечения, так как методика позволяла предвидеть распределение лечения.
Решением стало скрытое случайное распределение, позволяющее в последующем посредством обоснованных статистических методов оценить результаты эксперимента [2].
При финансовой поддержке Британского Совета по медицинским исследованиям в 1940-х и 1950-х годах, Хилл и его коллеги поразили научное сообщество целым рядом оригинальных РКИ.
За британцами вскоре последовали исследователи из США и других стран, которые приняли РКИ как незаменимое средство для того, чтобы определить действительно эффективные медикаменты, в условиях постоянно меняющейся фармацевтической индустрии [2].
В 1962 году Конгресс США принял поправки Кефовера-Харриса в Закон о пищевых продук- тах, лекарственных препаратах и косметических средствах, в соответствии с которыми Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (Food and Drug Administration, FDA) стало требовать от производителей фармацевтической продукции демонстра- ции терапевтической эффективности и безопасности лекарственных средств до утверждения препарата, в этой связи метод РКИ стал наиболее подходящим инструментом. В 1970 году Управ- ление по санитарному надзору за качеством пищевых продуктов и медикаментов США стало требовать, чтобы производители новых лекарств представляли результаты РКИ, возвещая новую эру РКИ как центрального элемента инфраструктуры по регулированию лекарственных средств в рамках страны, а также последующего расширения до глобальных масштабов. РКИ способ- ствовали реализации важнейшей социальной функции: отбор экспериментальной терапии, прежде чем они были широко распространены, и определение фактических эффектов медицинских инно- ваций [2].
Итак, (1) РКИ сыграли важную роль в становлении медицины как науки. Испытания «альтер- нативного распределения» возникли в рамках тренда в сторону эмпиризма и систематизации в медицине и представляли собой значительное продвижение в решении предвзятости клинических исследований. Затем решение главного его ограничения привело к возникновению РКИ. Широкое распространение РКИ сформировало ту медицину, которую мы знаем, как науку, в основе которой лежат доказательства и факты нежели домыслы и догадки. (2) Стремительному распространению РКИ способствовали значительное государственное финансирование, а также научная и норма- тивно-правовая инфраструктура.
В настоящее время предполагается, что РКИ также могут быть использованы в социальных сферах, например, это может помочь политикам определить эффективность разрабатываемой политики или способы ее адаптации с целью достижения наибольшей эффективности [1, 3].
Такие организации, как NESTA, Education Endowment Foundation (EEF), Behavioural Insights Team и известный врач, ученый и писатель, Бен Голдэйкр (Ben Goldacre) возобновили интерес к использованию РКИ в Великобритании, подчеркивая полезную роль, которую РКИ сыграли в переходе предпочтений от экспертного заключения врачей к систематическому изучению доказательств. В своей работе для Министерства образования Голдэйкр утверждает, что исполь- зование РКИ может также принести выгоду в реализации государственной политики путем предос- тавления доказательств, «что работает», а не полагаться на «высокий пост, харизму и личный опыт» [4].
Существуют и опасения, что РКИ продвигаются в качестве «золотого стандарта» де-профес- сионализации экспертов, а также отказ от рассмотрения этических вопросов вокруг рандомизации потенциально полезных мероприятий [4].
Применение РКИ: небольшой эксперимент. Вначале следует напомнить вкратце ход экспери- мента. Участники программы случайным образом разделяются на две группы. Одна группа под- вергается воздействию экспериментального фактора (так называемая «экспериментальная»
группа), а другая нет (так называемая «контрольная» группа). Участники обеих групп тестируются до и после программы. Результаты обеих групп сравниваются, чтобы определить, есть ли эффект от воздействия. Далее попытаемся на примере проиллюстрировать возможности применения РКИ.
Двадцать пять магистрантов Академии государственного управления при Президенте Респуб- лики Казахстан были образом разделены на две группы: контрольная группа (13 человек) и экспе- риментальная группа (12 человек), затем анонимно опрошены, если они будут использовать теле- фон во время вождения автомобиля. Предварительные результаты были следующими. В контроль- ной группе: 2 – не ездят вообще (15.4%), 2 – не стали бы использовать телефон (15.4%), и 9 – отве- тили бы на входящий вызов или сообщение (69.2%). В экспериментальной группе: 2 – не стали бы использовать телефон (17%), и 10 – ответили бы на входящий вызов или сообщение (83%).
Затем два видео с негативными последствиями использования телефона во время вождения были показаны участникам экспериментальной группы. После этого участники обеих групп были протестированы на тот же самый вопрос. Результаты второго теста оказались следующими. В кон- трольной группе результаты не изменились и остались прежними: 2 – не ездят вообще (15.4%), 2 – не стали бы использовать телефон (15.4%), и 9 – ответили бы на входящий вызов или сообщение (69.2%).
В экспериментальной группе ситуация изменилась: 2 – не стали бы использовать телефон (17%), 5 – передумали и поменяли свой ответ с «ответили бы на входящий вызов или сообщение» на «не ста- ли бы использовать телефон» (42%) и 5 – ответили бы на входящий вызов или сообщение (41%).
Таким образом, эксперимент показал, что, во-первых, большинство участников ответили бы на входящий вызов во время вождения, несмотря на то, что это запрещено по закону в Казахстане и за это предусмотрен административный штраф [5, ст. 591]. А во-вторых, после просмотра видео- материалов с негативными результатами использования телефонов во время вождения, 42%
участников в экспериментальной группе, передумали и ответили, что не стали бы использовать телефон во время вождения.
Парный т-тест был проведен для проверки нулевой гипотезы: нет никакой существенной разницы в поведении водителей, подвергающихся образовательной программы о негативных последствиях использования мобильного телефона во время вождения. Средняя разница в экспериментальной группе до и после воздействия равна 0,33 и т-тест показывает, что это различие является значимым (t = -2.345, df = 11, p <0,05). Таким образом, нулевая гипотеза может быть от- вергнута, и результаты показывают, что поведение группы, которая подвергается образовательной программе существенно отличается от их поведения до воздействия.
Вместе с тем, следует отметить наличие некоторых недостатков эксперимента. Во-первых, малое количество участников не дает полной уверенности в том, что рандомизация участников в значительной степени способствовала объективности полученных результатов. Во-вторых, экспе- римент не может рассматриваться в качестве чистого эксперимента, так как участники только отвечали на вопрос на бумаге, а не вели автомобиль в реальной жизни.
Этот простой эксперимент об использовании телефона во время вождения дает основание рас- сматривать более широкое применение РКИ. Следует отметить, что несмотря на законодательный запрет использования телефона во время вождения, большинство участников процесса ответили утвердительно на вопрос будут ли они отвечать на входящий вызов или сообщение во время вож- дения. Штраф за это нарушение был введен в 2008 году и составляет 5 «месячных расчетных показателей» (МРП) в первый раз и 7 МРП во второй раз, если совершено в текущем году. Затем в 2014 году сумма штрафа за второе нарушение в один год была увеличена с 7 МРП до 10 МРП что составляет около 21 210 тенге [5]. Кроме того, сотрудниками дорожной полиции поднимался воп- рос о необходимости ужесточения закона, например, в 2014 году, когда поправки обсуждались в парламенте было предложено лишать водителей прав на полгода для тех, кто нарушил закон, касающийся использования телефона во время вождения третий раз в течение одного года. Аргу- ментами были международный опыт развитых стран.
Таким образом, возникает главный вопрос как можно узнать действенны ли меры, вводимые государством, имеют ли они эффект? Если, несмотря на довольно большие штрафы, граждане не боятся нарушать закон, будет ли ужесточение законодательства вплоть до лишения водительских прав эффективно или нет? Или это поднимет только количество взяток со стороны сотрудников полиции в случае его реализации? Или, может быть в центре внимания должны быть образователь- ные мероприятия? Простой эксперимент, представленный выше, показал, что 42% участников изменили свое мнение, чтобы не использовать телефон во время вождения после просмотра видео о последствиях этого.
После рассмотрения этих вопросов, возможно РКИ может помочь узнать, если какой-либо эффект от предпринимаемых государством мероприятий. Это может помочь сравнить варианты мероприятий с тем, чтобы информацию об их эффективности можно было получить до полномас- штабной реализации политики или программы.
Выводы и заключение. Использование РКИ в качестве инструмента предварительной оценки может предотвратить реализацию неэффективных программ, с тем, чтобы миллиарды бюджетных средств не были бы потрачены в пустую. Особенно это касается Казахстана, где согласно ежегод- ным отчетам Счетного комитета, к примеру, выявляются миллиарды бюджетных денег потрачен- ных неэффективно [6]. А согласно отчету ОЭСР, Казахстан имеет проблему обобщающей оценки результатов программ [7, 8]. В этом отношении РКИ является одним инновационных способов оценки, который позволяет наиболее достоверно определить есть ли эффект от программы.
Простой эксперимент по проведению РКИ, продемонстрированный в данной работе, проиллю- стрировал наличие значительного потенциала использования РКИ в оценке государственных программ в реальности. Существует, однако, гораздо более широкий потенциал для применения этого подхода. В настоящее время, пути решения ключевых проблем при помощи государственных программ, могут быть основаны на плохо продуманных политических идеях или предположениях государственных служащих. Несмотря на то, что зачастую не хватает какой-либо эмпирической основы для определения эффективности той или иной программы, большие объемы государст- венных ресурсов могут быть потрачены для их реализации. РКИ может быть использован для тес- тирования вариантов мероприятий в рамках пилотных экспериментов, прежде чем государст- венные средства вкладываются в значительной степени. РКИ предлагают механизм для проверки потенциальных последствий вариантов решения поставленной задачи и предлагают тренд в сторону реализации более доказательной, основанной на фактических данных, государственной программы. Также как в свое время РКИ стали катализатором революции в медицине, способство- вавшие ее становлению как научно-обоснованной области человеческой деятельности, так и в со- циальной науке РКИ могут трансформировать мир социальной политики в более доказательное ее состояние.
В то время как под влиянием нестабильной экономической и финансовой мировой конъюнк- туры снижаются доходы нашей страны и приоритетом работы правительства становиться рачи- тельное использование бюджетных средств [9], оценка государственных программ в Казахстане показывает, что некоторые из них являются неэффективными и значительные бюджетные средства тратятся впустую. При этом, успешное применение РКИ в медицинской области вселяет уверен-
ность, что РКИ может стать одним из инструментов оценки вновь разрабатываемых государствен- ных программ с точки зрения их эффективности.
Следует отметить, что в условиях продолжающегося мирового кризиса, экономии бюджетных средств и перехода к бюджету ориентированному на результат правильно выстроенная и дей- ствующая система оценки государственных программ позволит нашей стране не только пережить наступившие сложные времена, но и выйти из кризиса более устойчивыми и конкурентоспособ- ными.
Подводя итог, следует отметить, что РКИ не является панацеей для Казахстана. И безусловно наряду с преимуществами имеет и недостатки [10, с. 3]. Но, несомненно, можно констатировать, что РКИ имеет значительный потенциал для использования в Казахстане, между тем перед внедре- нием этого инструмента в систему оценки нашей страны должен быть проведен его критический анализ.
ЛИТЕРАТУРА
[1] Haynes L., Service O., Goldacre B. & Torgerson D. (2012). Test, Learn, Adapt: Developing Public Policy with Rando- mised Controlled Trials. UK: Cabinet Office Behavioural Insights Team. accessible at: www.cabinetoffice.gov.uk.
[2] Bothwell, L. E., & Podolsky, S. H. (2016). The emergence of the randomized, controlled trial. New England Journal of Medicine, 375(6), 501-504.
[3] Pearce, W., & Raman, S. (2014). The new randomised controlled trials (RCT) movement in public policy: challenges of epistemic governance. Policy sciences, 47(4), 387-402.
[4] Оценка программ: методология и практика // Под ред. А. И. Кузьмина, Р. О. Салливан, Н. А. Кошелева. – М.:
Изд-во «Престо-РК», 2009. – 396 с.
[5] Кодекс Республики Казахстан от 5 июля 2014 года № 235-V ЗРК «Об административных правонарушениях»
[Электронный ресурс]. – Режим доступа: http://adilet.zan.kz/rus/docs/K1400000235.
[6] Отчет Счетного Комитета по контролю за исполнением Республиканского Бюджета об исполнении респуб- ликанского бюджета за 2015 год (заключение к отчету Правительства Республики Казахстан) [Электронный ресурс]. – Режим доступа: http://esep.kz/rus/show1/article/26.
[7] Organization for Economic Cooperation and Development [OECD]. (2014). Kazakhstan: Review of the Central Administration, OECD Public Governance Reviews. OECD Publishing, Paris.
[8] Knox, C. (2016). Public Sector Reform in Kazakhstan: a trajectory to the thirty most developed countries? IIAS-IASIA Symposium: Building Capacity of Sustainable Governance. Working Group III: Public Sector Reform.
[9] Послание Президента Республики Казахстан Н. Назарбаева народу Казахстана от 31 января 2017 г. «Третья модернизация Казахстана: глобальная конкурентоспособность» [Электронный ресурс]. – Режим доступа:
http://www.akorda.kz/ru/addresses/addresses_of_president/poslanie-prezidenta-respubliki-kazahstan-nnazarbaeva-narodu- kazahstana-31-yanvarya-2017-g.
[10] Pearce, W., Raman, S., & Turner, A. (2015). Randomised trials in context: practical problems and social aspects of evidence-based medicine and policy. Trials, 16(1), 1-15.
REFERENCES
[1] Haynes L., Service O., Goldacre B. & Torgerson D. (2012). Test, Learn, Adapt: Developing Public Policy with Randomised Controlled Trials. UK: Cabinet Office Behavioural Insights Team. accessible at: www.cabinetoffice.gov.uk.
[2] Bothwell, L. E., & Podolsky, S. H. (2016). The emergence of the randomized, controlled trial. New England Journal of Medicine, 375(6), 501-504.
[3] Pearce, W., & Raman, S. (2014). The new randomised controlled trials (RCT) movement in public policy: challenges of epistemic governance. Policy sciences, 47(4), 387-402.
[4] Kuzmina, A.I. (2009). Evaluation of programs: methodology and practice. Ed. by Kuzmina A.I., O'Sullivan R., Koshe- leva O.N. M .: Presto-RK Publishing House. (in Russ.).
[5] Administrative Offences Code. The Code of the Republic of Kazakhstan dated 5 July 2014 No. 235-V. accessible at:
http://adilet.zan.kz/eng/docs/K1400000235. (in Russ.).
[6] Audit Office for Control over Execution of the Republican Budget of the Republic of Kazakhstan [Audit Office].
(2016). Report on the Performance of the Republican Budget for 2015. accessible at: http://esep.kz/rus/show1/article/26. (in Russ.).
[7] Organization for Economic Cooperation and Development [OECD]. (2014). Kazakhstan: Review of the Central Administration, OECD Public Governance Reviews. OECD Publishing, Paris.
[8] Knox, C. (2016). Public Sector Reform in Kazakhstan: a trajectory to the thirty most developed countries? IIAS-IASIA Symposium: Building Capacity of Sustainable Governance. Working Group III: Public Sector Reform.
[9] The President of Kazakhstan Nursultan Nazarbayev’s Address to the Nation of Kazakhstan. January 31, 2017. «Third Modernization of Kazakhstan: Global Competitiveness». accessible at: http://www.akorda.kz/en/addresses/addresses_of_
president/the-president-of-kazakhstan-nursultan-nazarbayevs-address-to-the-nation-of-kazakhstan-january-31-2017.
[10] Pearce, W., Raman, S., & Turner, A. (2015). Randomised trials in context: practical problems and social aspects of evidence-based medicine and policy. Trials, 16(1), 1-15.
А. Ш. Базылов
Докторант, Қазақстан Республикасы Президентінің жанындағы Мемлекеттік басқару академиясы, Астана, Қазақстан
ҚАЗАҚСТАН РЕСПУБЛИКАСЫНДАҒЫ МЕМЛЕКЕТТІК БАҒДАРЛАМАЛАРДЫ БАҒАЛАУ ҚҰРАЛЫ РЕТІНДЕ РАНДОМИЗИРЛЕНГЕН БАҚЫЛАНАТЫН СЫНАҚТАР (РБС)
Аннотация. Рандомизирленген бақыланатын сынақтар (РБС) мемлекеттік бағдарламаларды бағалау құралы ретінде, осы құралдың қолданылуы жəне пайдалылығын зерттеленеді. Бұл үшін РБС-тың медицинада қолдану ретроспективтік талдауы жəне əлеуметтік саладағы əлемнің озық елдерінде оны пайдалану трендті пайда болуы байқалады. Магистранттар тобына РБСтың талпыныс өткізуі белгілі бір əлеуетті жəне оның пайдалануы мүмкіндігін көрсетті. Жəне, ақыр соңында, бағдарламаларды бағалауында РБС пайдалану кейбір жалпы перспективалар берілді.
Түйін сөздер: мемлекеттік жəне үкіметтік бағдарламалардың бағалауы, рандомизирленген бақыланатын сынақтар, мемлекеттік бағдарламалардың тиімділігі.
BULLETIN OF NATIONAL ACADEMY OF SCIENCES OF THE REPUBLIC OF KAZAKHSTAN
ISSN 1991-3494
Volume 2, Number 366 (2017), 160 – 169
S. S. Baktymbet, A. S. Baktymbet, N. A. Kurmanov, A. Zh. Satbayeva Kazakh University of Economics, Finance and International Trade, Astana, Kazakhstan.
E-mail: [email protected]