Журнал: Социологический журналКлимова А. М., Терентьев Е. А.Сравнение качества данных PAPI и CAPI в лонгитюдном исследовании домохозяйств: результаты эксперимента в рамках РМЭЗ НИУ ВШЭ

Институт социологии
ФНИСЦ РАН

Журнал: Социологический журнал

Климова А. М., Терентьев Е. А.

Сравнение качества данных PAPI и CAPI в лонгитюдном исследовании домохозяйств: результаты эксперимента в рамках РМЭЗ НИУ ВШЭ

DOI: https://doi.org/10.19181/socjour.2020.26.4.7640
Климова Айгуль Маратовна
Национальный исследовательский университет "Высшая школа экономики", Москва, Россия
кандидат социологических наук, доцент, Департамент социологии; старший научный сотрудник, Лаборатория сравнительных социальных исследований
Терентьев Евгений Андреевич
Национальный исследовательский университет "Высшая школа экономики", Москва, Россия
кандидат социологических наук, старший научный сотрудник, Центр социологии высшего образования Института образования

Полный текст

Открыть текст

Ссылка при цитировании:

Климова А. М., Терентьев Е. А. Сравнение качества данных PAPI и CAPI в лонгитюдном исследовании домохозяйств: результаты эксперимента в рамках РМЭЗ НИУ ВШЭ // Социологический журнал. 2020. Том. 26. № 4. С. 8-30.
DOI: https://doi.org/10.19181/socjour.2020.26.4.7640

Рубрика:

ТЕОРИЯ И МЕТОДОЛОГИЯ

Выражение признательности

Статья подготовлена при поддержке Российского научного фонда. Грант № 17-78-20172

Аннотация:

В статье представлены результаты экспериментального исследования того, как переход от традиционного бумажного способа сбора социологических данных (PAPI) к сбору данных с использованием компьютерных технологий (CAPI) влияет на качество данных в лонгитюдных исследованиях домохозяйств. Эксперимент был реализован в 2018–2019 гг. в рамках проведения Российского мониторинга экономического положения и здоровья населения (RLMS–HSE). В предыдущих работах на данных экспериментального исследования в рамках 26-й волны RLMS–HSE было показано, что использование CAPI приводит к значимому уменьшению доли отказов от ответов и доли несодержательных вариантов ответа («затрудняюсь ответить»), а также к значимым различиям в отношении ответов на сенситивные вопросы. В данной работе мы проверяли консистентность полученных результатов с использованием новых данных, собранных в рамках 27-й волны RLMS–HSE. Результаты эксперимента показывают, что использование CAPI приводит к снижению доли отказов от ответа и доли выбравших несодержательные ответы, что способствует повышению качества собираемых данных. Вместе с тем было показано, что использование CAPI может приводить к повышению эффекта социальной желательности.

Литература:

  • Богданов М.Б., Лебедев Д.В. «Главное не бояться!» — воздействие тренингов на ожидания интервьюеров при переходе от PAPI к CAPI // Социология: 4М. 2018. № 45. С. 103–132.
  • Девятко И.Ф. Разработка подхода к количественной мультимодальной оценке когнитивной нагрузки интервьюеров: результаты пилотного квазиэксперимента // Вестник Российского университета дружбы народов. Серия: Социология. 2018. Т. 18. № 4. С. 627–637. DOI: 10.22363/2313-22722018-18-4-627-637
  • Лебедев Д.В., Богданов М.Б. Переход с PAPI на CAPI: опыт интервьюеров и характеристики, влияющие на их ожидания // Мониторинг общественного мнения: Экономические и социальные перемены. 2019. № 4. С. 43–67. DOI: 10.14515/monitoring.2019.4.03
  • Малошонок Н.Г., Терентьев Е.А. Эффект визуализации и формата оценочных шкал в онлайн-опросах студентов // Universitas. Журнал о жизни университетов. 2013. № 1 (2). С. 20–44.
  • Мягков А.Ю., Журавлева С.Л. Экспериментальная оценка качества данных в телефонном интервью // Социология: 4М. 2011. № 32. C. 26–52.
  • Терентьев Е.А., Мавлетова А.М., Косолапов М.С. Интервьюирование с помощью компьютерных технологий в лонгитюдных обследованиях домохозяйств // Мониторинг общественного мнения: Экономические и социальные перемены. 2018. № 3. С. 47–64. DOI: 10.14515/monitoring.2018.3.03
  • Ackerman R., Goldsmith M. Metacognitive Regulation of Text Learning: On Screen Versus on Paper // Journal of Experimental Psychology: Applied. 2011. Vol. 17. P. 18–32. DOI: 10.1037/a0022086
  • Baker R.P., Bradburn N.M., Johnson R.A. Computer-assisted personal interviewing: An experimental evaluation of data quality and costs // Journal of Official Statistics. 1995. Vol. 11. No. 4. P. 413–431.
  • Banks R., Laurie H. From PAPI to CAPI: The Case of the British Household Panel Survey // Social Science Computer Review. 2000. Vol. 18. No. 4. P. 397–406. DOI: 10.1177/089443930001800403
  • Bishop G., Oldendick R., Tuchfarber A. Effects of Filter Questions in Public Opinion Surveys // Public Opinion Quarterly. 1980. Vol. 47. P. 528–546. DOI: 10.1086/268810
  • Bush S.S., Prather L. Do Electronic Devices in Face-To-Face Interviews Change Survey Behavior? Evidence from a Developing Country // Research and Politics. 2019. Vol. 6. No. 2. P. 1–7. DOI: 10.1177/2053168019844645
  • Caeyers B., Chalmers N., Weerdt J.D. Improving consumption measurement and other survey data through CAPI: Evidence from a randomized experiment // Journal of Development Economics. 2012. Vol. 98. No. 1. P. 19–33. DOI: 10.1016/j.jdeveco.2011.12.001
  • Caviglia-Harris J., Hall S., Mulllan K., Macintyre C., Bauch S.C., Harris D., Cha H. Improving household surveys through computer-assisted data collection: Use of touch-screen laptops in challenging environments // Field Methods. 2012. Vol. 24. No. 1. P. 74–94. DOI: 10.1177/1525822x11399704
  • Chen H., Cohen P., Chen S. How Big is a Big Odds Ratio? Interpreting the Magnitudes of Odds Ratios in Epidemiological Studies // Communications in Statistics — Simulation and Computation. 2010. Vol. 39. No. 4. P. 860–864. DOI: 10.1080/03610911003650383
  • Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2nd ed. Hillsdale, NJ: Lawrence Erlbaum Associates Publishers, 1988. — 567 p.
  • Cohen J. A Power Primer // Psychological Bulletin. 1992. Vol. 112. P. 155–159.
  • De Leeuw E.D., Hox J.J., Snijkers G. The effect of computer-assisted interviewing on data quality. A review // Market Research Society Journal. 1995. Vol. 37. No. 4. P. 1–19. DOI: 10.1177/147078539503700401
  • De Leeuw E., Hox J., Boev? A. Handling Do-Not-Know Answers Exploring New Approaches in Online and Mixed-Mode Surveys // Social Science Computer Review. 2015. Vol. 34. No. 1. P. 116–132. DOI: 10.1177/0894439315573744
  • DeRouvray C., Couper M. Designing a Strategy for Reducing ‘‘No Opinion’’ Responses in Web-based Surveys // Social Science Computer Review. 2002. Vol. 20. P. 3–9. DOI: 10.1177/089443930202000101
  • Dumville J.C., Hahn S., Miles J.N.V., Torgerson D.J. The use of unequal randomisation ratios in clinical trials: A review // Contemporary Clinical Trials. 2006. Vol. 27. No. 1. P. 1–12. DOI: 10.1016/j.cct.2005.08.003
  • Gnambs T., Kaspar K. Disclosure of sensitive behaviors across self-administered survey modes: A meta-analysis // Behavior Research Methods. 2015. Vol. 47. P. 1237–1259. DOI: 10.3758/s13428-014-0533-4
  • Heiskanen M., Ahlqvist K. Experiences of Two CAPI-PAPI Comparisons in Finland // IBUC 97. 1997. P. 95–146.
  • Laurie H. From PAPI to CAPI: consequences for data quality on the British Household Panel Study // Working Papers of the Institute for Social and Economic Research. 2003. No. 14. P. 1–14. [online]. Accessed 17.11.2020. URL: https://www. iser.essex.ac.uk/research/publications/working-papers/iser/2003-14.pdf
  • Lynn P. Data collection mode effects on responses to attitudinal questions // Journal of Official Statistics. 1998. Vol. 14. No. 2. P. 1–14.
  • MacKay T.L., Bard N., Bowling M., Hodgins D.C. Do Pokers Players Know How Good They Are? Accuracy of Poker Skill Estimation in Online and Offline Players // Computers in Human Behavior. 2014. Vol. 31. P. 419–424. DOI: 10.1016/j.chb.2013.11.006
  • Mangen A., Walgermo B.R., Br?nnick K. Reading Linear Texts on Paper versus Computer Screen: Effects on Reading Comprehension // International Journal of Educational Research. 2013. Vol. 58. P. 61–68. DOI: 10.1016/j.ijer.2012.12.002
  • Martin C.L., O’Muircheartaigh C., Curtice J. The use of CAPI for attitudes surveys: an experimental comparison with traditional methods // Journal of Official Statistics. 1993. Vol. 9. P. 356–369.
  • Oeberst A., Haberstro S., Gnambs T. Not Really the Same: Computerized and Real Lotteries in Decision Making Research // Computers in Human Behavior. 2015. Vol. 44. P. 250–257. DOI: 10.1016/j.chb.2014.10.060
  • Schr?pler J.-P., Schupp J., Wagner G.G. Changing from PAPI to CAPI: Introducing CAPI in a longitudinal Study // Journal of Official Statistics. 2010. No. 2 (26). P. 233–269.
  • Schuman H., Scott J. Response Effects Over Time: Two Experiments // Sociological Methods and Research. 1989. No. 17. P. 398–408. DOI: 10.1177/0049124189017004005
  • Tourangeau R., Couper M., Conrad F. Spacing, Position, and Order Interpretive Heuristics for Visual Features Of Survey Questions // Public Opinion Quarterly. 2004. Vol. 68. No. 3. P. 368–393. DOI: 10.1093/poq/nfh035
  • Watson N., Wilkins R. Experimental change from paper-based interviewing to computer-assisted interviewing in the HILDA Survey // Melbourne Institute Working Paper Series. 2012. No. 6 (12) [online]. Accessed 17.11.2020. URL: https://papers. ssrn.com/sol3/papers.cfm?abstract_id=2018624 DOI: 10.2139/ssrn.2018624

Содержание выпуска

>> Содержание выпуска 2020. Том. 26. № 4.
>> Архив журнала