Представлен обзор проблемно-ориентированного подхода к анализу мультимодальной коммуникации, разработанного Джоном Бейтманом, Яниной Вильдфойер и Туомо Хиппала. Авторы обосновывают продуктивность этого подхода к анализу современной информационно-коммуникационной системы в связи
с появлением новых устойчивых автономных медиа – смартфонов, компьютерных игр, 3D-кинематографа, технологий дополненной и виртуальной реальности. К базовым концептам, ассоциируемым с мультимодальностью, авторы
относят модус, коммуникативную ситуацию, эргодический текст с его свойствами мутабельности и темпоральности. Важнейшими характеристиками коммуникативной ситуации, которая выступает единицей мультимодального
анализа, являются источник информации, реципиент, обстоятельства коммуникации и ее длительность. В свою очередь, коммуникативные ситуации, взаимодействуя друг с другом, порождают линейные, микроэргодические, немутабельные эргодические и мутабельные эргодические типы в зависимости
от того, какой способ восприятия информации реципиентом превалирует. Наиболее репрезентативные результаты при изучении мультимодальных объектов, «зыбких» и непредсказуемых, дает сочетание квалитативных и квантитативных методов, применение корпусных методов, видеоокулографических техник
и вычислительных методов.
Список литературы
Дёгтева И. С. Дж. Бейтман, Дж. Уилдфер, Т. Хиппала. Мультимодальность. Базовые принципы, способы исследования и методы анализа. Проблемно-ориентированное введение. (Реферат) // МЕТОД: Московский ежегодник трудов из обществоведческих дисциплин: Сб. науч. тр. / РАН. ИНИОН. Центр перспективных методологий соц. и гуманит. исслед.; ред.: М. В. Ильин (гл. ред.) и др. М., 2019. Вып. 9: Методологические аспекты трансдисциплинарного трансфера знаний / Ред.-сост. вып. М. В. Ильин. С. 92–97.
Кибрик А. А. Мультимодальная лингвистика // Когнитивные исследования. 2010. Т. 4. С. 134–152.
Bateman J., Wildfeuer J., Hiippala T. Multimodality. Berlin; Boston: De Gruyter Mouton, 2017.
Bateman J., Wildfeuer J., Hiippala T. Book Review: A question of definitions: foundations for multimodality: A response to Charles Forceville’s review // Visual Communication. 2020. No. 19 (2). P. 317–320.
Featherman C. Book review: John Bateman, Janina Wildfeuer and Tuomo Hiippala. Multimodality: Foundations, Research and Analysis: A Problem-Oriented Introduction // Discourse Studies. 2018. No. 20 (3). P. 443–445.
Forceville C. Book Review: Multimodality: Foundations, Research and Analysis – A Problem-Oriented Introduction // Visual Communication. 2020. No. 19 (1). P. 157–160.
Hockings P. (ed.). Principles of visual anthropology. Berlin: Walter de Gruyter, 2003.
Kress G. R., Leeuwen T. van. Multimodal discourse: the modes and media of contemporary communication. London: Arnold, 2001.
Matsumoto D., Frank M. G., Hwang H. S. (eds.). Nonverbal communication: Science and applications. London: Sage Publ., 2012.
Moriarty S. Visual semiotics theory // Handbook of visual communication: Theory, methods, and media. 2005. No. 8. P. 227–241.
Nöth W. Visual semiotics: Key features and an application to picture ads // The Sage handbook of visual research methods. 2011. P. 298–316.
Poyatos F. (ed.). Advances in nonverbal communication: sociocultural, clinical, esthetic and literary perspectives. London: John Benjamins Publ., 1992.
Zagar I. Against Visual Argumentation: Multimodality as Composite Meaning and Composite Utterances // Mohammed D., Lewinski M. (eds.). Argumentation and Reasoned Action. College Publications, 2016. P. 829–852.
Мультимодальная коммуникация
в фокусе исследовательской рефлексии:
проблемно-ориентированный подход // Критика и семиотика С. 54–70. DOI 10.25205/2307-1737-2022-2-54-70