Системная социология: анализ мультимедийной информации в Интернете

А.А.Давыдов

СИСТЕМНАЯ СОЦИОЛОГИЯ: АНАЛИЗ МУЛЬТИМЕДИЙНОЙ ИНФОРМАЦИИ В ИНТЕРНЕТЕ

Ключевые слова: Системная социология, мультимедийная информация, Интернет, анализ.

Введение

Цель данной обзорной статьи - привлечение внимания российских социологов к возможностям системного анализа мультимедийной информации в Интернете, исследовательским задачам и разработкам,  которые находятся на «переднем крае» науки и техники в области системной социологии [1]. Автор ставил следующую задачу - собрать в одном месте максимально полную, по возможности,  информацию о системном анализе мультимедийной информации в Интернете, чтобы читатель смог быстро сориентироваться в данной, стремительно развивающейся, обширной области исследований и разработок, ознакомиться с перспективами развития.

Анализ мультимедийной информации в Интернете - одна из самых сложных научно-технических задач в системной социологии, поскольку сверхбольшие объемы разнородной информации, изменяющиеся в режиме реального времени, можно проанализировать, в приемлемое время, только с помощью специальных компьютерных автоматических систем. Вместе с тем, умение проводить анализ мультимедийной информации в Интернете - обязательное квалификационное требование для системного социолога, поскольку в системной социологии изучаются социальные системы разных размеров, от малых систем, до сверхбольших систем. Кроме того, объектом системной социологии является социум, а социальные явления и процессы в Интернете, число которых увеличивается с течением времени - важная е-подсистема социума. 

Анализ мультимедийной информации в Интернете осуществляют множество международных и национальных исследовательских мультимедийных Центров, лабораторий Университетов, Интернет-компаний. По анализу мультимедийной информации ежегодно публикуются десятки объемных монографий, сотни статей в международных научных журналах, проводятся десятки международных симпозиумов и конференций, поэтому обзор неизбежно будет конспективным. 

В данной обзорной статье, автор давал название основных направлений, технологий  и методов системного анализа мультимедийной информации на английском языке, чтобы заинтересованный российский социолог смог найти в Интернете описание перечисленных направлений, технологий, методов и более глубоко ознакомиться с ними.

Мультимедийная информация: настоящее и будущее  

Мультимедийная информация представляет собой целостную систему, в которой существует взаимосвязь (смысловое соответствие) компонентов (текст, аудио, фото, видео, числа), действуют системные принципы «целое больше суммы частей», «соответствие между структурой и функцией» и т.д. Например,  фотография (видео)  может быть иллюстрацией к тексту, текст может быть пояснением к фотографии и т.д. Поэтому мультимедийная информация - объект E-Social Science (электронной социальной науки), одного из разделов системной социологии [1], которую анализируют с помощью системного анализа.

В мультимедийной информации выделяют следующие аспекты ( http://ismwwweecs.uci.edu ): Multimedia systems, architecture and applications; Multimedia networking and QoS; Multimodal Interaction, including Human Factors; Multimodal User Interfaces: Design, Engineering, Modality-Abstractions; Peer-to-peer multimedia systems and streaming; Pervasive and interactive multimedia systems including mobile systems, pervasive gaming and digital   TV; Multimedia meta-modeling techniques and operating systems; Architecture specification languages; Software development using multimedia techniques; Multimedia signal processing including audio, video, image processing and coding; Visualization; Virtual Reality; Multimedia file systems, databases and retrieval; Multimedia collaboration; Rich media enabled E-commerce; Computational intelligence including neural networks, fuzzy logic and genetic algorithms; Intelligent agents for multimedia content creation, distribution and analysis; Internet telephony and hypermedia technologies and systems; Multimedia security including digital watermark and encryption; Mobile Multimedia Systems and Services; Multimedia tools including authoring, analyzing, editing and browsing и т.д.

Для мультимедийной информации используется стандарт MPEG-7  (Multimedia Content Description Interface) ( http://www.chiariglione.org/mpeg/standards/mpeg-7/mpeg-7.htm ), язык «The Synchronized Multimedia Integration Language» (SMIL) ( http://www.w3.org/AudioVideo ) .

По данным компании IDC ( http://www.emc.com/digital_universe ), в 2007 году совокупный объем мультимедийной информации (объединение текста, аудио, фото, видео, чисел, в единое целое)  в Интернете составил 281 миллиардов гигабайт (281 экзабайт). При этом до 70% мультимедийной информации создается отдельными пользователями Интернета, число которых в 2008 г. составило более 1 млрд. человек ( http://www.internetworldstats.com ) и которые наиболее часто используют в Интернете следующие языки (см. рис.1) ( http://www.internetworldstats.com/stats7.htm ).

Рис. 1

Рост мультимедийной информации в Интернете происходит в соответствии с законом Мура (экспоненциальная зависимость). В частности, на рис. 2 представлена динамика роста количества вебсайтов в Интернете.

Рис.2

Динамика роста количества вебсайтов в Интернете

( http://www.techsideup.com/162-million-web-sites-online )

Пользователи Интернета наиболее часто создавали и пользовались мультимедийной информацией, размещенной в блогах, на Интернет-сервисах социальных сетей (см. рис.3), в on-line communities, virtual communities, virtual worlds и т.д. 

Рис.3

Некоторые Интернет-сервисы социальных сетей

( http://lenniewu.wordpress.com )

В этой связи отметим, что по данным компании comScore ( http://www.comscore.com ) в августе 2008 г. Интернет-сервисом Facebook воспользовались 41.0 миллиона пользователей, Интернет-сервисом MySpace - 75.1 миллиона пользователей. Также отметим, что в 2008 г. введена в эксплуатацию социальная сеть нового поколения Twine [2], в которой реализована технология Semantic Web и которая оснащена системой искусственного интеллекта.

Рис.4

Частота посещений Интернет-сервисов социальных сетей в некоторых странах мира в 2007 г.

( http://www.marketingcharts.com/?attachment_id=876 )

В целом, имеются основания полагать, что WWW трансформируется в Giant Global Graph (GGG) - гигантский глобальный граф взаимодействий пользователей Интернета [3], где пользователи создают, обмениваются и используют, как индивидуально, так и коллективно, мультимедийную информацию.

Для преодоления трудностей анализа содержания и потоков мультимедийной информации в растущих социальных сетях, начали активно использовать компьютерные интеллектуальные системы Social Networks Mining  («добыча знаний» из социальных сетей), в частности, в 2009 году состоится первая международная конференция «Social Networks Mining» ( http://www.asonam.org ), на  которой, в частности, будут обсуждаться следующие вопросы: Application of social network mining, Communities discovery and analysis in large scale online social networks, Contextual social network mining, Detection of communities by document analysis, Dynamics and evolution patterns of social networks, Evolution of patterns in the Web, Evolution of communities in the Web, Information acquisition and establishment of social relations, Influence of cultural aspects on the formation of communities, Social psychology of information diffusion и т.д. 

По прогнозам компании Cisco ( http://www.cisco.com ) в 2012 году из 20 экзабайт интернет-трафика информации в месяц, примерно 50% будет приходиться на Интернет-видео. На рис. 5 представлен прогноз динамики трафика мультимедийной информации в Интернете.

Рис.5

Прогноз ежемесячного трафика информации в Интернете

(http://www.cisco.com/en/US/solutions/collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c11-481374_ns827_Networking_Solutions_White_Paper.html )

Мобильность (Mobile Internet). The World Wide Web Consortium (W3C) ( http://www.w3.org ) разрабатывает и внедряет концепцию Mobile Web Initiative (MWI), которая технологически представляет собой Mobile Internet (мобильный Интернет).

Интеллектуальность. The Web Intelligence Consortium (WIC) ( http://wi-consortium.org ) разрабатывает и внедряет концепцию Web Intelligence (Интеллектуальный Web)  [4].    

Adaptive Supercomputing. Корпорация Cray разрабатывает и внедряет концепцию Adaptive Supercomputing [5].

Web3D и 3D Интернет. Web3D Consortium ( http://www.web3d.org ) разрабатывает и внедряет концепцию Web3D (трехмерного Web). На рис. 6 представлен прогноз развития Web.

Рис.6

Прогноз развития Web

( http://www.forrester.com/Research/PDF/0,5110,45257,00.pdf )

В 2008 году Google, в качестве эксперимента, создал Интенет-сервис Lively ( http://www.lively.com/html/landing.html ), который представляет собой 3D социальную сеть (чат), где аватары, представляющие пользователей, могут ходить друг к другу в «гости», посещать личные 3D виртуальные комнаты других пользователей сервиса, причём дизайн для собственных виртуальных комнат пользователи могут делать самостоятельно. Компания  IBM ( http://www.internet3d.org ) развивает совместно с компанией Linden Lab, 3D Интернет - сервис социальных сетей Second Life ( http://secondlife.com ).

В качестве прототипа будущих XD лабораторий для системного анализа мультимедийной информации, на рис. 7 представлена Cave 5D лаборатория, предназначенная для Collaborative, Interactive Immersive Visualization мультимодальной информации.

Рис. 7

Cave 5D

( http://virdir.ncsa.uiuc.edu/virdir/raw-material/general/VR )

С видеороликом примера аналитической деятельности в Cave 5D лаборатории, можно ознакомиться здесь ( http://realvideo.ncsa.uiuc.edu/asxfiles/CVD.asx ).

Симпозиумы, научные журналы, монографии, организации

Симпозиумы. По анализу мультимедийной информации ежегодно проводится множество международных симпозиумов, конференций и т.д., некоторые из которых представлены ниже.

1.  IEEE International Symposium on Multimedia (ISM2008). December 15-17, 2008, Berkeley, California, USA. ( http://ismwwweecs.uci.edu )
2. ACM International Conference on Multimedia. October 27 - 31, 2008, Vancouver, BC, Canada. ( http://www.mcrlab.uottawa.ca/acmmm2008 )
3. IEEE International Conference on Multimedia & Expo. June 23-26, Hannover, Germany. (http://www.icmewwworg )
4. International Conference on MultiMedia and Information Technology (MMIT 2008). December 30 - 31, 2008, Three Gorges, China ( http://www.icirv.ac.cn/mmit )
5. The 2nd International Conference on Multimedia and Ubiquitous Engineering (MUE2008). April 24 - 26, 2008, Busan, Korea. ( http://www.sersc.org/MUE2008 )
6. The 14th International MultiMedia Modeling Conference (MMM2008). January 9-11 2008, Kyoto, Japan. ( http://research.nii.ac.jp/mmm2008 )
7. The 14th International Conference on Distributed Multimedia Systems, September 4-6, 2008, Boston, USA ( http://www.ksi.edu/seke/dms08.html )
8. The 9th International Workshop on Multimedia Data Mining, August  24-27, 2008, Las Vegas, USA ( http://sites.google.com/a/cs.cmu.edu/mdm-kdd-2008/Home )

Научные журналы. По анализу мультимедийной информации ежегодно публикуются сотни статей в международных научных журналах, некоторые из которых представлены ниже.

1. Multimedia Systems ( http://www.springer.com/computer/information+systems/journal/530 ),
2. Journal of Multimedia ( http://www.academypublisher.com/jmm ),
3. Multimedia Information and Technology ( http://www.cilip.org.uk/specialinterestgroups/bysubject/multimedia/journal/contents )
4. Multimedia Tools and Applications ( http://www.springer.com/computer/information+systems/journal/11042 ),
5. Hypermedia and Multimedia ( http://www.tandf.co.uk/journals/titles/13614568.asp )
6. International Journal of  Multimedia and Ubiquitous Engineering ( http://www.sersc.org/journals/IJMUE )

Монографии. По анализу мультимедийной информации ежегодно публикуются десятки объемных монографий, некоторые из которых представлены ниже.

1. Zhang Z., Zhang R. Multimedia Data Mining: A Systematic Introduction to Concepts and Theory. N.Y.: Chapman & Hall/CRC, www
2. Rouet J.,  Lowe R.,  Schnotz W. Understanding Multimedia Documents. Berlin.: Springer, www
3. Hassanien A., Abraham A., Kacprzyk J. Computational Intelligence in Multimedia Processing: Recent Advances. Berlin.: Springer, www
4. Gong Y., Xu W. Machine Learning for Multimedia Content Analysis. Berlin.: Springer, 2007.
5. Camastra F., Vinciarelli A. Machine Learning for Audio, Image and Video Analysis: Theory and Applications. Berlin.: Springer, 2007.
6. Hobson P., Kompatsiaris I. Semantic Multimedia and Ontologies: Theory and Applications. Berlin.: Springer, 2007.
7. Petrushin V., Khan L. Multimedia Data Mining and Knowledge Discovery. Berlin.: Springer, 2006.
8. Perner P. Data Mining on Multimedia Data. Berlin.: Springer, 2004.

Организации. Ниже представлены некоторые организации, которые занимаются анализом мультимедийной информации.

Компания Google ( http://www.google.com/intl/en/press/zeitgeist/index.html ) проводит регулярные международные Интернет-исследования «Zeitgeist: Search patterns, trends and surprises», в частности, «2008 Year-End Google Zeitgeist» ( http://www.google.com/intl/en/press/zeitgeist2008 ) в котором исследуются интересы пользователей Интернета, главные социальные события года и т.д., как в целом по Интернету, так и по различным странам мира, в частности, России.  Google в режиме он-лайн, предоставляет пользователям следующие виды Интернет-анализа: «Google Trends», «Trends for Websites», «Insights for Search», «Hot Trends» ( http://www.google.com/intl/en/press/zeitgeist/index.html ). 

Компания Яндекс ( http://blogs.yandex.ru ), проводит, практически в режиме реального времени, Интернет-исследования русскоязычной блогосферы в частности, реализован он-лайн анализ динамики блогосферы - «Пульс блогосферы» ( http://blogs.yandex.ru/pulse ), проводятся регулярные исследования (http://company.yandex.ru/researches ) «Поиск в Интернете: что и как ищут пользователи?»,  «Блогосфера российского Интернета»,  «Главные праздники в Интернете», «СМИ Российского Интернета», «Интернет-торговля в России» и т.д.

Компания Rambler проводит, в рамках проекта RUМЕТРИКА( http://rumetrika.rambler.ru ), мониторинговые Интернет-исследования мультимедийной информации в русскоязычном Интернете. В частности, исследуется динамика и интересы пользователей, популярные персоны Интернета, динамика и тематика сайтов и т.д. 

Technorati ( http://technorati.com ) практически в режиме реального времени, предоставляет пользователям в режиме он-лайн следующие виды Интернет-динамики: Popular Tags, Popular Videos, Popular Movies, Popular News, Popular Music, Popular Games, Popular Books и т.д. Компания Technorati проводит ежегодные мониторинговые Интернет-исследования «Состояние блогосферы ( http://technorati.com/blogging/state-of-the-blogosphere ), в котором изучаются количество, содержание, динамика блогов в Интернете в целом и т.д.

В этой связи отметим, что за рубежом существует много Интернет -компаний, которые специализируются на анализе мультимедийной информации в Интернете, например:

Компания Universal McCann ( http://www.universalmccann.com ) проводит международное мониторинговое он-лайн исследование пользователей Интернета «International Social Media Research» ( http://www.slideshare.net/mickstravellin/universal-mccann-international-social-media-research-wave-3 ).

Компания comScore ( http://www.comscore.com ) реализует проект «comScore Media Metrix», в котором в режиме он-лайн изучаются предпочтения пользователей Интернета из различных стран мира.

Компания Nielsen ( http://www.nielsen-online.com/products.jsp?section=pro_buzz&nav=2#1 ) с помощью Nielsen Online’s BuzzMetrics, проводит маркетинговые исследования в Интернете, анализируя мультимедийную маркетинговую информацию. 

Компания  eMarketer ( http://www.emarketer.com ) осуществляет On-Line Analysis of Internet Market Trends.

Существует множество Интернет-компаний, исследовательских центров и т.д., в которые осуществляют мониторинг содержания Internet TV с помощью Automated Intelligent Broadcast Video Content Analysis ( http://srvac.uncc.edu/research/contentAnalysis.html ), анализ новостных сообщений с помощью системы MSNBC Spectra Visual Newsreader (  http://msnbcmedia.msn.com/i//msnbc/Components/spectra/index.html ) и т.д.

Анализ потоков мультимедийной информации в Интенете осуществляет The Cooperative Association for Internet Data Analysis (CAIDA)  ( http://www.caida.org ).

Содержательные задачи анализа мультимедийной информации

Основные содержательные задачи системного анализа мультимедийной информации следующие. Объяснение и понимание содержания мультимедийной информации, выявление законов создания, строения, обмена и динамики потоков мультимедийной информации (содержание, скорость, направленность и т.д), в  частности, в е-социальных сетях взаимодействий пользователей Интернета, выявление законов соответствия между различными фрагментами мультимедийной информации (текст, видео, аудио и т.д.), выявление инвариантов в мультимедийной информации, выявление законов интеграции мультимодальной информации в целостные образы, «привязка» потоков мультимедийной информации к географическому пространству и т.д. Управление созданием и функционированием потоков мультимедийной информации в Интернете. Разработка алгоритмов, методов и компьютерных интеллектуальных систем для анализа мультимедийной информации.

Методологические принципы анализа мультимедийной информации

Напомним, что системная социология [1] относится к точным наукам, системный анализ мультимедийной информации основан на системном стиле мышления и базируется на следующих методологических принципах. Целостность; междисциплинарность; учет взаимодействий, ориентация на точность описания, объяснения и прогнозирования; направленность на решение научных и практических социальных проблем, неразрывная связь между анализом и теорией; между исследованиями, разработками и практическими приложениями. Параллельно-последовательное использование частных методологических парадигм системной социологии, а именно, математической, компьютационной, естественнонаучной и социально-инженерной методологических парадигм.

Системные теории анализа мультимедийной информации

Основные системные теории, которые используются при анализе мультимедийной информации. Теории информации, информационных систем, мультимедийных систем, динамических систем, гетерогенных (разнородных) систем, теория сложности, системные теории когнитивной психологии, психологии зрительного восприятия, социальной психологии, социолингвистики, теория социологических алгоритмов [6], общая социологическая теория социальных фрагментов [7].

Направления анализа мультимедийной информации

Human-Centered Computing  (HCC)  ( http://www.nsf.gov/funding/pgm_summ.jsp?pims_id=503302&org=NSF ) - в рамках данного направления разработчики предпринимают усилия по использованию естественного языка, лексики, эвристических правил создания и переработки информации человеком, создания компьютерных систем анализа мультимедийной информации, которые бы имитировали переработку мультимодальной информации человеком, в частности, мозгом человека. Самыми современными разработками в рамках данного направления является  Cognitive Computing (когнитивные вычисления) [цит. по 1], которые объединяют Social Neuroscience (социальную нейронауку), Supercomputing, теорию информации, теорию принятия решений и т.д.

Artificial Intelligence (Formal Machine Learning). Данная стратегия основана на прямо противоположной идее, а именно, разработка формальных алгоритмов машинного обучения на принципиально новых принципах, которые не имеют аналогов с переработкой информации человеком и, которые, по замыслу разработчиков, будут превосходить когнитивные возможности человека.  В рамках данной стратегии предпринимаются усилия по разработке формальных систем Artificial Intelligence Text, Image, Video Understanding и Scene Understanding - понимание  и интерпретация текстов, визуальных образов и сцен, оптимальному поиску релевантной информации в сверхбольших базах мультимедийной информации и т.д.  

В настоящее время некоторые элементы данных двух направлений сосуществуют в рамках использования Artificial Intelligence (AI) (искусственного интеллекта) для анализа мультимедийной информации. В целом, усилия многочисленных исследователей из различных международных и национальных  исследовательских  Центров, лабораторий и т.д. сконцентрированы сейчас на разработке компьютерных систем понимания мультимедийной информации, в частности, Intelligent Multimedia Computing, Meta-Contextual Reasoning, Adaptive Multimodal Interpretation, Synthesis of Analytic Knowledge, использования метафор для машинного понимания мультимедийной информации и т.д. Реализуются международные исследовательские проекты, например, проект MUSCLE ( http://www.muscle-noe.org ), который финансируется Европейским Сообществом (EC).

Стратегии анализа мультимедийной информации

Стратегия редукции. В рамках данной стратегии осуществляется тотальная текстуализация мультимедийной информации в рамках направления Semantic Web, в частности,  с помощью Collaborative Tagging Systems [8], когда разнородная мультимедийная информация выражается в виде обобщенных текстовых меток (tags), которые выступают в качестве семантических метаданных (данных о данных). Тотальная визуализация мультимедийной информации с помощью Visual Computing [3], когда разнородная мультимедийная информация выражается в виде визуальных образов. Опыт показывает, что с течением времени наблюдается следующая последовательность смены использования редукционистской тактики в анализе мультимедийной информации. «Тотальная текстуализация»  «Тотальная визуализация», в частности, при анализе текстовой информации [9]. Вместе с тем, комбинирование Visual analysis и Text Analysis - остается стандартной и широко распространенной процедурой в анализе мультимедийной информации.

Стратегия грануляции. В рамках данной стратегии осуществляется информационная грануляция (разделение) исходной мультимедийной информации на  - частей (информационных гранул), например, в рамках теории нечеткой информационной грануляции Л. Заде [цит. 10]. Напомним, что информационная гранула - это общее понятие, которое обобщает следующие термины: часть, подсистема, подмножество, класс, группа, кластер и т.д. При грануляции мультимедийной информации в качестве информационной гранулы используют  мультимедийный документ или группу мультимедийных документов. Гранула состоит из элементов, при этом, элемент может быть гранулой, а гранула может быть элементом другой гранулы. Объединение элементов в гранулу определяется исходя из сходства элементов, «близости» элементов и т.д. Каждая гранула обладает внутренними, внешними и контекстуальными свойствами. Процесс грануляции представляет собой итеративную алгоритмическую процедуру последовательного выделения частей различного уровня общности и согласования уровней абстракции и редукции при анализе мультимедийной информации. При грануляции используются методы многокритериальной оптимизации. В качестве критериев грануляции используют различные формальные и содержательные критерии, например, оптимизационный принцип минимакса, критерии информационной важности, точности прогнозирования и т.д. В целом, гранулярные вычисления позволяют дать множественное многоуровневое «нечеткое» описание и объяснение мультимедийной информации, которая изменяется с течением времени. 

Стратегия компрессии. В рамках данной стратегии мультимедийная информация «сжимается», например, с помощью вейвлет-преобразования, для выявления небольшого набора чисел, по которым можно восстановить анализируемую мультимедийную информацию, проводить сравнения и т.д. В качестве иллюстрации на рис. 8 представлен анализ мультимедийной информации, осуществленный с помощью вейвлет-преобразования в системе TOPIC ISLANDS, разработанной в Pacific Northwest National Laboratory (PNNL) ( http://www.pnl.gov ). В этой связи напомним, что PNNL - одна из ведущих научных лабораторий США в области разработки высоких информационных технологий, штатная численность сотрудников - более 4 000 чел., годовой бюджет - 881 млн. долларов США. Суперкомпьютерный Центр (PNNL) входит в суперкомпьютерную Grid - сеть США, которая связывает национальные суперкомпьютерные Центры США для интеллектуальных распределенных, параллельных супервычислений (переработки информации).

Рис.8

Система  TOPIC ISLANDS

( http://picturethis.pnl.gov/PictureT.nsf/All/45WSZS?opendocument )

Параллельная стратегия -  данная стратегия состоит в том, чтобы в автоматическом режиме индексировать различные фрагменты мультимедийной информации (числа, текст, фото, видео, аудио), параллельно проанализировать каждый выделенный фрагмент с помощью специализированных компьютерных интеллектуальных систем Data Mining, Text Mining, Video Mining, Audio Mining, а затем осуществить интеграцию полученных результатов. В этой связи напомним, что компьютерные интеллектуальные системы Data, Text, Image, Audio, Video Mining предназначены для автоматической «добычи знаний» из больших объемов информации, поступающей в режиме реального времени.

Параллельная стратегия используется как в рамках одной компьютерной системы High-performance Knowledge Discovery systems, так и на основе  технологии Grid Intelligence [11].  Напомним, что Grid Intelligence базируется на Grid - технологии [цит. по 11], которая представляет собой интеграцию распределенных в географическом пространстве вычислительных ресурсов (компьютерных баз данных и знаний, интеллектуальных систем анализа и моделирования, суперкомпьютеров, виртуальных организаций и пользователей) на основе Grid supercomputing (высокопроизводительных распределенных параллельных «вычислений»). Например, в США в рамках проекта TeraGrid ( http://www.teragrid.org ) используются быстродействующие сети с пропускной способностью до 30 гигабайт в секунду, которые объединяют суперкомпьютерные Центры ведущих национальных научных организаций: Indiana University, Oak Ridge National Laboratory, National Center for Supercomputing Applications, Pittsburgh Supercomputing Center, Purdue University, San Diego Supercomputer Center, Texas Advanced Computing Center, University of Chicago и более 100 крупных компьютерных научных баз данных. Эти объединенные ресурсы обеспечивают более чем 102 терафлоп вычислительных возможностей  и более чем 15 петабайт хранения и быстрого интерактивного доступа к мультимедийной информации в режиме реального времени для проведения научных исследований.

В целом, Grid - технология состоит в следующем.  Базы данных, компьютерные системы анализа мультимедийной информации, суперкомпьютеры и пользователи могут располагаться в разных частях национального государства и (или) странах мира и в режиме реального времени совместно решать одну задачу или несколько задач анализа мультимедийной информации. При этом, компьютерная система Grid самостоятельно выбирает одну или несколько компьютерных интеллектуальных систем, например, Data Mining, Text Mining, Image Mining, Video Mining, Audio Mining, Web Mining для проведения параллельного анализа соответствующего аспекта мультимедийной информации, наименее загруженный суперкомпьютер (суперкомпьютеры). После проведения соответствующих анализов, осуществляется автоматическая интеграция частных результатов, в частности, с помощью Logical Mapping Intermedia Synchronization.

В настоящее время в США реализуется проект SIDGrid  (Social Informatics Data Grid) ( https://sidgrid.ci.uchicago.edu/index.php?q=home ), который направлен на интеграцию вычислительных ресурсов E-Social Science, одного из направлений системной социологии [1].

Целостная стратегия. В рамках данной стратегии мультимедийная информация рассматривается как единая целостная система, в которой выделяются и анализируются Multimedia Ontology [12], в частности, Ontology design patterns; Collaborative ontology design; Ontology dynamics; Ontology evaluation and selection;  Automatic ontology construction; Semantic mapping and ontologies и т.д. В качестве иллюстрации, на рис. 9 представлен процесс извлечения мультимедийных онтологий из информации.

Рис.9

Процесс извлечения мультимедийных онтологий из информации

( http://cidoc.ics.forth.gr/crm_core/images/yalta_graph.jpg )

В системной социологии [1] выбор стратегии системного анализа мультимедийной информации жестко обусловлен содержательной задачей, поставленной исследователем и основан на принципах оптимизации [11]. Поэтому стратегии анализа мультимедийной информации нельзя абстрактно сравнивать  по критерию «хуже-лучше», поскольку каждая стратегия оптимальна для соответствующего класса содержательных исследовательских задач и очевидно зависит от финансовых, технических, временных и других ограничений.

Multimedia Mining

Multimedia Mining («добыча знаний» из мультимедийной информации) [13] основана на технологии Intelligent Multimedia Processing и включает в себя Multimedia Content Analysis; Image, Speech and Signal Analysis; Multimedia Pattern Recognition и т.д. Кратко перечислим основные процедуры, которые используются в данных направлениях.

Multimedia Content Analysis - Image/Video/Audio/Text Content Analysis and Understanding, Media Assimilation and Fusion, Content-Based Multimedia Retrieval and Browsing, Multimedia Indexing, Multimedia Abstraction and Summarization, Semantic Analysis of Multimedia Data, Statistical Analysis of Multimedia Data.

Image, Speech and Signal Analysis - Image and Video Processing and Understanding; Speech and Audio Processing and Analysis; Enhancement, segmentation, filtering; Coding and compression; Separation and Segmentation;  Learning.

Multimedia Pattern Recognition - Statistical, Syntactic and Structural Pattern Recognition; Machine Learning and Data Mining; Artificial Intelligence and Symbolic Learning; Feature Reduction, Manifold Learning; Classification and Clustering; Support Vector Machines and kernels; Invariances in Recognition и т.д.

В целом, Multimedia Mining включает в себя следующие методы анализа and Tools. Multimedia content analysis and understanding; Cross-Modal Pattern Discovery; Conceptual clustering; Association rules; Relevance feedback and learning systems; Content-based browsing, indexing and retrieval of text, data, images, video and audio; 2D/3D feature extraction; Advanced descriptors and similarity metrics; Segmentation of objects in 2D/3D Space; Identification and tracking of regions in scenes; Voice/audio assisted video segmentation; Analysis for coding efficiency and increased error resilience; Analysis and understanding tools for content adaptation; Multimedia content adaptation tools, transcoding and transmoding; Content summarization, abstraction and personalization strategies и т.д.

В  качестве иллюстрации на рис. 10 представлена система Multimedia Mining Marvel ( http://mp7.watson.ibm.com  ), которая разработана и используется в IBM T. J. Watson Center Multimedia Research.

Рис.10

Система Marvel

( http://www.research.ibm.com/people/j/jsmith/projects.html )

С работой Marvel на конкретных примерах мультимедийной информации можно ознакомиться в он-лайн режиме здесь ( http://mp7.watson.ibm.com ).

Поскольку Multimedia Mining  включает в себя Data Mining [14], Text Mining [15], Image Mining [16-18], Video Mining [19], Audio Mining [18], Web Mining [20], как составные части, то перечислим теперь модели и методы, которые содержатся в данных составных частях Multimedia Mining.

Data Mining - Artificial neural networks; Bayesian networks; Heuristic methods; Case-based reasoning; Computational models of human learning (Cooperative learning, Unsupervised learning); Optimization methods; Decision and induction methods; Evolutionary computation; Grammatical inference; Incremental and on-line learning; Information retrieval and learning; Knowledge acquisition and learning; Data pre - and post-processing; Data visualization; Statistical pattern recognition and analysis; Bootstrap and randomization; Causal modeling; Decision analysis; Exploratory data analysis; Knowledge-based analysis; Classification, projection, regression, optimization clustering; Data cleaning; Model specification, selection, estimation; Reasoning under uncertainty; Uncertainty and noise in data; Spatial Analysis; Space-Time Analysis; Discrete Events Analysis, Network Analysis; Time series forecasting и т.д.  

Text Mining -  Bayesian Models, Concept Decomposition, Orthogonal Decomposition, Probabilistic Models, Vector Space Models, Latent Semantic Indexing,    Graph-based Models, Text Streaming Models, Clustering, Factor Analysis, Visualization Techniques, Metadata Generation, Information Extraction, Text Classification, Text Purification, Text Segmentation, Text Summarization, Query Structures, Trend Detection, Distributed Storage and Retrieval.

Audio Mining - Automatic Speech Recognition; Spectral Analysis; Wavelet Analysis; Audio clustering and categorization; Artificial neural networks, Visualization Audio; Natural Language Processing;  Computational Linguistics Methods и т.д.

Web Mining - Link Analysis; Visitor Analysis; Web User Transactions Analysis; Association Rules and Sequential Patterns; Pattern tracking analyzes; Web Crawling; Automatic discovery of patterns from one or more Web servers; Аnalysis of weblogs, blogs; Semantic association identification; Discovering social structures and communities; Predicting trends and user behavior; Analysis of dynamic networks; Analysis of folksonomies; Latent Semantic Indexing и т.д.  

Video Mining - Video clustering and categorization, Video based object recognition, Video segmentation and summarization, Video feature extraction and representation, Video indexing and retrieval, Video search engines, Video editing and browsing systems, Visual event and activity detection, Statistical techniques for video analysis, Semantic video content analysis, Video processing for HCI, Video surveillance (person identification, abnormal activity labeling).

Image Mining - Enhancement, Restoration, Segmentation, Mathematical morphology, Color analysis, Texture analysis, Motion analysis, 3D image analysis and 3D computer vision, Tracking, Realtime tracking; Shape representation and matching; Geometrical modeling; Digital curves; Real-time imaging; Image representation and models; Graphics, Virtual Reality; Filtering, Digital filters, Adaptive filters; Wavelets, Wedgelets transforms; Statistical Signal Processing; Time-Frequency Analysis; Blind signal separation (BSS), Blind deconvolution; Image fusion; Spatial Data Modeling;  Watermarking, Encryption, Security; Deformable models; Multi-channel image processing; Nonlinear image processing; Image and video coding, compression; Streaming, transmission, communication; Indexing & Retrieval; Feature extraction; Feature selection; Classification; Clustering; Ensembles and multi-classifiers; Hybrid methods; Syntactical methods; Object recognition; Face recognition and 3D face recognition; Character recognition; Gesture recognition; Image understanding; Machine vision and Computer vision; Statistical methods and Statistical estimation; Image Description and Recognition; Information Analysis and Entropy; Fault detection and diagnosis; Soft Computing techniques (fuzzy logic, fuzzy image processing); Intelligent Analysis; Neural Network Analysis; Global scene classification; Object and events detection; Object class recognition in images и т.д.

В качестве иллюстрации на рис. 11 представлена система Starlight ( http://www.futurepointsystems.com/?page=products ) в которой реализованы некоторые из вышеперечисленных подходов к анализу мультимедийной информации.  Система Starlight разработана в Pacific Northwest National Laboratory (PNNL) ( http://starlight.pnl.gov ).

Рис.11

Система анализа мультимедийной информации Starlight

( http://www.futurepointsystems.com/?page=products )

С демонстрационными видео о работе системы Starlight можно ознакомиться здесь  (  http://ru.youtube.com/watch?v=dUtv1b8cPqo&fmt=18 ), ( http://ru.youtube.com/watch?v=5uIXpF8MyIk )

Отметим, что разработку компьютерных систем анализа мультимедийной информации осуществляют крупные Интернет-компании. Например, Google Research  ( http://research.google.com/pubs/papers.html ) осуществляет исследования и разработки в области анализа и поиска мультимедийной  информации в следующих направлениях.  Algorithms and Theory, Artificial Intelligence and Data Mining, Audio, Video and Image Processing, Distributed Systems and Parallel Computing, Hypertext and the Web, Machine Learning, Natural Language Processing и т.д.

Поскольку результаты Multimedia Mining часто представляют собой мультимодальную 3D информацию, то для системного синтеза и системной аналитики полученных результатов используют специальные 3D лаборатории. С обзором некоторых 3D лабораторий, предназначенных для анализа мультимедийной информации, можно ознакомиться в докладе автора [3].

Заключение

Анализ мультимедийной информации - широкое и стремительно развивающееся направление исследований и разработок, которое находится на «переднем крае» науки в области информационных Интернет-технологий и системной социологии. Имеются основания предполагать, что в ближайшие годы данное направление будет наиболее интенсивно развиваться в области разработки компьютерных интеллектуальных систем понимания мультимедийной информации в 3D Social Networks и 3D Internet TV.

Приглашаем обсудить статью на форуме

СПИСОК ЛИТЕРАТУРЫ

1. Давыдов А.А. Конкурентные преимущества системной социологии. (Электронное издание) М.: ИСАН, www (https://www.isras.ru/publ.html?id=855  ,  http://www.ecsocman.edu.ru/db/msg/324618.html)
2. Давыдов А.А. Twine: искусственный интеллект создает социальные взаимодействия. М.: ИСАН, 2009. ( https://www.isras.ru/index.php?page_id=974 )
3. Давыдов А.А. Системная социология: визуальный суперкомпьютинг взаимодействий пользователей Интернета. Доклад. М.: ИС РАН, www ( https://www.isras.ru/index.php?page_id=120&id=372)
4. Давыдов А.А. Развитие Интернет-технологий - вызов современной российской социологии. М.: ИСАН, www ( https://www.isras.ru/index.php?page_id=957 )
5. Давыдов А.А. Адаптивный суперкомпьютинг в системной социологии. М.: ИСАН, 2009. ( https://www.isras.ru/index.php?page_id=978 )
6. Давыдов А.А. Системный подход в социологии: новые направления, теории и методы анализа социальных систем. М.: Эдиториал УРСС, 2005.
7. Давыдов А.А. Теория «социальных фрагментов» - общая социологическая теория?//Социол. исслед. 2004, № 8, С. 131-138. ( http://www.ecsocman.edu.ru/socis/msg/216063.html )
8. Давыдов А.А. Системная социология: изучение и использование Collaborative Tagging Systems. М.: ИСАН, www ( https://www.isras.ru/index.php?page_id=951 )
9. Давыдов А.А. Информационный дизайн в Visual Text Analytics - инструмент системного социолога. М.: ИСАН, 2009. ( https://www.isras.ru/index.php?page_id=968 ).
10. Давыдов А.А. Социология изучает блогосферу//Социолог. исслед. 2008, № 11, С. С.92-101. ( http://www.ecsocman.edu.ru/socis/msg/326874.html )
11. Давыдов А.А. Системная социология: введение в анализ динамики социума. М.: ЛКИ, 2007.
12. Hobson P., Kompatsiaris I. Semantic Multimedia and Ontologies: Theory and Applications. Berlin.: Springer, 2007.
13. Zhang Z., Zhang R. Multimedia Data Mining: A Systematic Introduction to Concepts and Theory. N.Y.: Chapman & Hall/CRC, www
14. Tan P., Steinbach M., Kumar V. Introduction to Data Mining. N.Y.: Addison Wesley,  2005.
15. Feldman R., Sanger J. The Text Mining Handbook: Advanced Approaches in Analyzing Unstructured Data. Cambridge.: Cambridge University Press, 2006.
16. Simoff S., Böhlen M., Mazeika A. Visual Data Mining: Theory, Techniques and Tools for Visual Analytics. Berlin.: Springer, www
17. Russ J. The Image Processing Handbook. N.Y.: CRC, 2006.
18. Camastra F., Vinciarelli A. Machine Learning for Audio, Image and Video Analysis: Theory and Applications. Berlin.: Springer, 2007.
19. Rosenfeld A., Doermann D., DeMenthon D. Video Mining. Berlin.: Springer, 2003.
20. Liu B. Web Data Mining: Exploring Hyperlinks, Contents and Usage Data. Berlin.: Springer, www