一、课题来源与背景 随着 YouTube、优酷网、土豆网、爱奇艺等视频网站的兴起，网络上的多媒体资源呈现指数级增长的态势。除了正规影视节目视频之外，这些网站往往允许用户上传视频文件，因此存在数量巨大的用户自己摄制的音/视频数据。这种用户自制数据上传是普通民众话语权的一种媒介实现，受到用户的热烈欢迎，也引起 IT 界的广泛重视。海量、多样的用户自制数据反映了用户和社会生活的各个侧面，蕴含着大量的信息。和传统视频相比，这些用户自制多媒体数据体现出多源异质的特点。所谓多源性，指对于同一个主题的信息可能存在多种不同含义的表示，如结婚庆典，可能在草地上举行，参加婚礼的人比较随意地相互交谈；也可能在教堂或者酒店举行。而异质性，指数据的存在形式的差异，这里尤指音频、视频或者音视频混合的差异。这种多源异质数据给基于内容的多媒体信息检索、监控以及管理等带来诸多新挑战。就如同电影是由一些有独立情节的片段组成一样，多媒体如视频和音频等，可以看做是由一些称之为“复杂事件”组合而成。这里“复杂事件（Complex Event or Complex Activity）”指在时间上并发或相继出现的多个相互关联的简单事件的集合，并具有相对完整的语义。如：做蛋糕这个复杂事件，可以看作是由和面、发酵、做模具、烘烤等简单事件组成，而换车轮这样的事件，则由卸车轮、重新安装车轮等简单事件组成。 受国家自然科学基金资助，本项目解决复杂事件检测中的关键科学问题，对视频检索等应用具有重要意义。 二、研究目的与意义 复杂事件（Complex Event）是由多个在时间上相继或并发出现的简单事件所组成的，具有一定语义的多媒体信息分析单元。有效的复杂事件分析的理论和技术是进行多媒体检索与监控等研究的重要基础。复杂事件分析的实质是对音视频内容语义层面的解析，因此其相关研究，尤其是多源异质数据条件下的复杂事件分析，将对多媒体信息检索、监控和管理等应用产生深远影响。 三、主要论点与论据 1、异质数据联合表征问题 有别于传统的后融合方法，本研究从事件表示中的数据几何空间特性的内在关联的角度，以及将特征学习、多字典融合、判别性、局部性保持相结合的角度出发，研究基于超向量的联合表征，这是本项目特色之一； 2、降低多源数据类内大差异 数据的多源性导致的类内差异大的问题是复杂时间分析中面临的主要难题。从在有监督子空间映射中引入 E2C 距离来寻找最优映射的角度，以及利用基于概率的偏典型相关分析和混合高斯模型结合挖掘共生信息的角度，研究有效降低类内差异的方法，这也是本项目特色； 3、时空上下文关系的事件时序建模 在以往上下文关系描述中，侧重于时间上下文而忽略空间上下文。这里从时空联合的上下文关系角度，通过构建图矩阵，解析相应的事件间时序关系，是本项目另一个特色。 四、创见与创新 从研究方法上看，本项目的创新之处在于： 1、提出 E2C 距离，构建基于 E2C 的距离子空间，将其与多核函数结合，构成多核函数的距离子空间超向量表示；采用 E2C 测度学习得到更合理的判别映射，优选子空间映射。这是本项目的重要创新。 2、在上下文关系中，同时结合时间和空间信息，采用图矩阵的表示方法对片段间和片段内的特征关系进行描述，用于对事件的时序关系建模，这是本项目另一个重要创新； 3、用概率框架解释偏典型相关分析，并与混合高斯模型融合寻找梯度最优的表示，是本项目的创新之一； 4、对异质数据特征的联合稀疏编码中同时引入局部性、判别性约束进行数据融合，是本项目的另一个创新； 五、社会经济效益，存在的问题 互联网多媒体数据不仅具有传统的异质性，并日益凸显多源性。在这一新形势下，深入探讨在复杂事件分析中，如何充分有效利用多源异质数据，来提高复杂事件分析能力，进而提出新的理论和方法，从而为复杂事件分析及其在检索、监控等领域的实际应用提供必要的技术支撑，具有较强的社会经济效益。 目前存在的问题是将技术和具体的应用领域结合。将在进一步的研究中，拓展相关技术的应用领域。