一、课题来源与背景伴随着5G和物联网的高速发展，用户数据呈指数级增长,各类数据量呈指数级增长，分地设立大数据集群中心势在必行。为了解决异地跨集群协同效率低下、大数据实时流计算能力弱等问题，广东移动、华为技术有限公司联合启动了“大数据实时跨集群协同云计算及行业化快速支撑应用”项目研究。 二、主要技术内容及性能指标项目成果实现了大数据技术的多项关键创新和能力提升，解决我司在大数据运算、大数据存储、大数据应用等多个领域的技术难点和痛点项目有如下创新点：创新点一：自主研发一种高性能异构融合分布式资源管理调度方法和装置，提升系统资源调度效率4倍以上，数据本地化调度的作业命中率保持在90%以上在广东移动超过1000节点的大规模集群资源调度能力上，拥有丰富的调度策略，在功能、性能、资源利用率和扩展性方面优势。架构优势一：高性能超级资源调度引擎性能测试结果如下，相比开源Capacity调度器组件，性能提升4-5倍。 架构优势二：多个资源池多租户调度同开源的调度器相比，超级资源调度引擎同时提供了租户级百分比和绝对值的混配策略，可以很好的适应各种灵活的企业级租户资源调度诉求。架构优势三：支持多种调度能力超级资源调度引擎支持CPU和内存资源的调度外，还支持扩展支持以下功能：1）异构资源调度，支持GPU调度；2）数据位置感知调度，提升数据本地化概率；3）动态资源预留，实现实时调度。 创新点二：自主研发跨集群协同的云计算技术，提升关联查询基数准确度50%以上，降低90%数据传输量，为5G和物联网高速发展提供技术储备该大数据平台创新了如下几点：1）通过数据虚拟化的统一SQL查询接口，屏蔽不同数据源之间的SQL语法差异，提升了系统之间的可交互性；2）创新分布式计算下推技术，让计算任务在数据源中完成，大幅降低了异地数据传输量和带宽占用，普通业务的数据传输量平均降低90%，优化带宽资源占用，提升查询效率；3）创新跨DC CBO的执行计划优化方案，提升了任务端到端查询性能；4）在CBO的SQL优化基础上，创新一种高速传输通道技术，提升了网络传输性能，计算执行效率提升20倍以上；5）基于历史分析优化方案，提升了SQL任务个性化性能调优的能力；6）利用细粒度访问控制技术，提升了安全访问控制能力。本项目创新的大数据平台相比开源平台整体提升关联查询基数准确度50%以上，降低90%数据传输量。 创新点三：改进的实时流计算和分布式缓存技术，可节省存储空间60%；Flink流批处理性能读写吞吐量提升5倍；Redis处理性能提升2倍，热数据命中率保持在99%以上。 创新点四：基于本系统，提供“蜂巢精销”“蜂巢政信”“蜂巢热图”“岭南优品”等应用服务，带来亿元级收入，经济效益和社会效益显著。创新点五：改进后深度优先搜索算法找出互打终端群体，创新一种欺诈客户识别技术，彰显社会责任;创新采用基于运营商的改进熵值法和自适应最优支持向量机回归算法技术进行推荐，推荐成功率提升30%。