简介
成果(技术)简介:AdminSJMS(Admin Spark Job Manager System) 是一个基于Spark的Job管理系统,通过该系统可以轻松管理Spark集群的任务和所有节点。 系统可以给所有用户分配HDFS(Hadoop Distributed File System)空间,可在线操作自己的HDFS文件,并将文件的位置作为Spark任务的数据输入路径,方便用户进行Job的提交、运行、结果下载与可视化,并提供Spark和HDFS相关操作的接口。
主要技术特点(指标):1.直观简洁的人机交互界面;2.管理Spark集群的状态;3.管理任务列表;4.管理集群的所有节点;5.完备的HDFS操作;6.轻松管理用户及用户的任务;7.提供相应的系统设置;8.支持Java、Scala任务包等;
应用领域及效益分析:具有大数据Spark集群管理、大数据研发需求的企事业单位;从事大数据Spark研究或教学的高校科研团体,可极大提高科研和教学效率。