欢迎您来到北京传奇天地--钻石亿级分销商!
010-82628080

云海Insight HD

云海Insight HD是一套经过调优和功能增强的Hadoop与Spark企业发行版,包含Hadoop生态中的20+主要组件,帮助客户轻松应对海量数据的采集、存储、计算、分析挖掘和数据安全等应用场景。

  • 产品简介
  • 技术参数
大数据架构更新

 

  多源数据的高效集成

  云海Insight HD提供多源数据(包含结构化、半结构化和非结构化数据)的集成能力,提供高吞吐、可扩展的数据总线和数据分发功能,支持批量加载、实时加载、数据库加载、文件加载等多种加载方式。

  异构数据的海量存储

  云海Insight HD提供基于分布式文件系统和并行架构的大数据存储能力,支持PB级数据规模的高可靠和高可用存储,支持存放多种文件格式,例如关系数据库等结构化数据,日志、网页等半结构化数据,以及视频、图片、文档等非结构化数据。

  多场景下的数据计算框架

  面向不同业务场景,云海Insight HD提供离线计算、流式计算、内存计算、图计算等丰富的计算框架,支持计算任务流程编排、计划安排,提供标准SQL的数据访问能力。

  基于机器学习的大数据分析

  云海Insight HD提供涵盖多源数据接入、数据特征提取、算法模型管理、算法模型评估和结果预测等完整机器学习过程的可视化大数据分析功能。支持多元分类、回归分析、协同推荐等分析模式,SVM、朴素贝叶斯、K-Means、线性回归等10+种算法,支持批量预测和实时预测功能并提供API。预测过程基于内存进行迭代式计算,并且支持分布式计算,具备极强的扩展性,可以应对海量数据分析。

  安全可靠的资源隔离与共享

  云海Insight HD提供对结构化、非结构化数据的多用户资源管理,满足对数据资源的权限隔离、安全授权和资源调度。提供多用户的可视化数据空间管理功能,支持数据空间大小、文件数、计算队列等的配额设置;支持多用户间数据资源的开放订阅和指定共享,共享权限可控制到文件目录、表及列族级;支持对数据访问的审计和监控。

  统一的大数据平台运维管理

  云海Insight HD提供针对HDFS、MapReduce、Hive、HBase、ZooKeeper、Oozie和Spark等20+组件的自动化安装部署,并为平台提供完善的配置管理、监控告警等能力。

  浪潮云海Insight HD已通过国家级软件测评实验室的测试认证。

测试环境:8节点集群;节点典型配置:CPU:2*E5-2640,内存:256G,硬盘:SATA盘

  指标:

分类

指标项

规格

MapReduce性能指标

WordCount:平均每节点处理能力

8GB/分钟

Terasort:平均每节点处理能力

6.4GB/分钟

Spark性能指标

WordCount:平均每节点处理能力

30GB/分钟/Node

Terasort:平均每节点处理能力

9GB/分钟/Node

SQL on Hadoop

Aggregation:平均每节点处理能力

8GB/分钟

Join:平均每节点处理能力

4GB/分钟

HBase

100%随机读:平均每节点读取记录条数(每条记录1KB),响应时间小于50MS

30,000 Records/s

100%随机写:平均每节点写入记录条数(每条记录1KB),响应时间小于50MS

40,000 Records/s

顺序扫描:平均每节点scan记录条数(每条记录1KB),响应时间小于50MS

15,000 Records/s

50%随机写+50%随机读:平均每节点写入记录条数(每条记录1KB),响应时间小于50MS

写25,000 Records/s

读18,000 Records/s

50%随机写+50%扫描读:平均每节点写入记录条数(每条记录1KB),响应时间小于50MS

写30,000 Records/s

读10,000 Records/s