Hadoop集群

HADOOP集群    
   

高效率、高鲁棒性、安全稳定的计算环境,对数据驱动模式下,海量非结构化(或半结构化)地理时空数据挖掘分析至关重要。地学高性能计算实验室针对海量矢量数据文件、物联网传感数据流的加载-管理-查询-分析需求,组建并开放包含“2控制结点(11备)+4数据结点”的HADOOP计算集群,硬件环境支撑9TB存储空间,320GB内存及120CPU核,软件环境集成Map/ReduceHBASEHDFSSPARKHIVEYarn等众多组件,为用户提供形式多样的海量数据处理和管理服务。

 

平台总体架构


 

平台运行图概



 

平台典型应用案例
 

基于HDFS的空间数据分块策略

海量栅格文件检索-镶嵌过程中不同并行策略性能对比