您现在的位置是:主页 > 天文科普 > 天文科普

云南天文台构建基于分布式存储的新型天文观测

admin2024-05-15天文科普人已围观

简介丽江高美谷,天晴星亮,纳西语意为天气好、星星多、离天空最近的地方。 这里年平均晴天数超过200天,大气洁净透明。 抬头一看,满天繁星和清澈的银河。 近年来,它逐渐成为我国

丽江高美谷,天晴星亮,纳西语意为“天气好、星星多、离天空最近的地方”。 这里年平均晴天数超过200天,大气洁净透明。 抬头一看,满天繁星和清澈的银河。 近年来,它逐渐成为我国重要的天文观测场所和国内外天文学家的圣地。 建在高美谷的中国科学院云南天文台丽江天文台(以下简称丽江天文台)具有得天独厚的地理环境优势。 经过多年建设,已逐步完成2.4米、1.8米、1.6米等多种口径规格的建设。 拥有光学望远镜和一批小口径遥控/自动望远镜、日冕仪、射电望远镜等科学观测设备,云南天文台南方天文观测集群已初具规模。

随着天文观测需求的不断增加,天文观测产生的观测数据量也不断增加,这也对数据存储和处理提出了更高的要求。 为此,丽江天文台采用浪潮分布式存储搭建了三级数据存储平台,为天文研究乃至未来数字经济产业研究提供了有利的硬件平台支撑。

天文学新闻动态_天文学新闻2021_天文动力学

云南天文台丽江天文台2.4米光学望远镜

天文观测仪器背后的数据需求惊人

丽江天文台拥有多种类型的天文望远镜,包括光学望远镜、日冕仪和射电望远镜。 整个天文台的观测能力已覆盖从光学到射电的波长范围,每年可开展多项国际先进的天体物理研究。 观察和研究工作。

近年来,随着新型天文观测技术的快速发展,观测的广度和精度大大提高,使天文学家能够更清晰地观测天文目标,更准确地验证现有的物理模型。 与此同时,新型天文观测仪器收集的数据量也增加了几个数量级。 例如,丽江天文台正在调试的云南大学1.6米多通道光度巡天望远镜,配备了3台大面积科技CCD相机。 ,每个摄像头由四颗9k*9k芯片拼接而成。 观察过程中,三台摄像机同时曝光。 一次曝光可以产生近1GB的观测数据。 一夜观测数据量近3TB,一年观测数据量近3TB。 原始观测数据接近1PB。 如何有效传输天文台众多望远镜采集的数据,支持计算平台高效分析处理观测数据,安全存储原始数据和有价值的数据,对丽江天文台的观测数据管理提出了新的要求。

首先是数据性能要求。 在数据采集过程中,天文望远镜观测产生的数据需要通过数据采集程序实时完成数据采集、数据预处理、计算、数据存储等任务。 在数据计算过程中,科研计算平台作为数据驱动的天文观测任务,要求存储集群平台提供数十GB/s的聚合带宽读写能力,以保证并行计算任务的效率。 二是数据长期保存的需要。 天文观测的原始数据必须通过合理的生命周期管理制度永久归档和保留。 数据的自动迁移和归档、数据安全、归档数据的长期存储成本以及轻松的存储扩展性是数据归档和存储需要考虑的重要因素。

分层存储方案满足不同天文数据的需求

为了满足天文研究人员在望远镜观测数据存储、分析和处理中对高带宽存储资源的需求,丽江天文台利用浪潮的计算节点和分布式存储构建了三级分层存储资源池。 通过浪潮分布式存储高性能节点AS13000G5-H构建高速存储层,提供并行读写能力,满足多个前端计算节点同时对存储读写数据的需求; 采用浪潮分布式存储AS13000G5-M系列4U60高密度节点,提供2PB低速存储空间,用于存储前端返回的原始观测数据和计算集群处理后的归档数据。

为天文观测任务提供性能保障

浪潮AS13000G5-H可以通过私有客户端将接收到的数据并发写入每个数据节点,突破了传统存储的单个存储节点性能限制。 通过RDMA协议,可以有效降低数据传输过程中的延迟,进一步提高传输性能。 效率,单个存储节点的性能可以达到GB/s的读写带宽。 通过并行文件系统可以增加更多的存储节点,性能和容量随着节点数量的增加而线性增加。

科研项目阶段性增长按需满足,高效运行维护。

为了保证海量数据的长期可靠存储和弹性扩展,浪潮存储在架构和运维方面进行了创新。

在扩展性方面,浪潮存储基于分布式存储架构,支持灵活扩展。 可根据天文科研项目的需要横向扩展。 采用独特的扩容算法,保证扩容过程中业务性能不会出现大幅波动。 性能和容量随着节点的扩展而增加。 线性增长避免了对现有接收服务和科研计算任务读写访问性能的影响,满足未来天文观测仪器设备的存储增长需求。

在可靠性方面,浪潮分布式存储采用擦除策略,允许多个节点损坏时服务不中断,保证观测任务和计算任务24/7不间断的业务访问,保障天文学家科研项目的顺利进行。 同时,还可以配合InView智能管理平台,对海量天文观测数据中心的设备进行管理,并提供容量、性能、故障等预测分析等一系列智能功能,帮助运维人员预防潜在的硬件故障并降低存储成本。 复杂性和维护成本。

占地260余亩的丽江天文台公园内运行的光学望远镜每年执行数千次观测任务,积累了大量原始观测数据。 这些观测数据帮助科研人员取得大量研究成果,加速我国天文研究的发展。 发展。 例如,借助2.4米望远镜的光谱观测发现了数十颗高红移类星体; 通过精确的视向速度搜索系外行星,发现了多个系外行星候选源; 我们擅长寻找新的凌日系外行星系统。 大视场巡天望远镜(小口径望远镜)已帮助科学家发现了10多个凌日系外行星候选者和200多个其他类型的变星源。

未来,云南天文台丽江天文台也将在此基础上继续开展天文高科技创新,为天文科学应用研究服务提供优质观测数据,发挥南方天文观测的引领作用集群,推动天文学领域研究的快速发展。 ,探索宇宙的奥秘。 (马家跃)

很赞哦! ()