破解大数据存储难题靠创新

作者:李德仁 2015-11-20 14:35 来源:中国科学报
放大 缩小

  

  李德仁

  “智慧城市的核心是大数据的存储和应用。”中国科学院院士、中国工程院院士、武汉大学遥感信息工程学院教授李德仁近日在接受《中国科学报》记者采访时表示,智慧城市首先是数字城市,它通过无所不在的传感器网,带我们走进一个全新的大数据时代。

  “只要接入互联网,我们就可以通过手机查询实时交通路况,远程启动家里的电器。”李德仁形象地说,智慧城市以数字城市为基础,它通过物联网将现实世界与数字世界进行有效融合,再由云计算中心处理其中海量和复杂的计算与控制,最终为经济发展、城市管理和公众提供各种智能化的服务。

  当前,美国政府已启动“大数据研究和发展计划”,该计划将大数据看成是未来世界的“石油”。“这意味着人类在经历了从依靠经验到理论再到计算之后,已经进入到数据挖掘的时代。”李德仁说。

  目前,李德仁和团队已经在武汉、太原等城市建立了地下管网、交通、环境、气象等多传感器组成的传感网,用来监测、收集城市多种运行数据。此外,团队自主创建的互联网地图服务网站“天地图”、国内最大的实景地图服务平台“我秀中国”等相继上线,可免费为公众提供地理信息相关的位置查询、环境导航、虚拟旅游等服务。

  然而,海量数据也带来了一系列挑战。李德仁认为,最大的挑战就是“存不起”数据的存储难题。随着我国启动平安城市建设,目前已建成世界最大的视频监控网,总镜头超过2000万个。比如到“十二五”末期,天津市将安装60万个高清摄像头,仅3个月视频存储费用就需投入583.2亿元。

  “而在医疗领域,现在一个病人的CT影像往往多达2000幅,存储量已经达到数百亿字节。按照医疗行业的相关规定,一个患者的数据通常需要保留50年以上。因此也面临一个存储难的问题。”李德仁补充说。

  如何破解大数据存储难题?李德仁认为,一方面要研发更大容量的存储设备,虽然目前在硬件的研发方面进展很快,但是只靠存储设备的升级还不够。

  “还需要对海量数据进行智能清理。”李德仁介绍说,以视频数据为例,90%的数据可能没用。比如人们去银行取钱,摄像头就会记录下这个过程,如果没有意外事件发生,储户安全离开一定时间之后,这个数据就需要自动删除。

  “此外,还有隐私权的问题。”李德仁认为,大数据时代必须注意保护公众的隐私,数据存储前应该进行自动区分,把需要存储的数据存储下来,不需要存储的数据就应该过滤掉。

  “我们现在数据处理的能力还很薄弱。”李德仁介绍说,目前,国内2000多万个摄像头的数据都无法自动清理,要么都存储起来,要么都删掉。

  “因此,既要加大存储硬件的研发,也要做好数据在存储前的压缩、理解、分析和清理,只有双管齐下,才能真正破解大数据的存储难题。”李德仁说。

附件: