当前位置:首页 >  上海市

数据工厂:“建管”一体化为数据灵活赋能

发布日期:2019-10-13

  大数据时代,“大数据”既是一项技术也是一种资源。作为资源,研究机构Gartner给出的定义是:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。而作为技术,大数据是采集、处理、存储庞大数据并进行分析、应用的信息技术手段。随着新一代信息技术的迅速发展与普及,全球数据以“井喷式”的速度生产,据IDC发布的《数据时代2025》显示,全球每年产生的数据将从2018年的33ZB(1ZB=10万亿亿字节)增长到175ZB,相当于每天产生491EB的数据。

  相关数据显示,我国拥有全球最多的移动互联网用户,无时无刻不在产生数据,积累沉淀了丰富的数据资源。但是,目前市场上大量的数据生产出来后停滞在数据库,即使有使用,大多仅停留在浅度的应用中,于是出现了信息源采集单一、数据不精准、难以调度等问题。

  作为新时代的战略性资源,数据若只能停留在数据库中没有得到更好的利用,那将是一大损失。那么,该如何把这些数据合理利用起来呢?在贵州有这样一个产品,或许是该痛点的一剂良药,它就是由年华数据科技有限公司(以下简称“年华数据”)耗时多年研发出的数据工厂(SDAP)。

  “建管”一体化 全面服务数据处理

  基于数据价值无法得到充分发挥的痛点,SDAP将数据生产和数据管理合二为一,旨在实现企业大数据生产领域的“建管”一体化的服务产品。年华数据总经理姚滔告诉记者,SDAP中的建管一体化可以从两个方面来理解,其中,“建”主要指大数据平台数据生产线的建设;“管”主要是指数据治理运营。

  据年华数据副总经理王刚介绍,SDAP在研发之初主要考虑到两个方面的问题:一是数据生产,二是数据治理。在数据生产层面,主要是指SDAP与大数据平台的数据资源和存储介质进行融合的问题。目前该产品可支持实时/非实时数据资源接入,支持Hadoop、Vertica MPP、DB2、GBase等多种数仓跨平台生产,同时还可以利用产品的开放能力进行二次开发,最终确保数据生产高效和透明,为各行业企业级客户提供稳定和高效的数据生产能力。而数据治理方面,从元模型设计、元数据开发、生产调度、工程运维进行全流程治理,将治理办法和管控手段100%落地在平台,通过技术手段进行数据治理,确保治理的效果可量化、可评估、可追溯。

  王刚介绍到,通过数据生产和数据治理两层面的深度融合,目前,SDAP已实现数据生产与数据治理一体化管理,进而实现模型可视化设计、配置化开发、可视化调度、可视化运维,进而为企业实现管理的降本增效愿景。

  数据的“加工厂”,让数据实现“从有到用”

  如果将数据比作原材料,那么SDAP就是“加工厂”,SDAP通过建设数据生产线,让数据个性化生产、数据工业化生产,将成品数据提供给运营分析决策,让数据“说话”,让数据创造价值。

  往往很多未转型的传统企业没有意识到数据加工的重要性,常以“手工”或“作坊式”的手段进行采集和处理数据,数据生产效率和数据质量过渡依赖于人工,无法满足企业级用户对数据生产的及时性、正确性的需求。此外,目前市场上很多数据存在被“裸放”的情况,很多公司或单位,即使收集到了大量的数据,但不知道如何高效利用,把数据资产放滞在数据库,使其成为无效资产而造成资源浪费。但是,如果将这些数据收集起来,结合企业的业务场景,通过SDAP对数据进行“加工处理”,对底层存储资源、计算资源的统一调度和管理,就能让数据实现“从有到用”的转变。

  姚滔介绍道:“数据工业化生产,数据可管、可控、可视化生产是SDAP最大的特色。”传统的“作坊式”数据生产在现阶段可以满足大部分企业级客户的需求,但随着数据量的增加、模型量的增加、人员的更替,数据生产、数据管理、数据运营层面会有越来越多的问题困扰的企业管理人员、数据管理人员。对于企业而言,数据作为一种资产是存在生命周期的,企业需要对数据的规划、数据生产、数据优化、数据退役进行全流程的管理,而在这个生命周期内,如何积极响应市场变化和业务需求、如何优化数据生成的质量和效率、怎样及时清退落后的产能是企业级数据生产必须要考虑的内容,而SDAP正是解决企业级数据生产和管理的工具。