|
|
|
大数据是指常规软件工具在一定时间范围内无法捕获、管理和处理的数据采集。它是一个庞大的、高增长率的、多样化的信息资产,需要新的处理模式来拥有更强的决策能力、洞察力和发现能力以及过程优化能力。
大数据包括结构化、半结构化和非结构化数据,非结构化数据正日益成为数据的主要组成部分。调查报告显示,企业80%的数据是非结构化数据,按指数计算,每年增长60%。在以云计算为代表的技术创新的背景下,这些原本看似难以收集和使用的数据开始变得容易使用。通过各行各业的不断创新,大数据将逐步为人类创造更多的价值。
基本标准为整个标准体系提供了基本标准,包括一般原则、术语、参考模型等。它是整个标准体系的基石,其重要性不言而喻。在这一领域,ISO/IEC制定了ISO/IEC 20546-信息技术-大数据-概述和术语以及ISO/IEC 20547-信息技术大数据参考体系结构系列标准,包括五卷:框架和应用、用例和需求、参考体系结构、安全和隐私,标准化路线图等,综合考虑作为大数据的基本标准。
而ITU-T的SG13也发布了ITU-TY.3600——基于云计算的大数据需求和能力。作为课题组大数据系列标准的基础,《免费营销模式标准》明确了大数据生态系统中的相关角色和活动,规范了基于云计算的大数据的需求和能力。不幸的是,这两个国际标准化组织,ISO/IEC和ITU-T,并没有像最初制定云计算标准时那样,共同制定术语和参考体系结构等基本标准。毫无疑问,共同制定的标准具有更大的影响力和更高的可参考性。
数据标准主要针对底层数据相关元素。数据资源包括元数据、数据元素、数据字典和数据目录。数据交换和共享包括数据交易和数据开放共享标准。
大数据的核心价值在于对不同来源的数据进行关联分析,因此数据交易、数据开放共享等相关标准就显得尤为重要。只有当参与者遵循共同的标准时,数据交易和开放共享才能更加高效。在这个领域,ITU-T发布了y.3601大数据交换框架和需求。在此基础上,制定了一系列的数据标准,如大数据可追溯性要求、大数据集成概述和功能要求、大数据保留概述和要求、大数据元数据框架和概念模型。
管理标准作为数据标准的支撑体系,贯穿于数据生命周期的各个阶段,主要是规范数据管理、运行维护管理和评价。
在中国,CCSA成立了大数据技术标准促进委员会(CCSA tc601),其中数据资产管理工作组专门从事数据资产管理的标准化研究,并发布了《数据资产管理实践白皮书》(2.0),目前正在编制3.0版。未来,tc601将继续制定基础数据、数据标准和数据质量标准,研究数据资产管理评估模型。
数据安全与隐私保护作为数据标准体系的重要组成部分,贯穿于数据生命周期的各个阶段。虽然大数据安全仍然继承了传统数据安全的保密性、完整性和可用性等特点,但也有其特殊性,主要表现在个人隐私保护、跨境数据流等方面。欧盟今年5月发布的《通用数据保护条例》(gdpr)进一步凸显了大数据时代数据隐私保护的重要性。
什么是资源型?这意味着,大数据已经成为企业和社会关注的重要战略资源,成为每个人都要抓住的新焦点。因此,企业必须提前制定大数据营销战略规划,抓住市场机遇。
大数据离不开云处理,云处理为大数据提供了弹性、可扩展的基础设施,是生成大数据的平台之一。2013年以来,大数据技术与云计算技术紧密结合,预计未来它们之间的关系将更加密切。此外,物联网、移动互联网等新兴计算形式都将为大数据革命做出贡献,使大数据营销发挥更大作用。
随着大数据的飞速发展,大数据有可能成为新一轮的技术革命,就像计算机和互联网一样。随着数据挖掘、机器学习、人工智能等相关技术的兴起,数据世界中的许多算法和基础理论可能会发生变化,实现科学技术的突破。
未来,数据科学将成为一门特殊的学科,越来越受到人们的重视。大学将设立专门的数据科学专业,这也将产生一些与之相关的新工作。同时,在数据基础平台的基础上,建立跨域数据共享平台。之后,数据共享将扩展到企业层面,成为未来产业的核心。
在接下来的几年里,数据泄漏事件的增长率可能会达到100%,除非数据可以在其源位置得到保护。可以说,未来,每一个财富500强企业都将面临数据攻击,无论他们是否在安全方面做得很好。所有的企业,无论其规模大小,都需要重新审视当今的安全定义。超过50%的财富500强企业将拥有首席信息安全官的职位。企业需要从新的角度确保自己和客户的数据。所有数据都需要在创建之初得到保护,而不是在数据保存的最后一个环节。事实证明,只有加强后者的安全措施才无济于事。
使用自助商务智能工具进行大数据处理的公司将脱颖而出。其中一个挑战是,许多数据源会带来大量低质量的数据。为了成功,公司需要了解原始数据和数据分析之间的差距,以消除低质量的数据,并通过Bi做出更好的决策。
大数据世界不仅是一个庞大的单一计算机网络,更是一个由大量活动组件和多个参与者组成的生态系统,如终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商,联系服务、数据服务零售商等由一系列参与者构建的生态系统。
现在,这样一个数据生态系统的基本原型已经形成,下一步的发展将趋向于系统内部角色的细分,即市场的细分;系统机制的调整,即商业模式的创新;系统结构的调整,即,竞争环境的调整等,从而逐步提升数据生态系统的整合程度。