聊聊什么是大数据｜一文秒懂

-广义（哲学）：指物理世界到数字世界的映射和提炼，通过发现其中的数据特征，从而做出提升效率的决策行为。

-狭义（技术）：通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。

-传统企业数据：包括CRM用户数据、ERP数据、库存数据、人事数据、财务数据等。

-机器和传感数据：包括设备日志、智能仪表、工业传感器、环境传感器、摄像头等。

-社交数据：包括用户行为记录、访问记录、UGC内容、反馈数据等。

-结构化数据：以关系型数据库表形式管理的数据，例如企业ERP、OA、HR里的数据。

-非结构化数据：数据结构不完整或者不规则，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据，例如Word、PDF、PPT及各种格式的图片、视频等。

-半结构化数据：非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、E-mail等。

-冷数据：访问频率较低、对业务和应用不太重要的数据，例如备份数据、日志数据等。

-热数据：访问频率高、对业务和应用关键的数据，例如用户、设备的状态信息，以及浏览和交易行为。

-温数据：访问频率适中，对业务和应用有一定重要性的数据。

-云计算关注资源的分配利用，侧重于实现计算设备的资源虚拟化，从而实现更高效的资源利用；

-大数据是指海量数据的高效处理，主要处理庞大的数据；

-云计算给大数据提供了有力的工具，大数据为云计算提供了数据能力上的支撑；

-大数据和云计算为人工智能提供了强大的数据存储和计算能力，服务于人工智能所需要的海量数据。

-起步阶段：

    *数据库被发明之后，使得数据管理的复杂度大大降低。各行各业开始产生了数据，从而被记录在数据库中。

    *这个阶段的数据，以结构化数据为主。数据的产生方式，也是被动的。

-转变阶段：

    *随着互联网2.0时代出现的。互联网2.0的重要标志，就是用户原创内容。

     *随着互联网和移动通讯设备的普及，人们开始使用博客、脸书、微博、QQ空间等社交网络，从而主动产生了大量的数据。

-加速阶段：

     *是万物互联和数字化转型阶段。随着物联网的发展，各种各样的感知层节点（传感器、摄像头等）开始自动产生大量的数据，实现物理世界向数字世界的映射。

1、需求模糊

业务部门需求模糊，企业处于观望状态，担心投入回报。

2、数据孤岛

政府部门和企业内部数据碎片化，无法互相打通，没有进行关联和整合，无法发挥数据价值。

3、数据流失

企业保存数据成本较高，导致大量有价值的历史数据被遗弃，数据资产流失。

4、数据质量差

企业忽视了大数据的预处理阶段，导致数据处理很不规范，影响了数据的准确率和可用性。

5、数据安全隐患

安全威胁日益增加，对系统和数据进行保护的难度也随之增加。

6、隐私保护

隐私权益保护的法律法规越来越严格，企业需要进行合规审计，合理合法地进行数据收集和利用。

7、人才缺乏

大数据相关人才的欠缺，对大数据技术和市场发展形成了一定阻碍。

-资产化：大数据价值不断提升，在企业和社会层面成为重要的战略资源、无形资产。

-智能化：大数据将更加智能化，可以自动进行数据处理和分析，提高数据处理效率和质量。

-个性化：大数据将更加关注用户需求，实现个性化服务和定制化产品。

-可视化：大数据将更加注重数据可视化，通过图表、报表等方式将数据呈现给用户，以实现用户对数据的直观理解。

-安全性：大数据将更加注重数据安全，采用更加严格的数据保护措施，确保数据的安全性和隐私性。

-数据湖是一类存储自然/原始格式的集中式存储库。数据湖通常是企业中全量数据的单一存储。

-数据湖允许以任意规模存储所有结构化、半结构化和非结构化的数据。

-数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施。

-数据湖以数据为导向，实现任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期管理。

-数据湖通过与各类外部异构数据源的交互集成，支持各类企业级应用。

来源@鲜枣课堂