|
南京信同诚信息技术有限公司
地址：南京市玄武区玄武大道699-18号先声药业园区9幢四层
电话：+86-25-68155000
传真：+86-25-68155055
服务专线：400-110-1012| 当前位置：首页 > > 典型案例 |
大数据研究解决方案
大数据产生背景
纽约证券交易所每天产生1TB的交易数据；
社交网站facebook的主机存储着约10亿张照片，占据PB级存储空间；
互联网档案馆存储着约2PB数据，并以每月至少20TB的速度增长；
瑞士日内瓦附近的大型强子对撞机每年产生约15PB的数据；
……
这样的数据该怎么存储和快速读取？这样的数据如何进一步提取整洁、有价值的数据，并进行深度分析，从而提供更具价值的深度信息服务和应用？
同时随着多核及多处理器技术、大规模并行计算技术、行业大数据应用需求，三者的共同作用促进了大数据的发展热潮。
什么是大数据
大数据意指一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集；大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值。
大数据的主要技术及发展
大数据采用并行处理系统
• 把数据分布存储在每个节点的本地文件系统中，然后逻辑上构成一个很大的分布式文件系统；
• 每个节点尽可能负责处理本地的数据，然后把结果汇总起来得到最终结果；
大数据采用典型的流式处理问题
• 大量数据记录/元素进行重复处理
• 对每个数据记录/元素作感兴趣的处理、获取感兴趣的中间结果信息
• 排序和整理中间结果以利后续处理
• 收集整理中间结果
• 产生最终结果输出
经过多年的发展，Hadoop已经发展为一个包含众多功能子系统的一个强大的大数据处理生态系统与平台；目前全球几乎所有IT和互联网企业都在使用Hadoop作为其大数据处理平台，例如，国内某电商利用多达4000个节点的Hadoop集群用于分析挖掘用户的交易数据。
后Hadoop时代新的大数据计算模式和系统出现，其中尤其以内存计算为核心、集诸多计算模式之大成的Spark生态系统的出现为典型代表。
目前，Hadoop与Spark成为大数据处理的两大主流平台，并且两者在相互融合
大数据价值链
市政民生
• 转型中的政府需要使用大数据提升决策和服务能力，提升宏观经济管理、城市管理、交通、金融、医疗、电力、教育、环保等市政民生领域的管理决策水平。
IT行业
• 大数据相关各个层面上的IT技术企业、尤其是互联网行业，可通过开发大数据技术工具平台、提供大数据分析服务提升企业的盈利水平。
传统企业/商业
• 数据和分析将成为传统企业新型竞争力，传统企业和商业需要利用大数据进行商业模式的创新。
数据成为资产，数据会变得越来越重要，成为一切商业模式起源和重构的基础；大数据催生的数据服务意识和能力，正在影响这个社会的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域，并催生了各行各业的变革力量，并成为跨界颠覆者。
总体设计拓扑图
| 上一条： 等离子拼接大屏幕显示系统解决方案 | |
| 下一条： 教育行业网络实训室解决方案 | |
南京信同诚信息技术有限公司 地址：南京市玄武区玄武大道699-18号 Tel:+86-25-68155000 Fax:+86-25-68155055 |