您的位置:首页> VR资讯
大数据并非大企业的专利中小企业应用有何不可?
发布时间:2021-01-09

大数据(Big Data)议题延烧多时,可谓现今IT技术界的熠熠红星,一整年下来以此为主题的研讨会便不知凡几;但舞台下聚精会神并抱以热烈掌声的听众,怎么好像都来自大型企业?貌似中小企业只有当听众的份儿,与大数据毫无关系,难道因为门槛偏高,准入规则太严苛,让中小企业远离大数据?下面文章中我们就来介绍一下大数据适合任何企业,并非大企业一家专有。

现今大多数服务于企业机构的IT人,不仅对大数据毫不陌生,且对于个中涵盖的三V面向:处理时效(Velocity)、数据格式(Variety)与数据量(Volume),都能朗朗上口。

倘若,企业需要分析运算的数据量动辄几百TB,并掺杂结构化或非结构化等复杂格式,且必须被实时处理,那么无庸置疑非常适用大数据技术。然不可讳言,能同时拥有这些需求条件者,通常是大型企业。

大型企业需要大数据技术因应庞大的组织,因此所有相关的推广文宣,都明显指向这群中大型组织;相形之下,中小企业则不在IT 厂商默认的首要推广目标之列。久而久之,就连中小企业自己都不认为大数据与其相关。

然而,大数据系一种有别以往的分散运算技术,旨在填补过去关系数据库鞭长莫及的缺口。尽管名词里头夹带Big字眼,却不见得只有大企业适用。如果仅以组织大小为基准判断,则显得简略,也存在不少谬误。

事实上,各企业所属的产业别,乃至于数据的产生速度、特性、保存期限,种种条件皆有所差异,所以对于大数据的应用需求,自然高低有别。有的大企业,并不需要运用这项技术;但有些中小企业,却能受惠于大数据技术的导入, 改变过去批处理数据的常态,省却冗长繁复的后制程序,快速将数据转变为有用的信息,并产生莫大营运价值,反倒对于大数据需求若渴。

至此不难厘清,中小企业其实也适用大数据技术,无须被”Big Data”名词给混淆或误导。但问题来了,有没有需求,是一回事,找不找得到合适的导入标的,却又是堪称严肃的另一回事。因为综观大多数大数据解决方案的结构与型态,确实难以让中小企业入手。

导入门坎偏高 震慑中小企业

说到核心业务的技能、创意或拼搏市场的冲劲,中小企业样样不缺。但谈到信息应用所需之财务预算、专业人力与素养,则是略显不足。因此适合他们的大数据解决方案轮廓,其实很容易定义,第一就是平易近人的入手价格、第二则是无涉艰深技术含量的易于维护性,有了这两项基本要件即可满足他们的需求。只可惜,以大量平行处理(Massively Parallel Processing, MPP)数据库为轴心的大数据方案普遍要价不菲,而且技术门坎不低,明显与中小企业的期盼背道而驰。

因为多数MPP数据库所采用的丛集架构,通常都是Master-Node型态,所以光是基本运作,就需要1个Master、1个Master的Backup,以及2到3个可接受Master指挥的Worker,算一算,至少需要4到5台机器,价格怎么会低?

此外,所有MPP数据库厂商都宣称支持压缩技术,但往往只做半套,一般都等到数据处理完才做压缩,此后若要撷取数据,又得解开这层压缩;所以穿梭于不同节点之间的数据,通常处于未经压缩的”肥大”状态。可想而知,其间动用的交换带宽势必巨大,且已达10Gbps或40Gbps InfiniBand”难以置信”之地步。

在如此高的网络拓朴要求下,中小企业若要部署这类MPP数据库,肯定需要将骨干交换器升级到10GbE或更高规格,实在兹事体大,该如何是好?

商用MPP数据库太贵,那采用”Hadoop+Hive”开放原始码组合,可行吗?然而这个运算架构,要真能与中小企业现有的商业应用环境兼容整合,恐需顾问服务介入协助,总体持有成本也不见得低。

架构伸缩自知 小资源换取大能量

这也不行、那也不可,是否意谓中小企业只能对Big Data挥手告别?当然不是!因为市场上已出现不走Master-Node的MPP数据库, 等于是分离主从关系,所有个体都是Master兼Follower,自己就能上手运作。因此小到一台实体或虚拟机,大到数百或数千台主机,通通伸缩自如、运作无虞。也就是说,中小企业只需运用基本配备,即能启动这类型解决方案,运用小资源换取大能量。

看到这里,中小企业或许心动,但仍有所疑惑,唯恐需要使用庞大交换带宽、费心升级骨干网络?所幸答案也令人满意,因为在满足上述条件的Column-Base列式平行数据库中,确实能做到一路压缩,将原本臃肿的数据压缩到1/10大的轻盈体态。

如此一来,即使它需要与不同节点互通数据,也绝不需要巨大带宽。更重要的是此类方案也很讲究自动化运转,不需倚赖太多专业Know-how或人力驱动,大大突破中小企业的技术障碍。

移动信息化交流QQ群:一号群:211029692 二号群:344692795 CIO交流群:316076815(需认证)

上一篇: 王团长日记397篇:还会往上涨吗?
下一篇: 奥迪RS7 Sportback谍照曝光 动力将突破600马力