网赢中国专注大数据营销 [会员登录][免费注册][网赢中国下载]我要投稿|加入合伙人|设为首页|收藏|RSS
网赢中国是大数据营销代名词。
大数据营销
当前位置:网赢中国 > 行业资讯 > 技术文章 > 大数据营销技术文章 > Spark大数据框架驱动快速分析-其它
Spark大数据框架驱动快速分析-其它
编辑:Ed Burns 发布时间: 2015-7-28    文章来源:TechTarget中国
大数据营销

Spark大数据


  Spark大数据分布式计算框架得到数据工程师的极大关注,但是到目前为止它的吸引力仅限于此。但是,用户认为它有一个主要特性可以帮助它扩大影响力:速度。


  企业越来越多地使用自助分析应用程序,它们变得很容易操作。简单易用通常是在组织范围内成功应用的一个最大因素,但是在上周旧金山举行的Spark Summit 2015大会上,这个计算框架的早期使用者指出,速度可能才是让一线人员使用数据的最大卖点。


  谷歌最近收购的智能调度服务制造商Timeful的副总裁Gloria Lau说:“它们必须快速失败,它们必须迭代。它们要可视化,然后再失败。迭代是最有价值的。你必须相信非工程师也才做得很好。”


  虽然Spark可能要求较同的技术能力才能管理其后台的集群,但是开源技术的前端用户友好性相对较好。ApacheSpark带有一个Spark SQL库,它给用户提供了查询各种数据存储的工具,包括使用SQL、Java和R分析语言,而开发者甚至可以开发在Spark上更加简单的前端应用程序来使用这些工具。


  内存技术提升应用速度


  由于Spark在内存中处理数据,运行在环境中的任何应用都能受益于速度。它的发明者指出,它处理数据的速度要比MapReduce快100倍,后者是Hadoop原来的处理引擎,而且在内存中运行作业时,Spark的速度相当于在磁盘中运行的10倍速度。


  Lau指出,对于技术一般的用户而言,这种速度是至关重要的。典型的数据用户并不喜欢那些需要10分钟才能处理完的作业。他们习惯了像谷歌这样几乎即时返回结果的查询服务。


  Lau说:“你想要的是普及数据。你希望所有人都能够访问数据,然后形成他们自己的洞察力。速度是你现在唯一应该关心的问题。”


  丰田汽车美国销售公司的高级数据科学家BrianKursar指出,Spark的速度帮助他和他的团队开发出广泛使用的报表,它们可以量化丰田品牌在社交媒体中的公共认知度。他们基于Spark的机器学习库(MLlib)内置的算法开发了一个机器学习应用程序。但是,它也经过了几次迭代才达到较高的精确度。


  Kursar指出,快速完成这个过程,然后交付一个精确的结果,这种能力在帮助项目获得主管支持并将其结果应用于实践的过程中发挥着重要作用。


  他说,“当你在开发一个产品时,你尝试改进模型的准确性,这时计算能力和速度不高的技术会影响你的发挥。”


  NASA使用Spark实现数据访问


  NASA喷气推进实验室的首席架构师Chris Mattmann指出,他和他的团队正在开发一个基于Spark的数据处理系统,它旨在帮助研究人员访问存储在分散文件系统中的数据。


  NASA及其合作伙伴生成的许多科学数据位于不同的数据系统中,并且使用科学社区中专用的文件类型,一般的工具很难访问这些数据。此外,访问当前数据存储的研究人员在执行处理作业时耗时很长,因为每一个查询都需要从各个数据存储中拉取数据。所有数据都不在内存中。


  但是,Spark的内存处理功能使客户端能够给研究人员提供快速的数据访问,无论他们使用哪一种前端工具都一样。


  Mattmann说:“我们应该要能够以交互试执行这些查询。它应该能够执行ETL,然后自动地将数据加载到内存中。”


大数据营销
编辑推荐
图片行业资讯
  • 雷军隔空喊话董明珠:格力 小米欢迎你
  • 杨元庆:Moto在华上市一周预定量超100万
  • 小米洪锋谈O2O布局:做商城不做具体服务
  • 盖茨向不知名实体捐赠15亿美元微软股票 持股降至3%
  • 刘强东:允许我获取数据 冰箱免费送给你
营销资讯搜索
大数据营销
推荐工具
    热点关注
    大数据营销
    大数据营销
    大数据营销
    大数据营销
     

    大数据营销之企业名录

    网络营销之邮件营销

    大数据营销之搜索采集系列

    大数据营销之QQ号采集

    大数据营销之QQ精准营销

    大数据营销之QQ消息群发

    大数据营销之空间助手

    大数据营销之QQ联盟

    大数据营销之QQ群助手
     
    设为首页 | 营销资讯 | 营销学院 | 营销宝典 | 本站动态 | 关于网赢中国 | 网站地图 | 网站RSS | 友情链接
    本站网络实名:网赢中国  国际域名:www.softav.com  版权所有 2004-2015  深圳爱网赢科技有限公司
    邮箱:web@softav.com 电话:+86-755-26010839(十八线) 传真:+86-755-26010838
    在线咨询:点击这里给我发消息 点击这里给我发消息 点击这里给我发消息  点击这里给我发消息  点击这里给我发消息

    深圳网络警
    察报警平台
    公共信息安
    全网络监察
    经营性网站
    备案信息
    不良信息
    举报中心
    中国文明网
    传播文明
    分享