Impala在网易大数据的优化和实践

导读: 网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天将为大家分享下Impala在网易大数据的优化和实践。01 Impala的定位及优势Impala有哪些优势,让我们选择Impala作为网易内部的OLAP查询引擎?1. Impala在数据处理中的角色先来看一下Impala在数据处理中的角色。对于数据量较少的场景,例如百万数据以下的情况,可以采用传统的关系型数据库,如MySQL或者PostgreSQL等,或者一些文档数据库,比如MongoDB等。

网易的Spark技术实践

对于大多数的大数据而言,实时性是其所应具备的重要属性,信息的到达和获取应满足实时性的要求,而信息的价值需在其到达那刻展现才能利益最大化,例如电商网站,网站推荐系统期望能实时根据顾客的点击行为分析其购买意愿,做到精准营销。

BDTC PPT精粹(三):BAT、IBM、Intel等分享的大数据技术

2014年12月12—14日,第八届中国大数据技术大会将在北京新云南皇冠假日酒店隆重举办。回顾以往七届的技术盛宴,CSDN特整理部分PPT精粹,分五期进行分享,一起回忆那些年曾经带动企业发展的技术热点和实战经验。

BDTC PPT集萃(二):BAT、搜狐、新浪等互联网企业的大数据实践

2015年12月10—12日,第九届中国大数据技术大会将在北京新云南皇冠假日酒店隆重举办。回顾以往八届的技术盛宴,CSDN特整理部分PPT精粹,分三期进行分享,一起回忆那些年曾经带动企业发展的技术热点和实战经验。

20大议题独家披露,BDTC2014上演干货接力

距12月12日在北京召开的2014中国大数据技术大会还有一个月时间,大会的各项组织工作进入冲刺阶段,日前,我们从大会组委会拿到了首批演讲嘉宾名单和部分议题,更多详情请持续关注2014大数据技术大会官网。

【BDTC先睹为快】卢亿雷:Hadoop在广告监测技术的实践

AdMaster是一家营销数据技术公司,通过软件即服务(SaaS)平台整合多源数据,助力品牌挖掘数据应用的商业价值。AdMaster技术副总裁卢亿雷将会在大数据技术大会分享广告行业是怎么应用大数据技术的。

与主流同行,参加2014中国大数据技术大会的十大理由(议题攻略)

在12月12-14日北京召开的BDTC 2014上,Hadoop之父、Cloudera首席架构师Doug Cutting,OpenStack基金会董事杜玉杰,Spark发源公司Databricks软件工程师孟祥瑞都将参与分享。

【BDTC先睹为快】宜信郑华:金融大数据大有可为,看好Spark和Docker

宜信是全球最大的P2P金融服务公司,公司在2013年底成立大数据创新中心,旨在以技术推动金融创新的尝试,如风控和反欺诈等。郑华对Spark、Docker等新技术在宜信的应用前景非常看好,认为它们能够帮助宜信提升IT效率。

QCon上海2014关键字:Java、运维、前端、Hadoop

QCon上海2014大会即将于10月16-18日举行,本次会议精选了15个热门专题,包括知名移动应用案例分析、真实的云计算应用实践、大数据架构和行业应用、不仅仅是Java等,通过本文,读者可以了解QCon上海的几个热门专题介绍。

【先锋】环信刘俊彦:微信之外还有一个庞大的生态圈

创始团队本身的开发经历让他们深知做好移动IM的种种坑点和难点,深知一个支撑几万用户的聊天服务器到一个千万用户在线的运营级聊天服务器的差距,他们正在通过提供极致的通讯云服务打造微信之外的另一个庞大生态圈。

【BDTC先睹为快】介文清:NoSQL解决12306遇到的新问题

介文清将在12月14日“2014中国大数据技术大会”的“大数据技术”分论坛,分享一个NoSQL的案例,借由实际的需求来介绍NoSQL的技术的应用方式。介文清认为NoSQL使用了新方法解决新问题,尤其是使用内存式的数据管理。

使用 Go 实现 Async/Await 模式

Golang 是一种并发编程语言。它具有强大的特性,如 Goroutines 和 Channels,可以很好地处理异步任务。另外,goroutines 不是 OS 线程,这就是为什么您可以在不增加开销的情况下根据需要启动任意数量的 goroutine 的原因,它的堆栈大小初始化时仅 2KB点击查看原文>

磁盘到底是怎样工作的?一文理解硬盘结构

一文理解磁盘结构点击查看原文>

一个“举债”1.8亿投身开源的人丨C位面对面

“Open Source is eating the world”,这是开源软件发轫之初有心人下的惊人论断。随着时间线的推移,“耸人听闻”的标题成了市井街巷的谈资,整个世界构建在了开源所打下的“地基”之上。马越是国内最早接触开源的那一批人,也是 Red Hat JBoss 世界创新奖首位华人获奖者。2007 年回国创业的他选择了开源赛道,不单将恒拓开源做到新三板开源技术服务平台第一股,他还全资收购了开源中国并出任 CEO,继续推动本土开源的历史进程。开源的魅力究竟在哪,让他不惜“举债”1.8 个亿仍坚定如昔?Gitee 未来坚定出海的决心从何而来?2020 年的今天,是本土开源最好的时机了吗?

Spock单元测试框架实战指南四 - 异常测试

这一篇主要讲使用Spock如何测试代码中抛异常的场景点击查看原文>

云智慧完成D3轮6000万美元融资,继续领跑智能运维市场

2020年12月1日,全栈智能业务运维服务商-云智慧(北京)科技有限公司(以下简称:云智慧)宣布完成D3轮6000万美元融资,这是国内智能运维领域获得的单笔最大融资。云智慧于2016年开始将大数据和人工智能技术应用于IT运维领域,并率先推出了智能业务运维平台。公司致力于智能运维的产品技术创新和深度应用实践,为企业数字化业务提供有力支撑。

数据中台“耗子尾汁” | InfoQ公开课

直播内容在上次的直播中,松子老师以”中台这趟车还能行驶多远“为主题,解析了一个实际的“中台”案例,给大家带来了一些不一样的看法。 本期,将在上期案例的基础上,再给大家解析一些”数据中台“案例,并通过深度解析某个领域数据平台实施过程,对比并总结提炼一个构建成功数据中台的方法。直播大纲透过一个实际的数据架构来看数据”中台“的实施结合小案例来讲解中台与双中台一个老数据人眼中数据架构发展听众受益点击查看原文>

Spring 源码学习 02:关于 Spring IoC 和 Bean 的概念

在前一篇文章中介绍了如何构建源码阅读环境,既然构建好了源码环境,本地也可以正常运行,那就开始阅读源码吧!点击查看原文>

5. Bean Validation声明式验证四大级别:字段、属性、容器元素、类

1024,撸起袖子继续干点击查看原文>

全链路数据治理在网易严选的实践

数据治理(Data Governance)的边界非常的宽泛,通常会把数据的定义、存储方式、使用规范、数据安全策略、数据质量等等都包括在其中。治理是一个很官僚化的术语,流程、评审、审计、规范这些令人昏昏欲睡的东西,构成了数据治理的常规手段和工具。因此,数据技术团队往往对“数据治理”有些抗拒,而数据治理团队往往觉得工作低效不好玩,吃力不讨好。因此,对于数据治理团队而言,我们除了要治理数据体系,提升其运转效率;还要把工作变得高效而精彩。为什么要做数据治理?

2020中国API生态与开发者现状调研报告

当前,数字化转型已深入各行各业,API——这个曾经的底层代码接口,不仅发展成为产品本身,更成为企业承载价值、连接业务的核心载体,一个由API使用者和开发者组成的、围绕API产品生命周期的价值交换新模式正日益成熟,特别是与微服务、DevOps等技术的融合,都将使得API战略成为企业加速创新的利器。虽然API已经作为数据服务等功能接口广泛应用在诸多场景,但大量组织对于API生命周期的管理流程、工具使用、价值实现还存在相当程度的认识偏差。

二合一创意笔记本电脑桌设计

设计师Thibaut Rouganne设计的这款十分便携的创意笔记本电脑桌根据用户的使用需求既可以平放在有一定高度的台面上,也可以竖起桌腿变成床上电脑桌,平时还可以将笔记本电脑收藏在其中起到防尘的作用。

把握住媒体的社会价值,微博不会被用户抛弃

新浪从一开始就拥有强烈的媒体基因与通过媒体影响社会的自发的责任感,这也是现在微博核心价值的最初来源。

Sony's AS100V action cam is getting a firmware update for Mac and Windows that allows it to stream l

Sony's AS100V action cam is getting a firmware update for Mac and Windows that allows it to stream live internet video. We'll let you decided what you want to do with that feature.Read more...

iPhone 6发布,搅动中国手机市场

【IT时代周刊锐评】苹果iPhone6如约于9月10日凌晨发布。虽然在技术方面没有革命性的改变,但就电子消费品而言,iPhone6市场化的选择,必然重新启动新一轮手机行业的竞争,手机厂家的市场地位或许将在iPhone6的影 ... ...

传闻陌陌今年年底赴美IPO,估值30亿美元,讲出社交网络又一个好故事

陌陌上市的传闻进入第二季了,今年上半年36氪报道了陌陌今年可能以20亿美元估值赴美上市的消息。

印度空军指控小米窃取用户信息

据“chinatopix”网站10月20日报道,印度空军 (IAF)指责中国智能手机制造商小米,称其收集用户信息并发送到它位于北京的服务器上。

Google和百度将会引领”人工智能“实现质变么?

前段时间,土匪发了一篇人工智能的文章,很多做人工智能这块的小伙伴来找土匪交流,很开心有这么多人关注人工智能。交 […]

《小苹果》在iTunes音乐上架 筷子兄弟参加2014 AMA

筷子兄弟的一首《小苹果》不仅红遍祖国大江南北,还冲出亚洲走向世界。日前,《小苹果》(Little Apple)正式在苹果iTunes音乐商店上架,筷子兄弟也成为国内第一位在iTunes音乐上架的组合。

网秦CEO林宇因个人原因辞职

网秦(NYSE:NQ)今日宣布,出于与公司无关的个人原因,董事长兼联席CEO林宇已经卸任。为接替林宇,提供一个平稳的过渡,公司董事会已晋升公司总裁许泽民为联席CEO,并加盟董事会,他将与联席CEO奥马尔·汗(Omar Khan)共事。

Com2uS财报:2014年Com2uS净利润7290万美元 同比增长309%

2月11日消息,韩国移动发行商Com2uS今天发布了2014年财报。财报显示,2014财年Com2uS营业额、运营利润和净利润均实现增长。Com2uS2014财年总收入2346亿韩元(约合2.

© 云聚网互联网资讯 我要投稿 云聚网博客 DeepHub IMBA