Flink Kafka Connector与Exactly Once剖析

Flink Kafa Connector是Flink内置的Kafka连接器,它包含了从Kafka Topic读入数据的Flink Kafka Consumer以及向Kafka Topic写出数据的Flink Kafka Producer,除此之外Flink Kafa Connector基于Flink Checkpoint机制提供了完善的容错能力。本文从Flink Kafka Connector的基本使用到Kafka在Flink中端到端的容错原理展开讨论。

阿里圆心:前端路上的思考

在上周的 GMTC 全球大前端技术大会上,阿里前端技术委员会主席圆心老师发表了《前端路上的思考》的演讲,分别从前端的发展历程、今天的机会、如何引领新技术、前端价值这四个方面谈了下他的看法。本文整理内容如下。前端发展史我把前端发展编为五个阶段,这个五个阶段跟网络上看到的阶段分析不同。我认为每个阶段有一个理论或者方法论的支撑,带来了一次飞跃。第一阶段第一阶段放在2003年。大家那个时候都知道,那个时候讲求所有的HTML、CSS、JS是我们所谓结构样式行为的分离,这个理论造就了今天前端主体。在这之前基本是两种职位,一个是JAVA工程师,一个是设计。当时的设计是包含了视觉设计以及HTML+CSS。

为什么Flutter是跨平台开发的终极之选

跨平台开发是当下最受欢迎、应用最广泛的框架之一。能实现跨平台开发的框架也五花八门,让人眼花缭乱。最流行的跨平台框架有Xamarin、PhoneGap、Ionic、Titanium、Monaca、Sencha、jQuery Mobile、React native、Flutter等等。但这些工具的表现也是高低有别,各有千秋。在这些流行的框架中,有很多也已经消失在了历史的长河中被人渐渐遗忘了。但React native和Flutter这俩框架地位依旧坚挺,备受欢迎。这是为什么?因为它们俩分别由最强大的科技巨头Facebook和谷歌背书支持。本文将讨论谷歌Flutter这个万千瞩目的框架。

查询亿级数据毫秒级返回!Elasticsearch 是如何做到的?|极客时间

搜索是现代软件必备的一项基础功能,而 Elasticsearch 就是一款功能强大的开源分布式搜索与数据分析引擎。它可以从海量数据中快速找到相关信息,在同领域内几乎没有竞争对手——近两年 DBRanking 的数据库评测中,Elasticsearch 在搜索引擎领域始终位列第一。当你在 GitHub 上搜索时,Elasticsearch 可以实现代码级的搜索与高亮显示 ;当你在网上购物时,ES 可为你推荐喜欢的商品;当你下班打车回家时,ES 可以通过定位附近的乘客和司机,帮助平台优化调度。Elasticsearch 还被广泛运用于大数据近实时分析,包括日志分析、指标监控、信息安全等多个领域。

研发慢、宕机多、品牌弱怎么办?前携程CTO解密技术体系顶层设计

近日,由极客邦科技旗下品牌TGO鲲鹏会举办的 GTLC 全球技术领导力峰会在上海举行,GTLC 峰会邀请到了前携程网 CTO、靖亚资本创始合伙人叶亚明 (Eric Ye),就「技术系统的顶层设计」主题进行了深入的探讨和交流。游族网络 CTO & TGO 鲲鹏会上海分会会长伍涛主持了本次圆桌对话。 GTLC 峰会现场,伍涛与叶亚明的对话长谈叶亚明( Eric Ye) 于 2011-2017 年在携程网担任 CTO 和 Chief Scientist一职,帮助携程网完成从call center 到移动互联网模式转型,同时为公司建立了领先技术系统和开放技术文化,驱动业务10x增长。

如何在30分钟内完成数十亿条数据的分析?

1. 受众分析需求及难点TalkingData推出的数字化营销平台(Smart Marketing Cloud,以下简称SMC),提供了一套从人群构建、客群洞察,再到同步投放、客观监测的一体化解决方案,帮助企业构建完整的数字化营销闭环。SMC服务多个行业的广告主和广告代理,帮助他们对目标受众人群进行分析、洞察和触达。但是由于SMC汇集了包括一方企业数据、二方媒体数据和TalkingData自有数据在内的多源数据,数据量非常大;此外,为了对受众人群进行全面、深入的画像,TalkingData基于人口属性、移动端行为偏好等建立了拥有六大类别、800多个标签的标签体系,维度非常多。

苹果证实确已收购Drive.ai,但请不必为吴恩达感到惋惜

据外媒报道,苹果公司已于本周二证实,已经收购自动驾驶汽车创业公司Drive.ai,并且挖来了数十名自动驾驶技术工程师。根据InfoQ之前的报道,苹果公司的自动驾驶计划“Project Titan”进展一直不顺利,甚至已经裁掉了约200人,所以这次收购Drive.ai在一些业内人士看来,更像是苹果的一次“自救”行动,毕竟苹果自动驾驶一直被寄予厚望,但又表现不佳,尤其是当“神秘面纱”被扯下之后,问题暴露无疑,这时候如果再不采取一些措施,苹果可能就真的赶不上自动驾驶这趟车了。回头再聊一下 Drive.ai。

讨论:日本一公司加班罚款、开会付费,你怎么看?

一篇来自Bloomberg的报道在这两天引来大家的关注和争议:一家叫做迪思科的日本芯片设备制造商,通过向员工收取100美元/小时的会议室使用费,来”逼迫“员工提高工作效率,减少无意义的会议沟通和对会议室的占用。在八年之内,这家公司盈利飙升,股价翻了4倍。在迪思科,无论是使用会议室,还是使用办公桌、个人电脑,甚至你的湿雨伞弄湿了地面,都要收费。费用是以虚拟货币”Will“进行结算,每个季度以日元进行兑现。收费项目五花八门,比如销售团队要向工厂工人支付生产商品的费用,然后他们再付给工程师设计费;比如如果员工堆积了不必要的库存,或者要进行加班,也要付费。

InfoQ访谈:Render新应用托管云供应商

Render是一个新的Web和App托管供应商,按照Render的CEO所述,在全面的云供应商(如AWS)和PaaS供应商(如Heroku)之间,Render做到了“完美的平衡”。Render仍在致力于构建它的服务套件,但是已经具备了运行基础应用的基本要求。通过dashboard,开发人员可以决定创建哪种类型的服务,也就是公开的还是私有的。这会连接到一个GitHub仓库,每当将代码更新推送到该仓库的时候,都会向服务部署更新。这样的话,没有必要创建单独的构建和部署管道。目前,它所支持的是脚本语言,如Node和Python。对于想要使用不同技术(如Java或.

独家解读!京东高可用分布式流数据存储的架构设计

京东于2018年对其自研的消息队列中间件JMQ进行了一次彻底的重构,升级为JournalQ。相比上一代产品,JournalQ大幅提升了性能,功能上增加了Kafka、MQTT等协议的支持,提供更加完善的事务机制;设计上采用了存储与计算分离的模式,数据存储层从JournalQ中分离出来作为一个独立的中间件产品,高可用分布式的流数据存储:JournalKeeper。基于这种存储计算分离的设计,JournalQ在产品的定位上从单纯的消息数据管道升级为流数据的存储分发平台。笔者作为架构师,全程参与了JournalQ和JournalKeeper的设计和开发。

编译速度提升700%,字节跳动中台技术揭秘

在当今世界互联网时代下,平台化正兴起,从基础设施到人工智能等各个领域不断涌现的各类平台,对于软件开发人员及企业带来了深远的影响。在国内提“数字化平台战略”大家可能会觉得比较抽象,比较远大空;我们更喜欢用”中台战略“这个词来描述,这样显得更接地气一些。从BAT到美团、京东、华为都在调整组织架构,建立自己的中台部门,一时间”中台战略“仿佛成了那把角逐互联网下半场的取胜之匙。聊了这么多,到底什么是”中台“呢?

The Food Growing on This Building Will Be Served at a Restaurant Inside

France will make quite a statement about feeding the world when it unveils its pavilion at the Milan Expo 2015. Not only will vegetables, herbs, and hops grow on the building's exterior, but that same food will also be served at a restaurant inside. In fact,

$3000 GeForce GTX TITAN Z Tested, Less Performance Than $1500 R9 295X2

Vigile writes: NVIDIA announced its latest dual-GPU flagship card, the GeForce GTX Titan Z, at the GPU Technology Conference in late March with a staggering price point of $2999. Since that time, AMD announced and released the Radeon R9 295X2, its own dual-GPU card with a price tag of $1499.

IT巨头海量电子垃圾殃及印度 仅海尔诺基亚有举措

据英国《每日邮报》6月27日消息,印度行业咨询机构TToxics Link发起的一项调查显示,50家领先的电子企业中(包括31家跨国企业和19家印度本土企业),16家在处理电子垃圾方面是不合格。

泛泰脱离破产边缘 债权人同意免息延长2年偿还期

韩国第三大设备制造商泛泰(Pantech)由于该巨大债务危机已经处于破产的边缘,公司债权人机构近日同意延长债务偿还期限两年,在免息的情况下延长至2016年7月25日。

Tesla Wants To Sell You A Used Model S

The only thing better than a new Tesla is a cheap Tesla, and the company reportedly is set to unveil a program to address the sticker shock and it isn’t a cheaper car. It’s used cars. Certified pre-owned vehicles are big business for luxury automakers. Speaking to automotive News,

Ars Dissects Android's Problems With Big Screens -- Including In Lollipop

When it comes to tablets, Google doesn't even follow its own design guidelines." That's the upshot of Ars Technica writer Andew Cunningham's detailed, illustrated look at how Android handles screens much larger than seven inches, going back to the first large Android tablets a few years ago,

《日落狂飙》将于周六对Xbox Live金会员免费一天

来自Major Nelson的消息:为了庆祝Xbox One一周年,微软和Insomniac Games将会在 […]

Live from everywhere: ABC News journalists will stream video to your screen

ABC News is giving its journalists the ability to live stream video to viewers, embracing a popular tool among citizen journalists.The project, called GoStream, will allow any of ABC's field journalists to fire up an app and begin sending raw video to ABC News,

【SYNC旧金山】进入中国一年半,领英做了哪几件事?

领英在过去一年半,最重要的一件事就是推出了针对中国本地市场的一款独立应用赤兔。这款应用完全由领英中国团队打造。为某一个市场做单独的应用,这也是领英第一次。

如果虚拟世界有一双你的手

小时候,每次被老师罚抄单词100遍时,总希望有个机器人能模仿我字迹,做完这无趣的任务。后来才发现,这个世界上有太多这种机械的重复性的工作,或者危险的工作,都需要模拟人的手部动作才能完成。

© 云聚网互联网资讯 我要投稿 云聚网博客 7秒MCN大数据平台 悠闲吧