博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
TWITTER背后的开源技术
阅读量:4155 次
发布时间:2019-05-25

本文共 1885 字,大约阅读时间需要 6 分钟。

如果没有开源软件,Twitter将不会存在。你发送和接收的每一个Tweet在移动端和PC端发送的过程中,都会需要开源软件。我们非常。除此之外,我们想要知道开源对公司的文化产生了什么影响。

Twitter背后的开源技术

我们采访了Twitter公司主管开源的Manager Chris Aniszczyk,来和我们大家分享。Aniszczxk将会在本月的LinuxCon(8月29日至31日,在San Diego,CA)上做主题演讲: The open source technology behind a Tweet.

让我们看一下Aniszczy如何看待Open Source以及Twitter的开源文化。

请给我们简单介绍一下你即将在LinuxCon上做的报告“The Open Source Technology Behind a Tweet”?

表面上来看,提供一种简单的实时消息服务,其传播的是140个字节组成的被称为Tweets的消息单元。更进一步的看一下运行此服务的复杂性:每天超过4亿的Tweets被发送。在这样一个规模下,你必须处理一些有趣的问题。在这个报告中,我将讲述我们如何应对这些挑战以及为什么我们选择开源软件来应对这个挑战。这个报告的内容将要讲述一个Tweet的整个生命周期,从我们的后端服务到前端显示。我期待听众在听完报告后,能够对开源技术有更好的了解和认识,同时知道一个简单的Tweet在出现在他们的timeline时,背后都发生了什么。

一个Tweet的传播场景背后,使用了多少开源软件?

我们使用了许多开源软件。依我来看,作出这个决定是很自然的事情。因为使用开源软件允许我们在公司和服务快速发展的过程中,可以定制代码用以满足我们快速迭代的工程需求。在Twitter,当我们计划开展一个新的项目时,我们总是会取衡量我们的需求以及开源能够提供给我们的能力,同时倾向于定制开源软件用以满足需求。通过这样的方法,Twitter大部分构建在开源软件基础之上,作为结果,open source的方式现在是我们文化中普遍存在的一部分。另外,从开源社区中获取并回馈给开源社区形成了一个正反馈,我们也在上分享了我们很多代码。

下边是我们使用的一些开源软件的具体的例子:

  • 被大量使用,是Tweet的主要存储工具;我们开发了用来和开源社区合作;
  • , , , 以及一些其他的Apache基金会的项目被我们的架构使用,用来增强分析数据和搜索的服务能力。我们也回馈这些项目并资助Apache软件基金会。
  • 在我们的中被大量使用,用来应对我们告诉增长的流量。我们最近开源了, 这个项目基于Memcached的代码进行开发。

另外,我们也提供了一些开源软件:

  • 是我们开发的一个流量生成工具,用来帮助我们把服务在生产环境上线前进行测试。lago提供适合于Twitter环境所需的流量和精度用来测试我们的服务。
  • 是我们开发的一款分布式追踪(tracing)工具,帮助我们收集timing data,这些data是对Twitter API请求中的不相关联的服务产生的。
  • 是以个Scala库,使用这个库可以容易的在Hadoop上开发MapReduce作业,利用内置集成的Scala和JVM。

我还想提一下,它使得开发分布式应用以及共享数据中心的资源非常容易。我们在Twitter内部很多地方使用它,从执行Hadoop上的作业分析,到运行Rails应用。它真的是Twitter的基础应用之一。你能查看这个演讲用来获取更多的信息。

在Twitter工作是什么样子的?你们的文化受到Open Source影响吗?

如果你在开源社区花费一些精力,你将会意识到信息的开放沟通对整个世界将会带来积极的影响。在Twitter,我们谨记这个准则,每个员工有意愿和机会参与其中。我们每周都会开all-hands会议,在这个会上,尖锐的问题被提出和回答,因为我们从内到外都保有开放的心态和互相之间的信任。更进一步,我们大约在一年前成立了一个用来支持对我们至关重要的开源组织。我们对开源社区所作出的伟大工作充满感恩,想要和开源社区保持健康的关系。

在工程文化方面,Twitter本身是一个实时的事件驱动的工程难题,我们也将我们的工程文化塑造成实时响应以及事件驱动。我们想要敏捷、小步迭代的工程文化,这些伴随着整个公司的成长而发展。每天有超过4亿Tweets被发出,同时有大量的Tweets被递送。我们每季度也举办hackweeks,员工可以拿出一周的时间从事各式各样他们真正富有激情的项目,这些项目不需要和他们每天负责的职责相关。

转载地址:http://hteti.baihongyu.com/

你可能感兴趣的文章
码农:很多人称我“技术”,感觉这是不尊重!纠正无果后果断辞职
查看>>
php程序员看过来,这老外是在吐糟你吗?看看你中了几点!
查看>>
为什么说程序员是“培训班出来的”就是鄙视呢?
查看>>
码农吐糟同事:写代码低调点不行么?空格回车键与你有仇吗?
查看>>
阿里p8程序员四年提交6000次代码的确有功,但一次错误让人唏嘘!
查看>>
一道技术问题引起的遐想,最后得出结论技术的本质是多么的朴实!
查看>>
985硕士:非科班自学编程感觉还不如培训班出来的,硕士白读了?
查看>>
你准备写代码到多少岁?程序员们是这么回答的!
查看>>
码农:和产品对一天需求,产品经理的需求是对完了,可我代码呢?
查看>>
程序员过年回家该怎么给亲戚朋友解释自己的职业?
查看>>
技术架构师的日常工作是什么?网友:搭框架,写公共方法?
查看>>
第四章 微信飞机大战
查看>>
九度:题目1008:最短路径问题
查看>>
九度Online Judge
查看>>
九度:题目1027:欧拉回路
查看>>
九度:题目1012:畅通工程
查看>>
九度:题目1017:还是畅通工程
查看>>
九度:题目1034:寻找大富翁
查看>>
第六章 背包问题——01背包
查看>>
51nod 分类
查看>>