工程技术

开源技术架构漫谈：Stack Overflow 架构全解析

摘要

Stack Overflow 架构解析，其架构既有商业外包服务，也大量采用开源软件，可以全景式展现当代主流架构的风貌。
Stack Overflow 由 Jeff Atwood 和 Joel Spolsky 这两个非常著名的 Blogger 在 2008 年创建。

第一篇：总体架构
第二篇：硬件清单
第三篇：部署流程 (未翻译)

As of April 2014, Stack Overflow has over 4,000,000 registered users[19]and more than 10,000,000 questions,[20]with 10,000,000 questions celebrated[21]in late August 2015. Based on the type oftagsassigned to questions, the top eight most discussed topics on the site are:Java,JavaScript,C#,PHP,Android,jQuery,PythonandHTML。——wiki

总体架构

Stack Overflow 可以分解为八个切面：互联网、负载均衡、web层、服务层、缓存、推送、搜索、数据库。

First Rule:Everything is redundant

两个数据中心：纽约和科罗拉多，冗余且持续备份。其它所有关键组件都尽可能贯彻冗余原则。

全景视图

物理架构

  • 4 台 Microsoft SQL Server 服务器（其中 2 台使用了新的硬件）
  • 11 台 IIS Web 服务器（新的硬件）
  • 2 台 Redis 服务器（新的硬件）
  • 3 台标签引擎服务器（其中 2 台使用了新的硬件）
  • 3 台 Elasticsearch 服务器（同上）
  • 4 台 HAProxy 负载均衡服务器（添加了 2 台，用于支持 CloudFlare）
  • 2 台网络设备（Nexus 5596 核心 + 2232TM Fabric Extender，升级到 10Gbps 带宽）
  • 2 台 Fortinet 800C 防火墙（取代了 Cisco 5525-X ASAs）
  • 2 台 Cisco ASR-1001 路由器（取代了 Cisco 3945 路由器）
  • 2 台 Cisco ASR-1001-x 路由器

逻辑架构

The Internets 互联网
DNS服务：外包CloudFlare + 自建DNS
其实外包DNS服务应该已经可以满足服务，不过出于保险起见，还是有一套自建的DNS Server。

看来trust issues 中外一致啊。

Load Balancers 负载均衡
HAProxy 1.5.15 on CentOS 7
支持TLS (SSL)流量。关注HAProxy 1.7,它即将支持HTTP/2。

引入开源架构之后，就必须持续关注、跟进社区的发展动态。

吃着碗里的，看着锅里的，永远不能停。

Web Tier Web层
IIS 8.5, ASP.Net MVC 5.2.3, and .Net 4.6.1
Service Tier 服务层
IIS, ASP.Net MVC 5.2.3, .Net 4.6.1, and HTTP.SYS
Cache缓存
Redis
L1级别：HTTP 缓存

L2级别：L1级别缓存失败之后，通过Redis获取数据

L1&L2都是无法命中的情况下，会从数据库查询，并更新到缓存和Redis。

缓存更新：基于发布／订阅模型，利用这个机制来清除其他服务上的 L1 缓存，用来保持 web 服务器上的缓存一致性。

另外Redis实例的CPU都很低，不到2%，这点很惊人。

Push推送

开源库：NetGrain
使用 Websocket 向用户推送实时的更新内容，比如顶部栏中的通知、投票数、新导航数、新的答案和评论。在高峰时刻，大约有 50 万个并发的 Websocket 连接，这可是一大堆浏览器。

一个有趣的事实：其中一些浏览器已经打开超过 18 个月了。Someone should go check if those developers are still alive！！

问题：临时端口、负载均衡上的文件句柄耗尽，都是非常有趣的问题，我们稍后会提到它们。

Search搜索

Elasticsearch集群，每个ES集群都有3个Node
什么不用Solr？我们需要在整个网络中进行搜索（同时有多个索引），在我们进行决策的时候 Solr 还不支持这种场景。

还没有使用 2.x 版本的原因，是因为2.x 版本中类型（types）有了很大的变化，这意味着想要升级的话我们得重新索引所有内容。

没有足够的时间来制定需求变更和迁移的计划。

Database数据库

SQLServer
Our usage of SQL is pretty simple. Simple is fast.

数据库中只有一个存储过程，而且我打算把这个最后残留的存储过程也干掉，换成代码。

监控系统

Opserver：轻量级监控系统，基于 asp.net MVC 框架，可监控：
Servers

SQL clusters/instances

redis

elastic search

exception logs

haproxy


数据库CPU very low

Stack Overflow: The Hardware - 2016 Edition

这是关于Stack Overflow架构的一系列文章中的第二篇。
前一篇：《 Stack Overflow: 架构》（2016版）
后一篇：《 Stack Overflow: 我们是如何做部署的》（2016版）

有人对硬件感兴趣吗？好吧，我感兴趣，这篇博客就是关于这个话题，所以，我赢了。如果你不关系硬件，那么可以走开并关闭浏览器了。还在这儿吗？真棒。
假如你的网页访问非常非常慢，在这种情况下，你应该考虑采购一些新的硬件。

我曾今反复重申过多次：性能是一个重要组件。
特别是当你的代码必须在最快的硬件上运行，硬件的关系则越为重大。正如任何其它的平台，Stack Overflow的架构是分层的。硬件对我们来说属于基础层，它有自己的屋子，在很多情况下，对我们来说，它的许多关键组件是不可控的。。。就像运行在别人的服务器。它也伴随着直接和间接的成本。但是，这些不是本篇文章的重点，这方面的对比将于稍后报告。目前来说，我希望能提供一份详细的，关于我们基础设施的清单，用于大家参考和比较。

服务器照片。有时是裸设备。
这个网页可以加载得更快，但是我不能自禁。（言归正传）
在这个系列报告中我将提供大量数字和规格说明。
当我说“我们的SQL Server CPU利用率接近5-10%，” 好吧，这非常棒。
但是，5-10% 的什么？ 这时我们需要一个参考值。这份硬件清单可以回答这些问题，并且座位与其它平台比较的依据，利用率对比如何，容量对比如何，等等。

How We Do Hardware

免责声明：我不是一个人干的。

George Beech (@GABeech) 是我的主要搭档，盘点管控Stack使用的硬件。
我们小心地规范每一台服务器，以使它符合设计意图。 我们不会只管下订单、分派任务。在这个过程中我们也不会自己单独完成；你必须知道将来这些硬件需要运行什么东西，才能做出合适的选择。我们将和开发工程师或者其他的可靠性工程师一道，为运行在盒子上的应用选择最佳方案。我们也关注在整个系统中什么才是最好的。每一台服务器都不是孤岛。如何将它嵌入到总体的架构中去，确实需要好好考量。哪些服务可以全平台共享？数据中心？日志系统？管理更少的事情，或者至少做到更少的差异，这件事本身就具有内在的价值。

当我们盘点硬件的时候，我们列出了很多规则来帮助我们厘清哪些是需要提供的。
我还从没有真正写下这些心里面的检查表，简短来说：

  • 这是一个升级或降级的问题吗？（我们购买一个更大的机器，或者一些更小的？
  • 我们需要／希望做到什么程度的冗余? (多少预留空间和故障恢复能力?)
  • 存储:
  • 服务器／应用需要挂在磁盘吗？(我们是否需要Spinny操作系统驱动?)
  • 如果是，需要多少？（多大的网络带宽？有多少小文件？是否需要固态硬盘？）
  • 如果是SSD（固态硬盘），是否写负载？（我们讨论 Intel S3500/3700s? P360x? P3700s?)
  • 我们需要多少SSD容量? (是否可以采用同时搭载HDD（机械硬盘）的双轮方案?)
  • 数据是否需要完全缓存？（相比没有电容器的SSD，哪一种更便宜，哪种更合适？）
  • 将来存储是否需要扩展? (我们采用1U/10-bay 服务器, 或者一个 2U/26-bay 服务器?)
  • 这是一个数据仓库的场景设定吗？（我们是否考虑3.5’’驱动器？如果是，每个2U主板上是12个还是16个驱动器？）
  • 对于3.5’’的后板来说，存储平衡在在处理器上是否能达到 120W TDP 的限制?
  • 我们是否需要直接显示磁盘？（控制器是否需要支持pass-through?)
  • 内存:
  • 它需要多少内存？（我们必须买什么？）
  • 它将会使用多少内存？（我们最好买什么？）
  • 我们是否认为它稍后需要更多的内存？（我们应该搭配那种内存频率？）
  • 它是一个内存消耗型应用程序吗？（我们是否想要达到最大主频？）
  • 它是一个高并发的应用程序吗？（一定空间的情况下，我们是否想要通过更多的DIMM来分摊内存？）
  • CPU:
  • 我们希望采用哪种类型的处理器？（我们需要CPU自己供电还是独立电源？）
  • 它是高并发的应用程序吗？（我们希望采用更少、更快的内核？或者，采用数量更多，更慢的内核？）
  • 以下哪种情况？是否存在大量的二级和三级缓存竞争？（为了提高性能，我们是否需要一个巨大的三级缓存？）
  • 应用瓶颈主要是单一内核吗？（我们是否采用最大主频？）
  • 如果是这样的话，同时需要支持多少进程数？（这里我们希望采用哪种引擎？）
  • 网络:
  • 我们是否需要增加 10Gb 网络连接？（此处是否为透传设备，例如一个负载均衡器？）

  • 我们需要怎样的出／入流量均衡策略？（哪个CPU内核负责计算均衡权重？）

  • 冗余:

  • 我们在数据缓存中心是否也需要服务器？
  • 我们是否需要在同等数量的情况下，接受更低的冗余要求？
  • 我们是否需要一个电源线？不。我们不需要。

现在，让我们来看看服务网站的都有哪些硬件，它们位于纽约 （New York）QTS 数据中心。实际上，它位于新泽西（New Jersey)，但是让我们保持这个约定。为什么我们称之为NY数据中心？因为我们不想重命名所有以NY-开头的服务器。（What ?!…）我将记录在下面的清单上，丹佛的情况，在规格和冗余级别上略有差别。

Hide Pictures (in case you’re using this as a hardware reference list later)

Stack Overflow & Stack Exchange 站点服务器

纽约数据中心

全局选项
先说明一些全局配置，在下面每台服务器的介绍里就不重复了：

  • 除非有特殊需要，不包含操作系统驱动。大多数服务器使用一对250 或者 500 GB SATA HDD 硬盘 ，用于操作系统，通常是 RAID 1。我们不担心启动时间问题，所有物理服务器，启动时间中的大部分不依赖驱动的速度（例如，检查768GB内存）。
  • 所有服务器通过2个或以上10Gb网络链路连接，通过双活LACP协议。
  • 所有服务器运行在208V 单相功率电源 (经由2个PSU ，来自2个PDU-双电源).
  • 在纽约的所有服务器由缆线臂，在丹佛的服务器则没有（主要依靠本地工程师）。
  • 所有服务器都有一个iDRAC连接 (经由管理网络) 和一个KVM连接。

网络

  • 2x Cisco Nexus 5596UP 核心交换机 (96 SFP+ 端口，每个端口 10 Gbps)
  • 10x Cisco Nexus 2232TM Fabric Extenders (2 per rack - each has 32 BASE-T ports each at 10Gbps + 8 SFP+ 10Gbps 上联链路)
  • 2x Fortinet 800C 防火墙
  • 2x Cisco ASR-1001 路由器
  • 2x Cisco ASR-1001-x 路由器
  • 6x Cisco 2960S-48TS-L 网管交换机 (1 Per Rack - 48 1Gbps ports + 4 SFP 1Gbps)
  • 1x Dell DMPU4032 KVM
  • 7x Dell DAV2216 KVM Aggregators (1–2 per rack - each uplinks to the DPMU4032)

原作者备注: 每个 FEX 到核心 拥有 80 Gbps 上联带宽 ，核心通过一个160 Gbps端口通道与它们连接。由于最近的一些工程，我们位于丹佛数据中心的硬件会更新一些。所有4 台路由器的型号是 ASR-1001-x 和 双核 Cisco Nexus 56128P,每个都拥有96 SFP+ 10Gbps 端口 和 8 QSFP+ 40Gbps 端口。这些节省下来的端口，可以用于未来扩展，我们可以为核心绑定4x 40Gbps链接，替代每个 16x10Gbps端口的方案，正如我们在纽约做的那样。这些就是纽约的网络设备情况:

SO-Hardware-Network-NewYork-Fiber-Small.jpg
SO-Hardware-Network-NewYork-Fortinet-Small.jpg
SO-Hardware-Network-NewYork-Rack-Small.jpg

丹佛数据中心

这里需要提到的是Mark Henderson, 我们网站的可靠性工程师之一，专程到纽约数据中心为我的这份报告拿到了一些高分辨率的照片。
SO-Hardware-Network-Denver-Installed-Small.jpg
SO-Hardware-Network-Denver-Racked-Small.jpg
SO-Hardware-Network-Denver-Raw-Small.jpg

SQL Servers (Stack Overflow 集群)

  • 2 Dell R720xd 服务器，每台配置如下:
  • 双 E5-2697v2 处理器 (每个 12 核 @2.7–3.5GHz)
  • 384 GB of RAM (24x 16 GB DIMMs)
  • 1x Intel P3608 4 TB NVMe PCIe SSD (RAID 0, 2块卡上两个控制器)
  • 24x Intel 710 200 GB SATA SSDs (RAID 10)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)
    SQL Servers (Stack Exchange 及其它业务集群)
  • 2 Dell R730xd Servers, each with:
  • 双 E5-2667v3 处理器 (每个8 核 @3.2–3.6GHz)
  • 768 GB of RAM (24x 32 GB DIMMs)
  • 3x Intel P3700 2 TB NVMe PCIe SSD (RAID 0)
  • 24x 10K Spinny 1.2 TB SATA HDDs (RAID 10)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)
    原作者备注: 丹佛的SQL硬件在规格上相同，对应纽约部分这里只有一个 SQL 服务器
    这是二月份为纽约的SQL Server 升级PCIe SSD的情形：

SO-Hardware-SQL-Front-Small.jpg
SO-Hardware-SQL-Inside-Small.jpg
SO-Hardware-SQL-SSDs-Small.jpg
SO-Hardware-SQL-Top-Small.jpg

Web 服务器

  • 11 Dell R630 服务器，每台配置如下:
  • 双 E5-2690v3 处理器 (每个12 核 @2.6–3.5GHz)
  • 64 GB of RAM (8x 8 GB DIMMs)
  • 2x Intel 320 300GB SATA SSDs (RAID 1)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

应用服务器 (Workers)

  • 2 Dell R630 服务器, 每台配置如下:
  • 双 E5-2643 v3 处理器(每个 6 核 @3.4–3.7GHz)
  • 64 GB of RAM (8x 8 GB DIMMs)
  • 1 Dell R620 服务器,配置如下:
  • 双 E5-2667 处理器 (每个6 核 @2.9–3.5GHz)
  • 32 GB of RAM (8x 4 GB DIMMs)
  • 2x Intel 320 300GB SATA SSDs (RAID 1)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

SO-Hardware-Web-Tier-Back-Small.jpg
SO-Hardware-Web-Tier-Front-Small.jpg
SO-Hardware-Web-Tier-Front2-Small.jpg
SO-Hardware-Web-Tier-Unboxed-Small.jpg

原作者备注: NY-SERVICE03 目前仍然是一台 R620, 但是现在并没有足够老到以至于需要更换。它会在今年晚些时候升级。

Redis 服务器 (缓存)

  • 2 Dell R630 服务器, 每台配置如下:
  • 双 E5-2687W v3 处理器 (每个10 核 @3.1–3.5GHz)
  • 256 GB of RAM (16x 16 GB DIMMs)
  • 2x Intel 520 240GB SATA SSDs (RAID 1)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

Elasticsearch 服务器 (检索)

  • 3 Dell R620 服务器, 每台配置如下:
  • 双 E5-2680 处理器 (每个8 核 @2.7–3.5GHz)
  • 192 GB of RAM (12x 16 GB DIMMs)
  • 2x Intel S3500 800GB SATA SSDs (RAID 1)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

HAProxy 服务器 (负载均衡器)

  • 2 Dell R620 服务器 (流量来源CloudFlare), 每台配置如下:
  • 双 E5-2637 v2 处理器 (每个4 核 @3.5–3.8GHz)
  • 192 GB of RAM (12x 16 GB DIMMs)
  • 6x Seagate Constellation 7200RPM 1TB SATA HDDs (RAID 10) (日志)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC) - (DMZ)内网流量
  • 双 10 Gbps 网络 (Intel X540) - 外网流量
  • 2 Dell R620 服务器 (直达流量), 每台配置如下:
  • 双 E5-2650 处理器 (每个 8 核 @2.0–2.8GHz each)
  • 64 GB of RAM (4x 16 GB DIMMs)
  • 2x Seagate Constellation 7200RPM 1TB SATA HDDs (RAID 10) (日志)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC) - (DMZ) 外网流量
  • 双 10 Gbps 网络 (Intel X540) - 外网流量

原作者备注: 这些服务器是不同时期采购的，因此规格上略有差异。并且，2台CloudFlare负载均衡器因为安装了memcached,拥有更多内存（我们现在已经不运行该组件）。这些服务，redis, 检索,和负载均衡器在stack都是基于1U 服务器。
这是纽约的情况：

SO-Hardware-Redis-Inside-Small.jpg
SO-Hardware-Service-Inside-Small.jpg
SO-Hardware-Service-Rear-Small.jpg
SO-Hardware-Service-Redis-Search-Front-Small.jpg

其它服务器

我们还有一些其他的服务器并不直接或间接服务于网站的流量。
它们负责处理一些相关业务（例如，域名控制器，少量用于应用验证，跑在虚拟机上），或者一些次要的采购用于监控，日志存储，备份等等。既然已经表示未来会做一系列的报告，我把一切有趣的“后台”服务器也列出来。使我可以将更多的服务器拿出来和你分享，有人不喜欢的吗？

VM 服务器 (VMWare, 当前)

  • 2 Dell FX2s Blade Chassis, each with 2 of 4 blades populated
  • 4 Dell FC630 Blade Servers (2 per chassis), each with:
  • 双 E5-2698 v3 处理器 (每个16 核 @2.3–3.6GHz)
  • 768 GB of RAM (24x 32 GB DIMMs)
  • 2x 16GB SD Cards (Hypervisor - no local storage)
  • 双 4x 10 Gbps 网络 (FX IOAs - BASET)
  • 1 EqualLogic PS6210X iSCSI SAN
  • 24x Dell 10K RPM 1.2TB SAS HDDs (RAID10)
  • 双 10Gb 网络 (10-BASET)
  • 1 EqualLogic PS6110X iSCSI SAN
  • 24x Dell 10K RPM 900GB SAS HDDs (RAID10)
  • 双 10Gb 网络 (SFP+)

SO-Hardware-VMs-Blades-Small.jpg
SO-Hardware-VMs-Blades2-Small.jpg
SO-Hardware-VMs-Front-Small.jpg
SO-Hardware-VMs-Rear-Small.jpg

在一些场景下，还有几台重要的服务器不是虚拟机。这些系统后台任务，帮助我们通过日志追踪排查问题，存储大量的数据等等。

机器学习服务器 (Providence)
这些服务器99%的时间是空闲的，但是每晚承担了大量的处理工作：刷新Providence。它们也可以通过内部数据中心的方式，用来测试基于海量数据的新算法。

  • 2 Dell R620 服务器, 每台配置如下:
  • 双 E5-2697 v2 处理器 (每个 12 核 @2.7–3.5GHz)
  • 384 GB of RAM (24x 16 GB DIMMs)
  • 4x Intel 530 480GB SATA SSDs (RAID 10)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

译者注：Providence，应为项目代号。Providence通过分析流量日志，给网站的访问用户打标签 (类似“web开发者” 或者 “使用Java技术栈”) 。详细可以查阅[https://kevinmontrose.com/2015/01/27/providence-machine-learning-at-stack-exchange/]

机器学习服务器－Redis (Still Providence)
这是一个为 Providence服务的redis数据集。它们通常是一台主用，一台备用，还有一个实例是用于测试，如最新版的ML算法。当它不用做Q&A站点时，这些数据会服务于职位招聘的边栏广告。

  • 3 Dell R720xd 服务器,每台配置如下:
  • Dual E5-2650 v2 Processors (8 cores @2.6–3.4GHz each)
  • 384 GB of RAM (24x 16 GB DIMMs)
  • 4x Samsung 840 Pro 480 GB SATA SSDs (RAID 10)
  • Dual 10 Gbps network (Intel X540/I350 NDC)

日志服务器(各种日志）
我们的 Logstash 集群 (使用 Elasticsearch 存储) ，数据来源于，任何地方。
我们曾计划将HTTP日志复制一份到这些服务器，但是由于影响性能的问题而没有实现。尽管如此，我们还是将所有的网络设备日志，syslog，Windows和Linux系统日志存在这里，所以我们能够建立建立一个网络的全局视图，或者快速地排查问题。当告警发生的时候，它也被用作Bosun的一个数据源。这个集群总计使用的存储是 6x12x4 = 288 TB。

  • 6 Dell R720xd 服务器, 每台配置如下:
  • Dual E5-2660 v2 Processors (10 cores @2.2–3.0GHz each)
  • 192 GB of RAM (12x 16 GB DIMMs)
  • 12x 7200 RPM Spinny 4 TB SATA HDDs (RAID 0 x3 - 4 drives per)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

SQL Server－HTTP日志
在这些服务器，我们将访问负载均衡器的单独HTTP请求，存储到SQL数据库(来源于HAProxy syslog）。我们只记录少数高级别的请求，类似URL，查询，UserAgent,SQL执行时间，Redis，等等。在这里的数据，每天将进入一个集群的Columnstore 索引。我们借助这些数据排查用户的问题，发现僵尸网络，等等。

  • 1 Dell R730xd 服务器，配置如下:
  • 双 E5-2660 v3 处理器 (每个10 核 @2.6–3.3GHz)
  • 256 GB of RAM (16x 16 GB DIMMs)
  • 2x Intel P3600 2 TB NVMe PCIe SSD (RAID 0)
  • 16x Seagate ST6000NM0024 7200RPM Spinny 6 TB SATA HDDs (RAID 10)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

SQL Server - 开发
我们喜欢尽可能多地模拟生产环境，类似SQL匹配，额，至少是它过去常常发生的那样。们一直以来这购买升级生产处理器。我们会将升级这些服务器，采用2U 解决方案，在今年晚些升级Stack Overflow 集群的时候一起做。

  • 1 Dell R620 服务器，配置如下:
  • 双 E5-2620 处理器 (每个6核 @2.0–2.5GHz)
  • 384 GB of RAM (24x 16 GB DIMMs)
  • 8x Intel S3700 800 GB SATA SSDs (RAID 10)
  • 双 10 Gbps 网络 (Intel X540/I350 NDC)

这些就是实际服务我们网站的硬件，或者说大家普遍感兴趣的部分。
我们当然还有其它服务器，用于后台任务，例如日志记录，监控，备份，等等。
如果你对于我们其它系统还有特别感兴趣的地方，请尽管留言提问，我很高兴回答。

这是一周多以前在纽约的全程：

SO-Hardware-Racks-Small.jpg
SO-Hardware-Racks2-Small.jpg

接下来？

我做的这一系列工作是希望能让社区了解到最多情况。
通过Trello board, 它让部署看起来像是下一个最有趣的话题。预计下一次将让大家了解代码是如何从开发者的机器到生产环境，以及这个过程中解决的所有问题。它将覆盖数据库迁移，滚动构建，CI 组件，我们如何建立开发环境，所有要素如何共享信息等。

参考文献

欢迎扫码关注微信公众号获取最新动态，读者交流 QQ 群：338272982 。

推荐文章