Skip to content

Lec 4 硬件架构

A Reconfigurable Fabric for Accelerating Large-Scale Datacenter Services, ISCA'14

详细介绍了微软Catapult项目团队怎样在其数据中心里的1632台服务器中部署了英特尔Stratix V FPGA,并用FPGA对必应(Bing)搜索引擎的文件排名运算进行了硬件加速,得到了高达95%的吞吐量提升.这篇论文一经发表,立刻轰动了整个业界.它是第一篇真正意义上详述由互联网/软件巨头开发并部署FPGA的专业文章,标志着FPGA第一次在互联网/软件机构的大型数据中心里得到实质性应用.同时也将微软Catapult项目引入大众的视野,告诉人们FPGA已不再仅仅是硬件机构的专属产品,而是可以有效的应用于像微软这样的互联网机构,并有机会部署在谷歌/亚马逊/脸书/阿里/百度/腾讯等其他互联网巨头遍布全球的成千上万台服务器中。

论文阅读:

Architecting to Achieve a Billion RPS Throughput on a Single Key-Value Store Server Platform, ISCA'15

摘要

分布式内存K/V存储(KVSs),比如memcached,已经成为现代面向互联网的数据中心基础设施中关键的数据服务层。它们的性能和效率直接影响着网页服务的 QoS(服务质量)和数据中心的运行效率。传统上,这类系统在网络处理低效、OS内核介入过多、并发控制开销大等存在显著的性能瓶颈。近年来出现了两个研究方向专注于提升K/V存储的性能:

  1. 硬件为中心的研究:探索专用平台(FPGA)加速KVS。与标准相比,吞吐量和效能提升一个数量级
  2. 软件为中心的研究:重新审视 KVS 应用本身,致力于解决根本的软件瓶颈,并充分挖掘现代商用硬件的潜力。这些方案也在性能上大幅超越了原生的 memcached

我们的目标是构建高性能、高效率的 KVS 平台架构。我们从一系列具有代表性的 KVS 实现出发,进行系统堆栈层面的严谨体系结构评估。这项详尽的全系统分析,不仅帮助我们识别出构建高性能 KVS 系统所需的关键软硬件要素,还促使我们在一个近期架构设计的基础上实施优化,从而实现了每秒处理 1.2 亿次请求(120 MRPS)的突破性吞吐性能,且仅使用一台标准服务器。