构建横向扩展分析平台:YARN++体验

Abstract

收集大量数据，并通过大规模运行获得业务价值 商品集群上的并行工作在该行业已经变得司空见惯. Building 提供可预测的执行基板和副本的分析平台 不断增长的工作量带来了一些有趣的挑战. Using Apache Hadoop YARN作为集群资源管理的基础，是Sriram和他的团队建立的 工作系统并向YARN贡献代码.

在这次演讲中，Sriram将提供一些应用研究的概述 work that he lead. 此外，Sriram还将描述他的团队是如何做到的 将研究项目转化为有影响力的代码贡献 open source project.

Bio

Sriram Rao在Facebook公司的数据仓库团队工作. Sriram是一位动手的工程师/研究员. 他建立了KFS (Kosmos分布式文件系统)和Sailfish(横向扩展分布式合并排序)， 并将它们作为开源项目发布.  KFS和Sailfish都部署在Quantcast公司的后端 clusters.

在加入Facebook之前，他是微软云和信息服务实验室(CISL)的负责人.  At CISL, Sriram发起了几个研究项目，并在形成微软围绕Apache YARN的开源战略方面发挥了关键作用.  由于他的努力，Apache YARN 广泛部署在微软的Cosmos计算集群中. Sriram在顶级会议上发表了20多篇论文, NSDI, OSDI, SOSP, VLDB, SIGMOD, SIGCOMM, etc. Sriram在德克萨斯大学获得计算机科学学士、硕士和博士学位。 Austin.