Recommended
More Related Content
Similar to 快手K-Engine高性能异构存储引擎演进之路. Kuaishou high performance storage engine. named K-Engine. This presentation describe the evolution of database.
Similar to 快手K-Engine高性能异构存储引擎演进之路. Kuaishou high performance storage engine. named K-Engine. This presentation describe the evolution of database. (20)
快手K-Engine高性能异构存储引擎演进之路. Kuaishou high performance storage engine. named K-Engine. This presentation describe the evolution of database.
- 1. 清 华 计 算 机 系 高 性 能 所 存 储 新 技 术 专 题 博 论 快 手 K - E n g i n e 高 性 能 异 构 存 储 引 擎 演 进 之 路
- 3. 快手，全速发展的地方
- 4. 《快手的故事》 截至9月30日， 以快手电商 GM V计， 成为 世界第二大直 播电商平台； 赞助2020年央 视春晚 2011年 推出原创移动 应用程序GIF 快手， 系短视 频的雏形 2012年 成为中国短视 频行业的先 驱， 帮助用户 在移动设备上 制作、 上传及 观看短视频 2013年 推出短视频社 交平台 2016年 推出直播功能 作为平台的自 然延伸 2017年 第四季度， 以 虚拟打赏所得 收入计， 快手 主站成为全球 最大单一直播 平台 2018年 1月主站的平 均日活超过1 亿， 开始发展 电商业务 2019年 8月正式推出 极速版； 2020年 8月极速版的 平均日活跃用 户突破1亿 2020年 注： 日活为快手的中国应用程序及小程序的平均日活跃用户 2月5日， 快手 科技在香港联 交所主板挂牌 上市 2021年2月 十年一剑， 快手与新时代同行
- 5. 互关对数 直播渗透率 电商复购率 注： 数据截至2021年9月30日 Cross-correlation logarithm Live broadcast penetration rate E-commerce repurchase rate
- 7. 1 3 目录 2 KuaiShou Storage Engine k-engine 快手在前沿新型硬件的探索 基于 PMEM 的高性能 Hash Engine
- 9. K-Engine Family • K-engine has serveral storage-engines: b+tree/lsm/hash/… • No silver-bullet => engine_api unify underlayer engines and simply to be choosen by options
- 10. K-Engine RocksDB • Optimizations • ReadWrite: • ReadTimestamp • Seek speed up • Compaction: • Adaptive AutoTune • KV seperations • Logging: • Async Write • Amplification: • Delete-Aware
- 11. 注：数据截至2021年6月30日 K-Engine New Hardwares io_uring / SPDK 通过软件层bypass kernel 方式访问 I/O，绕过文件系统和系统调用。 在写heavy场景，整体吞吐提升 50% 以上，读heavy场 景保证读延时 p9999 延时下，预期提升 30%。 Optane SSD (P5800) 使用 Intel Optane介质的SSD，提升 引擎在混合读写场景下，读写能够全 双工，提升写带宽。 在 RocksDB 场景下测试，保证读 p9999 延时下，写带 宽可以提升到 2.5GB/s 左右 (提升5x)，充分利用资源， 成本减少2x 以上。 ZNS SSD 使用 西数的 ZNS 模式SSD，提升引 擎在多channel下相互影响导致延时 过大问题，提升读写带宽。 预计在 RocksDB 场景下，降低 p9999 延时 20% 以上 ，读写带宽可以提升 70% 左右。 Intel PMEM AEP 通过fsdax，增强RocksDB读写性能 ，可以让读写介质的延时接近 memory级别，并长时新引擎形态 纯读纯写场景均达到200w~300w/s 的高性能，并且提供 平均 <1us 的延时
- 12. K-Engine New Hardwares • ZNS (with zenfs) based faster 1.5x~2x than NVME-SSD (with xfs) • ZNS has lower latency. espacially in P9999 (write doesn’t interfere reads)
- 14. K-Engine KVDK on PMEM Why we do it? How to use it? What is KVDK? 01 02 03 How ➢Key-value store becomes a critical building block for today’s applications. NoSQL market estimated to reach $22.08 billion by 2026. ➢PMEM dramatically improves IO performance, but existing persistent KV engines are designed for hard drive, and so they are hard to benefit from it. ➢Hope to build a vibrant open-source community to collaborate with more customers to address their pain points. ➢It is a persistent key-value store library (c++) designed for Intel Optane PMEM (Persistent MEMory) and Xeon platform. ➢It is not just doing get/set, it provides a full-featured implementation of key-value store. ➢Performance is always the top priority of KVDK. ➢It is a c++ library, and we will support more language bindings. ➢Implement a Rocksdb-like API as far as possible, because Rocksdb is a de-facto standard of persistent KV store. ➢Provide benchmark tool for you to evaluate the performance on your own platform. ➢There are several examples to demonstrate how to use KVDK in different scenarios.
- 15. K-Engine KVDK on PMEM Segment Segment Segment … Cache of allocation threads Pool PMEM Space ➢No contention among allocation threads ➢Sequential access optimized ➢No PMEM Access for allocation/free Design Considerations
- 16. K-Engine KVDK on PMEM
- 17. K-Engine KVDK in GraphDB How we itergrated KVDK ? and replace RocksDB ! remove redundant linux file-system KVDK is fast enough, we developed a new faster RPC framework to conform. gRpc Protocol Graph Service Engine (RocksDB) Legacy GraphDB Server SSD Intel PMEM Linux VFS (fsdx) GraphDB Server with KVDK gRpc Protocol Graph Service KVDK Intel PMEM
- 18. K-Engine KVDK in GraphDB Encode Vertex and Edges into KVDK KVDK is capable of supplying kv-interface and orginized in『Collection』. Sorted collection can iterate keys in asec order.
- 19. K-Engine KVDK in GraphDB KVDK is faster 4~10x than RocksDB KVDK has no latency peak and stable.
- 20. Q & A
- 21. 微信交流群
- 22. THANK YOU
Editor's Notes
- hello，各位同学们大家XX好，欢迎大家来到快手（XX活动）的现场，我是今天的主持人，来自快手校园关系团队的（XXX）
- 今天的分享以共4个部分， 第一个部分：快手，全速发展的地方。将给大家介绍快手的发展情况及业务内容 第二个部分：在快手，成为更强大的自己。来分享快手的人才培养体系、发展通道、公司环境和福利 第三个部分：加入快手，未来在手。将和大家交流快手校招和实习生招聘的流程 第四个部分：是简单的Q&A，可以对大家的个性化问题进行解答
- 十年一剑，快手与新时代同行 其实在2011年的时候，最先开始快手还是GIF快手，gif快手当时是一个专门用来制作gif动图的工具软件 到了2013年的时候，我们做了一次痛苦但是正确的决定，从工具软件变成了短视频社区，为什么说是痛苦的决定呢？因为这次的转型直接导致了DAU减半。但从今天的结果来看，这次转型无疑是正确的，也奠定了如今快手主站的基础。那为什么会在2013年这样一个时间点做这样的转变呢？因为在2013年 WiFi开始普及，3G网络开始转向4G，流量不再那么金贵。 接着我们把目光转移到2016年，快手开始推出直播功能，很快在2017年第四季度，虚拟打赏所得收入就使快手主站成为全球最大单一直播平台。 那么在2018年的时候呢，主站的DAU就超过了1个亿，并且也开始发展了电商业务。 在2020年的时候，快手赞助了春节联欢晚会，在当年是春晚历史上现金红包规模最大的赞助 到了2021年2月5日，快手成功在港股上市，股票代码，我们浪漫的选择了01024.HK，1024代表了科技的力量和先进的生产力。快手希望用科技的力量，让劳动和创造释放更大的能量，让价值创造者得到更好的回报。让快手的用户们，都能生活得再好一点。 所以我们说快手是一个全速发展的地方
- 快手以信任为基础建立社区，截至9月30，快手应用上有140亿对人在互相关注着彼此，直播渗透率也达到了78%，同时随着我们的平台基础设施和服务能力的提升，以及信任电商模式的强化，快手电商复购率已提升至70%以上；我们在发展数字经济的同时，也在守护人间烟火；那么接下里就给大家看看在快手的人间烟火
- 2018 年，党委牵头成立快手扶贫办公室，并投入价值5亿元流量帮助贫困地区系统性开展扶贫工作，以教育扶贫、电商扶贫、文旅扶贫为方向，探索“短视频、直播 + 扶贫”新模式。 过去的一年，有超过2400万人在平台上获得了收入，获益者涵盖从一线城市到偏远地区的个体、群体、行业、机构；其中，有664万贫困地区用户在快手上获得收入。 截至Q3，已经有4.2亿个农产品订单经由快手直播电商从农村发往全国。 快手也被誉为扶贫的“新农具”、基层治理的“新工具”。
- 今天的分享以共4个部分， 第一个部分：快手，全速发展的地方。将给大家介绍快手的发展情况及业务内容 第二个部分：在快手，成为更强大的自己。来分享快手的人才培养体系、发展通道、公司环境和福利 第三个部分：加入快手，未来在手。将和大家交流快手校招和实习生招聘的流程 第四个部分：是简单的Q&A，可以对大家的个性化问题进行解答
- 目前全网短视频用户规模已经达到了8.8亿人，观看直播的用户占到了62%，大概是6.1亿人。从数据调研上来看超过60%的用户会每天使用短视频App，从用户规模到使用黏性的养成，短视频行业以极为强势的势头不断抢占用户注意力。最后我们回到这一页的标题，“短视频+直播”已成为了互联网的新基建。
- 如果基建是深扎沃土的话，那从行业的数据来看，我们可以预见“短视频+直播”向上生长的广阔天空。我们选取了“短视频+直播”行业的几个主要收入维度，分别是：虚拟打赏、移动广告和直播电商。2019年全行业的收入总和达到了10983亿元。根据第三方公司的数据测算，4年后，也就是不远的2025年，“短视频+直播”行业的收入总和预计将达到85499亿元。增幅超过600%。 以国内某领先互联网公司公布的数据来看，AI产业的主要收入维度涵盖了知识信息平台、公有云服务、智能硬件设备、AI芯片及互联网医疗，这几项收入维度在2025年的预计收入总和为25420亿元。也就是说在2025年AI产业收入与“短视频+直播”行业的收入差距将达到60000亿元。显而易见，“短视频+直播”行业未来的发展空间和增长趋势明显更大，现在是加入这条高活高潜快车道的最佳时机。
- 除了在“短视频+直播”行业内，我们看到了无比巨大的上升空间，同时我们也发现“短视频+直播”的媒介形态逐渐与各个行业完成了“跨学科”的交流，在小红书上我们看见，很多通过短视频和直播的形式进行带货，大众点评依托“短视频+直播”服务本地生活，携程、飞猪等旅行类app也同样利用短视频+直播的形式丰满用户的出行规划 作为媒介的短视频正在为全领域赋能，驱动着不同行业不同领域新的增长 那么与短视频行业共同成长的快手发展的如何呢？
- 听完快手十年的发展史，那么大家一定会问了快手到底是什么？我们乐意称快手为国民短视频平台，那我们从流量、内容、粘性三个方面来看看快手的发展情况。 流量： 2020上半年，快手应用平均日活跃用户为2.943亿，快手应用平均月活跃用户为5.13亿； 2021年上半年，快手海外市场主要集中开发南美、东南亚及中东地区的市场，积极投入用户获取及用户活跃度提升。2021年6月，快手海外市场月活增长至超过1.8亿； 内容： 快手目前有超过300亿的原创视频库存，快手应用的平均日活跃用户直播渗透率已超过70%。我们平台的每日活跃主播数在2021年第二季度保持在190万左右 此外，2020上半年，快手短剧取得了优异的成绩，截至2021年6月30日，单部累计观看量超过1亿的系列短剧超过800部，其中有40部为快手星芒计划成功孵化的独家连续短剧。 粘性： 作为衡量社区活跃度与用户粘性的关键指标，二季度，快手的DAU/MAU比值达57.9% 。截至2021年6月30日，快手应用上累计有超过126亿对互关（即两名用户互相关注）。而在刚刚过去的东京奥运会期间，快手作为官网持权转播商，在平台和奥运相关作品及话题视频总播放量达到730亿次
- 除了在流量、内容和粘性上快手保持着较好的增长，在营收方面，快手通过不断优化收入结构，保持强劲的增长趋势。 首先我们来看看2020年的营收情况，快手2020全年总收入达588亿元，连续三年增长率超过50%。在刚刚公布的第二季度财报中，快手2021年上半年总收入达362亿元。同比2020年上半年增长42.8%。在收入结构上，51.2%的收入来自线上营销服务，37.6%来自直播，10.3%来自电商等其他服务。 另外，每年有超过2000万人在快手取得收入。仅仅二季度，创作者总收入超过百亿
- 十年一剑，快手与新时代同行 其实在2011年的时候，最先开始快手还是GIF快手，gif快手当时是一个专门用来制作gif动图的工具软件 到了2013年的时候，我们做了一次痛苦但是正确的决定，从工具软件变成了短视频社区，为什么说是痛苦的决定呢？因为这次的转型直接导致了DAU减半。但从今天的结果来看，这次转型无疑是正确的，也奠定了如今快手主站的基础。那为什么会在2013年这样一个时间点做这样的转变呢？因为在2013年 WiFi开始普及，3G网络开始转向4G，流量不再那么金贵。 接着我们把目光转移到2016年，快手开始推出直播功能，很快在2017年第四季度，虚拟打赏所得收入就使快手主站成为全球最大单一直播平台。 那么在2018年的时候呢，主站的DAU就超过了1个亿，并且也开始发展了电商业务。 在2020年的时候，快手赞助了春节联欢晚会，在当年是春晚历史上现金红包规模最大的赞助 到了2021年2月5日，快手成功在港股上市，股票代码，我们浪漫的选择了01024.HK，1024代表了科技的力量和先进的生产力。快手希望用科技的力量，让劳动和创造释放更大的能量，让价值创造者得到更好的回报。让快手的用户们，都能生活得再好一点。 所以我们说快手是一个全速发展的地方
- 快手相信，记录和连接，是能够提升人们独特的幸福感的，我们可以来看几个快手用户的视频： 迷藏卓玛：淳朴的话语一身藏族打扮，视频里的女子叫迷藏卓玛，她曾经说过一句话让我印象非常深刻：“我从小是挖蘑菇长大的，我觉得这样的生活很有意义，所以我非常热爱我的生活”。这样真实又乐观的女孩，在快手上也尽情将她的个性展露无遗。她每天通过快手分享自己的日常生活和采松茸的经历，让屏幕前的观众仿佛也感受到了在山上采蘑菇的乐趣，不仅如此靠着快手这个平台，她和当地村民成立了合作社，在去年为期五个月的采摘季就创造了三百多万的收入，她在快手用自己最真实的视频为村子脱贫做出了巨大的贡献。 皮影戏：这样一个视频在快手的播放量是１３ｗ，视频里的皮影戏想必很多同学都没看过，但是你们的爸爸妈妈甚至是爷爷奶奶一定知道。表演皮影戏的人叫魏宗富，是一位地道的农民，同时身上也肩负着第四代皮影手艺传承与发展的使命。然而就在他觉得皮影戏要就此失传的时候，快手让他重新燃起了希望，到现在为止他已经有了１５万粉丝，收入低微的他也因为快手在两年内挣到了１５万元，他说皮影戏的美好应该让更多年轻人知道。快手一直默默的用自己的方式做着非物质文化遗产的保护工作，像皮影戏这样的，如果只看图片和文字是根本无法感知到的，快手为他们搭好戏台 观众也已就位，现如今人们通过屏幕也可以欣赏到这样美好的艺术。 乐退族：这是一群退休的爷爷奶奶辈的用户，在快手，乐退奶奶和同龄爷爷组成乐退族，以自信展现时光的沉淀，把人们人之中无聊的退休生活过程了他们自己乐得自在的丰多彩人生。在如今的时代，老人的孤独感是非常严重的社会问题，并且这个问题的解决难度非常大，快手实际上提供了一个通用化的方案，不是针对一个人的，而是针对有共同需求的同一个群体，就像视频中自发组织起来的爷爷奶奶，平均年龄65岁，缺乏子女和社会的关注，却在快手找到了新的乐趣和幸福。这也是快手一直倡导的多元化，短视频也并不只是年轻人的天下，随着快手技术上的精进，便捷的操作吸引了更多中老年群体加入快手，逐渐形成了稳定的社群关系，使得他们接触新鲜事物的同时也能展现和记录自己的世界。 戴伟博士：视频中的戴伟教授是英国人，北京化工大学特聘教授，像视频中的科普课堂，在他的快手账号上还有很多，他说做科普和做研究同样重要。快手让戴伟博士实现了他的科普梦想，在直播平台上，他发现更多的人希望系统化的学习化学，于是他又在自己的账号中录制了“神奇实验”系列课堂，再后来，跟评论里的大小粉丝们交流沟通，又让他决定亲自走进学校进行科普，同时在快手进行直播，让更多偏远地区的孩子了解化学。这个故事深刻的体现了快手在内容上的有益性，视频中虽然每次戴伟博士都需要提前准备两个多小时的实验材料，但他的热情却丝毫不减，他希望中国有更多的小学生可以通过他在快手上的呈现和讲解了解化学魅力，培养起动手验证的科学精神。 视频中的这些用户，都是在你我身边的普通人，有来自海外的，有来自乡村的，有白发苍苍的也有青春活泼的，他们只是亿万快手用户中的零星，却无一不透露和表达着快手深入人心的价值观：真实美好，多元有益。大家在快手上通过记录与连接，每个用户能够看到更广阔的世界，也能够被广阔的世界看到，实现自身的身份认同，从而消除一点点孤独感，提升一点点幸福感。 正因如此，快手才需要更多技术人才的加入，让社会变得更好，今天我们在互联网时代，一个能够跨越距离限制让人与人之间更便捷的连接起来。我们有大规模极短的能力，有做AI、机器学习的能力，这是世界上很多人不具备的能力。我们应该发挥好这种能力去帮助那些没有这种能力和资源的人，随着这个快速变化和发展的时代也变得更好。 科技革命带来的进步和效率的提升，应该将效率产生的增量反哺到国民的身上，这也是我们一直在做的事情。
- 创始人宿华，毕业于清华大学软件学院，先后在Google、百度供职，担任核心算法工程师，从事AI技术有关的研究和应用。 创始人程一笑，先后在惠普、人人网做产品研发，一位极致的产品经理，极其克制的工程师。2011年创立GIF快手。
- 平台全速发展，催生我们面对并持续攻克以下四个方面的技术挑战，体验 Experience、知识 Knowledge、探索与利用 Explore&Exploit、系统 System。 第一是体验，快手追求为用户提供有趣的应用，提供清晰、流畅视频体验，就需要应对机型设备能力、地域、网络条件等复杂情况与限制挑战。 第二是知识，快手平均每天有超过1500万原创视频作品上传，2亿人发生互动。那么，摆在快手技术人面前的巨大挑战是：如何从海量的、多模态的、非结构化的数据中理解内容，理解用户；如何从数据中获取真实世界中的知识，并运用知识为每个用户产生价值，比如：保护每个用户的原创作品不被盗用和篡改。 第三是探索与利用。如何为数亿在用户做好个性化推荐？个性化推荐这项技术面临冷启动与信息茧房的世界性难题，学术上可以理解为是探索与利用问题（Explore-Exploit）。 第四是系统。如何将快手平台打造成为更大、更快、更新的超级系统是快手技术人持续攻克的课题。
- 图上罗列了比较多的技术，主要是我们的Y-tech和音视频技术部负责的。我选几个点吧。 最左边的隐身魔法特效，结合单图图像修复和帧间图像对齐技术的视频修复算法，在短视频行业中的首次应用。 言情手绘魔表（魔法表情，简称魔表，我们有一个非常大的团队在做这个事情），最大程度保留用户本人的五官和外形特征，还具备手绘风格的美学和艺术效果。快手特效团队研发了一个基于GAN（对抗生成网络）的图像翻译和风格迁移学习框架，结合此前CycleGAN等技术的主要优点，并根据实际需求进行了定制化的开发和优化。 手势识别看着还是很逼真的吧，这个技术实时估计手部骨骼三维坐标和还原精细的手部网格模型，为AR、VR等场景提供了自然的手部交互方式。 梵高这个场景语义分割，做CV的同学应该了解哈，但这也是快手在业界的首发特效。 赛博朋克风格画，是用图像生成式风格迁移技术，实现白天变未来世界夜景的科幻效果。 这些有趣炫酷的创意特效技术非常多，不一一列举，大家可以上快手多玩玩。 快手还将先进技术运用在内容编辑上，让用户剪辑视频轻松、易用、富有创意。我们有一款快影APP，推出了智能剪影功能，这是国内首家在移动端提供智能剪辑技术，做到从选材，分析，配乐，合成全移动端实时完成。用苹果的小伙伴知道，相册有一个回忆，又叫Memories的功能，快影这个难度要大很多，算法的效果也是比肩iOS Memories的水平。 此外呢，快手自研了移动端高性能多媒体引擎、3D实时特效引擎和YCNN移动实时跨平台AI引擎等为用户带来新奇的体验。总结一下，快手的CV很牛。
- 1、现在快手支持看VR。 快手VR技术实现了360度视频和全景声播放功能，可以在不需要借助虚拟现实设备在快手平台播放VR视频和直播。 第一个视频是Chinajoy全景直播的录屏，可以在直播中360度的观看现场的情况。 2、在视频消费上，快手追求极致的音视频体验。 近两个月，快手的画质进行了全面升级，快手成为国内首家支持1080P高分辨率、60帧高帧率、HDR高色彩的短视频平台。为用户带来全新的画质体验。 3、在直播技术上，快手从用户需求出发，做了多项自研的技术，保障用户在快手直播的清晰度、流畅度以及互动时的低延时。 快手1001夜的晚会上，晚会线上，黄渤和周杰伦在海峡两岸实时连麦合唱，周杰伦弹钢琴为黄渤伴奏，黄渤唱《mojito》，效果非常好。 这是应用了快手的低延时的连麦技术，保障在连麦过程中的低延迟，才能有这么好的合唱效果。
- 快手追求让机器深度理解视频。 如何让机器理解视频，理解用户？快手采用最先进的深度学习模型，经过单模态特征学习与多模态综合学习相融合的方式，通过融合内容数据和行为数据，增加知识图谱，实现多模态深度语义理解，探索如何跨越语义鸿沟、异构鸿沟和数据缺失的难题，并且在此基础上开展内容安全和原创保护等业务，探索视频智能配乐合成等技术创新。