当前位置:首页 >财经 >

快手阿里美团数据工程师齐聚分享业内最佳数据架构实践

来源：中国网科技 2021-06-18 16:23:31

近日，快手数据平台部联动快手中学在快手总部举办快手大数据架构技术交流会，交流会邀请了来自快手、阿里巴巴、美团的5位技术大咖，为现场和线上听众带来了一场技术分享盛宴。

近年来，随着大数据技术的蓬勃发展，数据架构等众多技术方向也在各家互联网公司得到应用和落地。在技术飞速发展下，业内从业者也始终关心一线大厂在数据技术领域的实践，行业交流的需求和呼声也越来越强。

本场快手大数据架构技术交流会，采用线下+线上（快手号“快手大数据”“快手中学”直播）同步开展的方式。交流会由快手大数据架构团队负责人赵健博出品，快手数据架构研发工程师徐增强、阿里巴巴资深技术专家杨克特、快手数据架构研发工程师郑天祺、美团资深技术专家曾林西、快手数据架构研发工程师苏国东分别带来5个不同方向的议题，分享了数据架构领域的优秀实践和技术发展。

本场交流会活动线下、线上参与人数超过2.2万人。从报名人数看，超过22%听众为国内外知名互联网公司，来自BAT的同学占比达到7%。干货满满的技术分享，丰富多彩的互动，让线下和线上的听众都感到“不虚此行”。

快手大数据架构团队的发展与挑战

会议伊始，快手大数据架构团队负责人赵健博率先开场，为现场及线上听众介绍了快手的发展史以及快手数据架构的发展历程。伴随快手的飞速发展，快手的数据量急剧增长，诸多业务带来的海量数据(行情603138,诊股)也为数据架构团队带来全新的挑战。

快手大数据架构团队负责人赵健博

跨AZ容灾，降低50%存储成本

快手数据架构研发工程师徐增强，从快手对象存储架构、快手跨IDC EC架构设计和实践等多个角度，分享了快手对象存储领域的技术积累与实践。在快手跨IDC EC架构实践的部分，他着重分享了数据EC流程、数据Fixer流程、数据可靠性保障以及IDC故障处理，丰富的演讲内容让听众收获满满。

快手数据架构研发工程师徐增强

流批一体，实时和离线数据业务逻辑一体化

交流会的第二个议题来自阿里巴巴资深技术专家杨克特，议题为《Apache Flink发展历程和在阿里巴巴的实践》。杨克特从Flink的发展历史、关键技术解析和Flink在阿里巴巴的应用三个方面，分享流批一体数据平台的建设和应用。

阿里巴巴资深技术专家杨克特

Projections来自快手的解决方案

Projection是快手向开源数据库ClickHouse贡献的一个重要的新特性。快手数据架构研发工程师郑天祺为听众分享了关于ClickHouse的背景，着重介绍了Projection的原理与应用、特性对比与实际效果，为广大关注开源项目的听众分享了快手的贡献，也为行业输出了新的实践案例。

快手数据架构研发工程师郑天祺

没有完美的架构，只有恰当的权衡

本次交流会还邀请了来自美团的资深技术专家曾林西，他分享的主题是《美团Spark Remote Shuffle Service架构设计与实践》。演讲内容涵盖Spark在美团的发展历程、Spark Shuffle原理理及存在的问题、Spark Remote Shuffle Service（RSS）架构设计、RSS在数仓生产场景的实践。

美团资深技术专家曾林西

快手大数据混部架构演进之路

最后一个议题来自快手数据架构研发工程师苏国东，他从快手大数据混布的背景开始，介绍了快手离线超配架构、快手实时混布架构、快手容齐云混布架构，为听众带来了《快手大数据混部架构演进之路》。

快手数据架构研发工程师苏国东

本次参与快手大数据架构技术交流会的听众覆盖包括BAT、美团、滴滴等知名互联网公司，不仅限于数据开发，还吸引了算法、架构、后端开发、数据分析、运维、测试等不同岗位；同时，本场交流会还吸引了北京各大高校的同学、讲师。

参会听众反馈，本场交流会分享的诸多案例和实践，对于从业者乃至行业都产生诸多正面影响，让听众既能了解大数据架构技术的发展，更能感受到快手对行业的贡献，以及快手大数据架构技术的落地与应用。观看快手大数据架构技术交流会完整回放请在快手APP搜索“快手中学”或“快手大数据”。