FFA 2023|字节跳动 7 项议题入选

news2024/9/27 9:24:30

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,作为最受 Apache Flink 社区开发者期盼的年度峰会之一,FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态,是中国 Flink 开发者和使用者不可错过的的技术盛宴。

今年 Flink Forward Asia(以下简称 FFA ) 回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。延续 FFA 惯例,峰会所有议题均为开放征集而来,并由专业的议题评选委员会评分筛选,确保内容代表行业领先水平,为开发者们输出更加优质的干货,并为各企业提供可借鉴的实践经验。本次大会,字节跳动 7 项议题入选,包括OLAP Serverless、流批一体、自动化运维的大规模落地实践外,也对抖音、头条等业务背后的监控预警、实时数仓推荐平台实践进行分享。

FFA 2023 官网:https://flink-forward.org.cn/

议题推荐

Flink OLAP Serverless 能力在字节跳动的落地实践

冯向宇,字节跳动基础架构工程师

演讲介绍:随着 Flink OLAP 在高 QPS 下的作业调度和作业执行优化逐渐落地,Flink OLAP 在字节内部的业务规模也大幅增长,同时也遇到了更多样化的计算挑战,其中最主要的一项挑战是计算能力的 Serverless 化。通过开发实现资源隔离、弹性扩缩容、优雅退出、冷启动优化、多策略限流等特性,我们完成了 Flink OLAP的Serverless 能力改造,并在内部成功完成了业务推广。本次分享我们将从 Flink OLAP 遇到的 Serverless 能力挑战、资源隔离实现、云原生能力增强、弹性扩缩容、业务落地及规划等五个方面进行介绍。

流批一体在字节跳动的大规模落地实践

苏德伟,字节跳动基础架构工程师

演讲介绍:Flink 是事实上的流计算标准,但在批计算场景的应用并不广泛。随着 Flink 引擎流批一体能力的完善,在字节跳动内部我们将离线数据同步场景下的 2.2w+ Spark SQL 作业迁移至 Flink Batch SQL,以推进流批一体的落地。Spark SQL 作业具有丰富的 Pattern,我们通过解决大量 Spark SQL 的兼容性问题,并进行数据准确性校验以及自动化迁移,将每日例行作业平滑迁移至 Flink Batch 并在线上稳定运行。本次分享将主要从以下五个部分介绍流批一体在字节跳动的大规模落地实践。

字节全增量一体化实时数据建设方案

秦冰伦:字节跳动实时数据工程师 & 刘想:字节跳动实时数据工程师

演讲介绍:字节的业务包含很多全增量一体化数据场景,典型场景如用户画像、风控、房产等,运营既需要过去长时间范围的数据来挖掘潜在的价值,也对数据新鲜度有很高的诉求,因此实时数据的全增量一体化价值很大。本次分享主要介绍全增量一体化流式计算建设过程中面临的挑战和解决方案。

Flink 自动化运维的大规模落地实践

陈张昊,字节跳动基础架构工程师

演讲介绍:过去几年中,字节跳动内部 Flink 作业规模逐渐增长到数万量级,业务有限的人力趋于无力应对随流量变化需人工调优资源配置、单机问题易导致慢节点需人工迁移等带来的运维压力。面对运维难题,沉淀出一套 Flink 自动化运维体系,并在内部大规模落地实践:托管了 1.5W+ 任务,在流量变化时自动扩缩容以避免消费积压的同时可以提升资源使用率、每日自动迁移 1K+ 次慢节点消除消费积压,有效减轻了业务的 Flink 作业运维压力。本次分享我们将从以下五个方面介绍 Flink 自动化运维的落地实践。

字节跳动实时数仓质量与成本治理平台实践

朱福生,字节跳动数据工程师

演讲介绍:随着业务对数据时效要求的提升和实时任务数量的不断增加,字节跳动已运行了上万的 Flink 实时任务,由于实时任务依赖的组件繁多、开发人员众多 、开发习惯和经验参差不齐等各类主客观因素,导致任务稳定性、资源浪费等问题频出。因此任务治理势在必行,但纵观整个治理过程,仍存在以下矛盾:业务与治理的矛盾、人力与治理的矛盾、问题与可评价的矛盾。本文将通过治理背景、健康分体系、治理收益、健康分规划四个方面来介绍实时健康分如何让实时治理简单、高效、可持续化。

字节推荐面向下一代特征工程架构演进之路

刘首维,字节跳动推荐架构工程师

刘方奇,字节跳动推荐架构工程师

演讲介绍:字节跳动在过去几年的发展中推荐系统基于 Flink、Spark、Hudi 等大数据组件打造了支持万亿数据吞吐的特征生产系统,随着直播、电商、生活服务等业务高速发展和算法工程师规模的扩大,对推荐系统中的离线组件在易用性、成本、架构方面提出了进一步挑战,我们也在此背景下,提出了新一代特征生产和入湖链路,其中包括引入推荐系统 Planner、面向用户的 Python SDK 以及 Flink 流批一体的样本入湖等功能,在开发效率、成本和性能上都有显著收益:其中原始特征生产的开发上线周期从 N 天至 1 周可以降低到小时级,推荐样本入湖的计算性能也提升到了原来的 3 倍+。

Flink 在抖音实时监控预警场景下的落地实践

张宏博,字节跳动数据工程师

演讲介绍:随着实时数仓的发展建设及业务对实时数据的强诉求,实时数仓支持了越来越多高优业务,同时也遇到了新的挑战。从最初快速支持业务,到更加注重时效性、准确性,我们的目标不断提升,架构不断完善,在提升数据时效性、准确性的道路上持续探索。经历了一系列的方案->工具->平台的迭代演进后,最终沉淀了一套基于 Flink SQL 的实时监控预警体系,帮助及时发现数据问题,助力业务实现监控诉求。本次分享从数据层面和业务层面两个角度出发,为大家介绍抖音基于 Flink 的实时监控预警能力落地实践。

直播预约&参会报名

PC 端可前往 FFA 2023 大会官网操作:https://flink-forward.org.cn/。

移动端可关注「Apache Flink」视频号预约直播。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1262850.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C#中的async/await异步编程模型

前言 当谈到异步编程时,C#中的async/await是一个强大且方便的工具。它使得编写并发和异步操作变得更加简单和可读,同时提供良好的可维护性。本文将详细解释async/await的使用,以及如何在C#中有效地利用它来实现异步操作。 目录 前言1. async…

项目监控:项目跟踪和控制的工具和步骤

项目管理不仅仅是分配和审查任务,还包括平衡团队成员的工作量、创建预测和避免障碍的工作流程。整个过程涉及许多步骤,因此,项目监控成为了成功业务活动的关键之一,是项目经理确保与团队共同实施的计划顺利进行的方式。 项目监控为…

细胞级浮游藻类智能检测系统

产品信息 新一代浮游藻类智能检测系统问世!英视江河首次将藻类检测精度提升到细胞级!英视江河致力于新一代浮游生物的识别、计数。特征是群体藻类和群体种个体均精准检测!目前设备已在山东、宁夏、内蒙多地实际应用。 郑州英视江河生态环境科…

爬虫http代理有什么用处?怎么高效使用HTTP代理?

在进行网络爬虫工作时,我们有时会遇到一些限制,比如访问频率限制、IP被封等问题。这时,使用HTTP代理可以有效地解决这些问题,提高爬虫的工作效率。本文将介绍爬虫HTTP代理的用处以及如何高效地使用HTTP代理。 一、爬虫HTTP代理的用…

leetCode 17.电话号码的字母组合 + 回溯算法 + 图解 + 笔记

17. 电话号码的字母组合 - 力扣(LeetCode) 给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。答案可以按 任意顺序 返回。 给出数字到字母的映射如下(与电话按键相同)。注意 1 不对应任何字母。 示例 1&…

汽车电子 -- 车载ADAS之DOW(开门预警 )

相关法规文件: DOW: GB/T XXXXX—XXXX 乘用车车门开启预警系统性能要求及试验方法 一、开门预警 DOW(Door open Warning) 参看:功能定义-开门碰撞预警 在停车状态即将开启车门时,监测车辆侧方及侧后方的其它道路使…

pdf文件能扫码查看吗?一键做文本二维码

pdf格式是常用的一种文件格式,很多资料、展示性的内容都会选择这种格式,现在很多人都需要将文件生成二维码图片后分享给他人,那么文件存入二维码展示的方法有哪些呢?下面给大家分享一招使用二维码生成器来生成二维码图片的操作方法…

UE5学习(游戏存档,两种适应性的射线检测,时间膨胀)

游戏存档 0.建立游戏存档类 1.建立存档 命名要用规律,读档时根据命名调用 2.读取存档 这里是用存档时间(秒)验证是否有存档成功。 两种鼠标位置射线检测方法 两种适用性未使用大量项目验证,为个人观点 1.适用于游戏中 2.适用于…

关于Linux服务器高并发场景下系统参数优化的诸多奇技淫巧

文章目录 🔊博主介绍🥤本文内容开篇内存优化——马达与燃油磁盘优化——加油与换胎网络参数优化——挂挡与提速进程优化——适度开疆拓土 📢文章总结📥博主目标 🔊博主介绍 🌟我是廖志伟,一名Ja…

Python+Appium自动化测试大法,让你的测试效率飞升,绝不等待!封装元素定位方法超详解!

在appium自动化测试脚本运行的过程中,因为网络不稳定、测试机或模拟器卡顿等原因,有时候会出现页面元素加载超时元素定位失败的情况,但实际这又不是bug,只是元素加载较慢,这个时候我们就会使用元素等待的方法来避免这种…

视频文案怎么写,媒介盒子支招

近几年短视频成为风口,各行各业都想分一杯羹,但是一头热的你,是否知道短视频的相关文案怎么写呢?正所谓兵马未动,文案先行,一个合适的文案是上热门的秘密武器,今天媒介盒子就来和大家聊聊:视频…

力扣2.两数相加

题目描述 把题读懂后,这道题存在两个需要解决的问题:1.进位问题;2.两个链表长度不一 代码 class Solution {public ListNode addTwoNumbers(ListNode l1, ListNode l2) {//创建新链表的伪指针,指向链表的头结点ListNode prev n…

Spring源码解读之创建bean

本文章我们会解读一下Spring如何根据beanDefinition创建bean的; 代码入口: AnnotationConfigApplicationContext applicationContext new AnnotationConfigApplicationContext(AppConfig.class);applicationContext.refresh(); 当spring执行refresh(…

人工智能-产生式系统实验(动物识别)

1.实验目的 1.熟悉知识的表示方法 2.掌握产生式系统的运行机制 3.产生式系统推理的基本方法。 2.实验内容 运用所学知识,设计并编程实现一个小型动物识别系统,能识别虎、金钱豹、斑马、长颈鹿、鸵鸟、企鹅、信天翁等七种动物的产生式系统。 规则库&…

什么是虚拟化?如何监控虚拟化设备

虚拟化是创建物理 IT 资源(如服务器或桌面)的虚拟版本的行为,虚拟机(VM)是在物理主机设备上创建的,VM 的行为与物理设备完全相同,并且可以从主机运行不同的操作系统。 例如,您可以在…

centos服务器扩容

centos服务器扩容 我的情况是,原服务器是一个80g磁盘,管理员又追加了120G到这块磁盘上,需要把这120G重新追加使用。 请确认你遇到的情况是否和我初始截图一致,再往下看,免得浪费时间与精力 服务器中有120G尚未使用&…

智能测径仪从这五大方面提升了性能

在测径仪的研发升级中,蓝鹏测控从未停下脚步,研究新的技术,让测径仪更好的为产线服务的功能。目前提供两种类型的在线测径仪,普通测径仪与智能测径仪,智能型主要在这五大方面进行了性能提升。 1、自动化程度 智能测径…

Update this scope and remove the “systemPath“

问题 解析: 在特定的指定路径上查找系统相关性。这大大降低了可移植性,因为如果您将工件部署在一个与您的环境不同的环境中,代码将无法工作。 解决: 1 使用官方maven仓库的第三方jar包 2 如果官方仓库不存在jar包,…

抖去推--短视频账号矩阵系统saas工具源码技术开发(源头)

一、短视频矩阵系统搭建常见问题? 1、抖去推的短视频AI矩阵营销软件需要一定的技术水平吗? 答:不需要。产品简单易用,不需要具备专业的技术水平,即使是初学者,也能够轻松上手操作。 3、抖去推的短视频AI矩…

E云管家微信群聊机器人开发

请求URL: http://域名地址/modifyGroupRemark 请求方式: POST 请求头Headers: Content-Type:application/jsonAuthorization:login接口返回 参数: 参数名必选类型说明wId是String登录实例标识chatRo…