新产品推广方案实训报告(不完整收录:2021年字节自研的8项“黑科技”| 字节技术年货)

祝天下开发者朋友,新的一年事业发展蒸蒸日上,新的一年薪水增长如虎添翼,新的一年爱情运势如虎添翼,新的一年代码意外导致虎口脱险。老虎!老虎!

软件工程圣经《人、月神话》曾经提到“软件开发没有银弹”,事实也正是如此。复杂的软件工程问题不是简单的回答就能解决的。在字节跳动,海量的数据、复杂的业务场景、快速发展的业务规模,都给业内成熟的开源技术解决方案带来了或多或少的挑战。字节跳动技术团队在充分调研了业界成熟的方案后,从业务实际出发自主研究了一批成效显著的方案和工具,其中一些已经开源,一些已经集成到火山引擎服务中,更多的方案将在内部打磨后向业界开放。

以下是字节跳动技术团队微信官方账号发布的近一年来自主研发的技术方案集锦,以飨读者。

字节工程师自研基于 IntelliJ 的终极文档套件

众所周知,程序员最讨厌四样东西:写笔记,写文档,别人不写笔记,别人不写文档。因此,有必要找到降低文档准备和维护成本的方法。为了解决原始写文档模式的诸多痛点,字节工程师开发的基于IntelliJ的终极文档套件方案,可以完全脱离浏览器/文档编辑器,在线页面的同步可以完全交给定时触发的自动部署。

工程师开发的基于IntelliJ的终极文档套件

字节自研 Android 虚拟机内存管理优化黑科技 mSponge

自研的Android虚拟机内存管理工具MSponge,从应用端对Android虚拟机的内存管理进行了改革,针对LargeObjectSpace优化了虚拟机的内存管理策略,间接提高了其他内存的上限空。改造后32位LargeObjectSpace的内存使用上限可以达到2G以上(64位环境上限理论上趋于无穷大)。通过该方案,可以从系统端最大程度的解决很多应用会遇到的内存瓶颈和OOM问题,一键访问安全可靠。

拯救OOM!字节自研安卓虚拟机内存管理优化黑科技mSponge

自研推荐系统大规模 Training & Serving 方案 Monolith

Monolith是字节跳动火山发动机智能推荐平台中的一个大规模训练和服务方案,包括训练/服务/参数同步等。这是一个完整的系统方案。与业界其他系统相比,Monolith成功应对了诸多挑战,具有以下特点:解决TensorFlow PS的通信瓶颈、全方位容错、分布式服务、性能优化等。目前,Monolith已经成功应用于电商、社区、视频等多个行业的场景。通过推荐平台,效果、稳定性和性能得到了充分的验证。未来将继续保持高速迭代,不断优化用户体验和平台功能。

做你的磐石——每个人都可以建立大规模的推荐系统

字节优化版性能检测工具 atop

Atop是一个开源的单机性能监控工具,支持实时观察和读取历史文件来排查问题。另一个优点是,除了提供CPU、MEM、磁盘等全局指标外,还提供了进程和线程级别的各种指标的监控数据。基于字节跳动社区的atop优化已经迭代了三个版本,已经稳定运行了近三年。新增内容包括NUMA聚合、JSON格式输出、交互界面改进、日志相关改进和其他功能优化。

atop的深度字节版:在线系统性能监控实践

自研 OpenBMC 方案

OpenBMC是Linux Foundation中的一个项目,也是开源BMC中最成熟的项目,是社区中最活跃的项目。由字节跳动系统部STE团队开发的OpenBMC已经在内部成功上线,并稳定运行了四个多月。这也是字节跳动第一次正式启动OpenBMC计划并进行初步制作。与此同时,STE团队的工程师也在OpenBMC开源提交中提交了许多涉及新功能和bug修复的承诺,现在他们已经成为Open BMC技术监督论坛(TOF)的成员。

字节跳动自主研发的OpenBMC方案成功启动。STE团队工程师做了什么?

自研同传系统「火山同传」

在2021北京致远大会上,火山翻译的产品“火山同传”为大会直播和网络直播提供了“低延时、高质量”的同传字幕,助力大会顺利举行。字节跳动AI-LAB智能语音团队在RNN-T模型上做了很多尝试和探索。通过数据的不断积累和算法的不断优化,自主研发的基于RNN-T模型的端到端语音识别系统取得了明显优于CTC模型的性能,并应用于会议转录、同声传译等多项业务,取得了良好的反馈。

字节跳动自主研发同传系统的技术实现亮相致远大会

自研智能化测试系统 Fastbot

Fastbot是byte开发的客户端智能测试工具,主要用于客户端稳定性/兼容性/压力测试。目前Fastbot已经支持多个平台:Android、iOS、Web、PC等。目前,Fastbot已经广泛应用于字节客户端产品的稳定性测试和兼容性测试。每天启动1万多个任务,平均每个月发现5万多个崩溃。在Fastbot的帮助下,我们可以在版本发布前修复大部分崩溃,保证在线用户体验。同时,Fastbot在整个DevOps过程中起着重要的基础服务作用。其中iOS和Android版本都是开源的。

Fastbot:移动中的智能猴子

自研端智能一体化方案 Pitaya

火龙果是由字节跳动移动平台团队和MLX团队共同建立的从端(云)到端(终端)的全链路动态部署方案。火龙果是专门为移动终端设计的终端智能集成解决方案。与传统解决方案相比,火龙果具有以下优势:降低终端智能使用成本,便于业务快速整合,获取商业利益;;提高模型的动态能力,支持模型的快速迭代和效果验证;提高多方协作效率,让算法工程师深度参与客户端场景;该算法和模型具有很高的重用性,可以快速推广已验证的方案。目前,字节跳动已有Tik Tok、今日头条、西瓜等多条产品线开始了基于火龙果的终端智能化实践探索,后续还将规划特征工程、模型自衍生、通用AI能力建设等新功能。

新产品推广方案ppt

轻松玩转移动AI,一键集成终端智能框架火龙果

Next Byte Technology新年预测:实践

您可以还会对下面的文章感兴趣

使用微信扫描二维码后

点击右上角发送给好友