- 阿里云湖仓存储系统设计剖析和性能优化
本文将从元数据、Merge-On-Read等核心设计方面来剖析湖仓存储系统,对比当前流行的三种格式Delta Lake、Hudi、Iceberg的设计差异和优缺点,并分享我们在读写性能优化方面所做的思考和实际优化案例,主要包括以下内容:1.湖仓系统;2.核心设计;3.性能优化。
陶然 · 2024-01-10 09:46 - 减少50%磁盘空间,降低存储成本实践分享
在互联网行业降本增效的大背景下,如何治理成本投入重灾区——数据库(MySQL)成为了开发人员眼中的头等大事,本文介绍了降低数据库成本的方法与思路,并且介绍了在实践过程中需要着重关注的风险点与抵御风险的措施。
陶然 · 2024-01-09 10:55 - 130亿美元!HPE即将收购Juniper
9年过去了,2024年的今天,HPE还是有很强很强的网络梦想。据《华尔街日报》报道,信息技术供应商慧与科技(HPE)即将达成收购Juniper Networks的交易,交易金额约为130亿美元,或在本周内敲定。
陶然 · 2024-01-09 10:30 - 用户量10亿,如何设计一个高抗压的群聊系统?
群聊系统是社交应用的核心功能之一,每个社交产品几乎都有着群聊系统的身影:包括但不限于 QQ、微信、抖音、小红书等。上述介绍的技术细节可能只是群聊系统的冰山一角,像常见的抢红包、群内音视频通话这些核心功能也充斥着大量的技术难点。
陶然 · 2024-01-08 09:27 - 如何构建高时效、高可用的分布式数据传输系统?
分布式数据传输系统是一种用于在多个计算节点之间高效传输大量数据的系统,诣在高效的解决大规模数据迁移、备份、跨地域复制等问题,其广泛应用在实时数据流传输、跨数据中心数据迁移、多媒体传输等场景,在大多数企业中的日志管理、业务数据建库等场景中也都会使用到。
陶然 · 2024-01-05 10:18 - DDD落地实践——架构师眼中的餐厅
本文以餐厅场景为叙事主线,以领域驱动为核心思想,结合架构设计与功能设计方法论。是从领域分析到落地的全过程案例,内容偏重于落地,因此不乏一些探讨,欢迎指正。
陶然 · 2024-01-05 09:26 - 服务器浸没式液冷技术研究进展
本文以服务器浸没式液冷技术为研究对象,综述了冷却介质、换热表面特性对沸腾换热的影响,并讨论了基于服务器浸没式液冷的沸腾机理研究进展。最后对浸没式液体冷进行了展望,为建设绿色高效的数据中心提供参考。
陶然 · 2024-01-04 10:29 - 案例分析|线程池相关故障梳理&总结
本文作者梳理和分享了线程池类的故障,分别从故障视角和技术视角两个角度来分析总结,故障视角可以看到现象和教训,而技术视角可以透过现象看到本质更进一步可以看看如何避免。
陶然 · 2024-01-04 09:35 - 实时性需求大,看B站WebRTC测试实践
在B站的直播业务中,有多个互动类型的业务,比如:视频连线、PK、语聊房、语音连麦等。这类业务都有实时性的要求,底层都采用了WebRTC技术。
陶然 · 2024-01-03 10:57 - 业界难题“模拟点击”,端上如何实时防守?
本文针对模拟点击的黑产实时防控问题,介绍过去2年蚂蚁集团在技术方面的工作,旨在介绍风险存在的原因、风险的特点、风险的技术分析以及风险的防控方法。
陶然 · 2024-01-03 09:39 - 浅谈B站效果广告在线推理服务的性能优化
在保障业务持续迭代的同时,通过对在线服务进行多轮不断的升级和优化,服务性能有了显著提升,其中CPU、内存、网络IO等资源的使用效率得到了明显改善,在线集群整体节省了上万核的CPU算力。在此过程中,研发团队也积累了丰富的经验和知识,将为未来的项目研发提供了重要支持。
陶然 · 2024-01-02 10:47 - 抖音为何要不断提升画质体验?
本文从抖音集团内部画质优化方案的孵化历程着笔,主要分享了画质优化对于业务的价值、主要应用场景和内部产品的一些典型实践案例。通过分享业务视角遇到的一些问题和我们的解决思路,希望能抛砖引玉,为遇到类似困扰的伙伴们提供有价值的参考。
陶然 · 2024-01-02 09:43 - 网易有道关于实时湖仓的实践之路
有道的数据层架构可分为离线和实时两部分,离线计算主要采用Hive、Spark,采用批处理的方式定时调度。实时部分采用 Flink+Doris(版本 0.14.0)构建实时数仓,用于处理实时埋点日志、业务库变更数据。
陶然 · 2023-12-29 09:50 - 揭秘货拉拉大模型应用平台的应用部署
随着大语言模型(Large Language Model, LLM)涌现,如何高效落地应用LLM成为关键,以LLM为核心搭建各种Agent落地应用(AI Agent )成为新风向。货拉拉在司机邀约、AI客服、创意生成等业务已经应用自研大模型提效,推进AI应用。各业务在摸索大模型落地的过程中,存在以下困难:
陶然 · 2023-12-29 09:39 - 回首23展望24:智能化正加速IT基础设施变革
随着科技的飞速发展,智能化已成为推动IT基础设施变革的重要力量。在过去的一年中,智能化技术如人工智能、机器学习等在IT基础设施领域的应用越来越广泛,这些技术可以帮助企业自动化管理、优化资源配置、提高运营效率,从而更好地应对市场的快速变化。
陶然 · 2023-12-28 16:24 - 腾讯网关TGW架构演进之路
TGW全称Tencent Gateway,是一套实现多网统一接入,支持自动负载均衡的系统, 是公司有10+年历史的网关,因此TGW也被称为公司公网的桥头堡。本文从山海网关TGW的应用场景、背景需求讲起,重点解析了从山海1.0到山海2.0需要解决的问题和架构规划与设计实现,以及对于未来山海网关的发展和演进方向。
陶然 · 2023-12-28 11:07 - 得物云原生容器技术探索与落地实践
得物 App 作为互联网行业的后起之秀,在快速的业务发展过程中基础设施规模不断增长,继而对效率和成本的关注度也越来越高。我们在云原生技术上的推进历程如图所示,整体上节奏还是比较快的。
陶然 · 2023-12-28 10:25 - 走向自主可控,从国产化软硬件升级替换开始
我们迎来了第七期分享,达梦数据技术(江苏)有限公司总经理付新、阿里云数据库空天数据库产品负责人宋震、拓数派产品社区总监吴疆、泽拓科技数据库高级技术专家吴夏四位专家,分享了他们在国产化软硬件替代方面的最新研究成果和实践经验。
陶然 · 2023-12-28 10:04 - 全球部署70000+温水水冷节点是什么水平?
本期,我们有幸采访到了联想集团主任技术顾问郝常杰,跟郝老师一起畅聊了关于液冷服务器的技术趋势、机遇挑战、创新产品等多个方向,分享了联想在液冷服务器方面的最新进展。
陶然 · 2023-12-27 15:27