- 结合数据湖的实时数仓架构演进
本文将探讨数据湖实时数仓相关内容。很荣幸请到京东科技实时数仓建设负责人陈伟强老师,他同时也直接承担一些数据产品研发项目的支持,将分享实时数仓在落地和演化过程中的一些问题和解决方案。
陶然 · 2024-07-26 10:14 - 如何扩展数据中心?看CSPS的五个优秀实践
构成现代数据中心及其高效运营方式的庞大技术格局正在迅速演变,成本管理迅速成为所有服务提供商永恒关注的问题。下面概述了CSP扩展现代数据中心的五个优秀实践。
陶然 · 2024-07-25 15:49 - 携程IT桌面全链路工具研发运营实践
本文概述了携程IT管理数万台办公PC时面临的挑战及应对方案,介绍了通过全链路工具实现故障主动发现和自动修复的运营理念。详细阐述了背景、系统架构选型及各部件,深入说明了工具实践过程中面对的大数据量、脚本运行权限、交互弹窗等问题及其解决方案。
陶然 · 2024-07-25 14:46 - 京东百万级调度系统(Buffalo)架构解密
为支撑灵活的业务加工和工作流编排场景,快速的业务发展带来的任务量增长,以及保障整个系统的稳定性,我们从易用性、稳定性、以及高性能等方面做了很多的思考和优化,下面我将着重从这三个方面详细介绍。
陶然 · 2024-07-25 10:11 - 字节跳动基于Parquet格式的降本增效实践
字节跳动离线数仓默认使用Parquet格式进行数据存储。Parquet作为一种列式存储的开源文件格式,在大数据领域被广泛应用,它所提供的一系列特性,如高压缩率、高查询性能等都非常契合大数据领域。
陶然 · 2024-07-24 14:01 - SAP发布2024年第二季度财报,中国市场云收入增长表现尤为强劲
第二季度,SAP的云收入在亚太及日本地区和欧洲、中东和非洲地区表现很强劲,在美洲地区表现稳健。在云收入增长方面,巴西、加拿大、德国、印度、日本和韩国表现出色,而中国、美国和沙特阿拉伯表现尤为强劲。
陶然 · 2024-07-24 09:59 - 大模型在京东快递物流场景中的应用与落地
在现代物流场景中,包裹信息的准确性和处理效率至关重要。当前,京东快递在邮寄场景中面临着日益丰富的寄递品类和多样化的个性化需求。本文将深入探讨托寄物智能识别——大模型在京东快递物流场景中的应用与落地,分析其产生背景、应用效果及未来发展方向。
陶然 · 2024-07-23 16:14 - 2000+应用、100w+QPS:超大规模贵州机房迁移历程回顾
2023年确定要将云音乐整体服务搬迁至贵州机房,项目需要在各种限制条件下,保障2000+应用、100w+QPS的服务稳定迁移,是云音乐历史上规模最大、人员最多、难度最高的技术项目。在此过程中,解决了大量历史技术债务,同时化解了大量新增系统性风险。以下为总体方案回顾。
陶然 · 2024-07-23 10:03 - 异常检测算法在可观测性平台的落地和实践
在稳定性保证中,重要的一个环节就是故障管理体系建设,故障管理体系的四大核心功能——故障发现、故障触达、故障定位和故障恢复,其中故障发现作为故障管理的第一步至关重要,包含了指标预测、异常检测和故障预测等方面,主要目标是能及时、准确地发现故障。
陶然 · 2024-07-22 13:59 - 大语言模型在推荐系统中的探索与应用
来自华为诺亚方舟实验室的王奕超老师今天给我们带来了关于大语言模型在推荐系统中的探索与应用的分享,将从数据、模型和流程三个层面展开,介绍华为在推荐系统领域的两个重要项目,并回答关于用户推理知识构造、特征交叉和在线服务流程的具体问题。通过这些前瞻性的探索和应用,推荐系统的性能和用户体验有望得到显著提升。
陶然 · 2024-07-22 09:55 - 台积电试图让自己变得比现在更不可或缺
台积电在数据中心计算引擎制造方面已经拥有了实际上的垄断地位——这是它自己赢得的。几乎每一个CPU、GPU、DPU、XPU和FPGA都会经过它的晶圆蚀刻设备,并且越来越多地通过它的芯片封装设备。那么,台积电接下来将走向何方?
陶然 · 2024-07-19 14:42 - 广告营销多智能体架构落地全攻略
在AI Native时代,广告营销平台经历了根本性的变革,这些变化不仅提升了广告的效率和精准度,还重塑了广告行业的整体运作方式。其中,强大的广告营销智能体是下一代商业广告平台面向客户交付商业价值的首要载体。进一步,生成式AI又是广告营销智能体的内核及灵魂,真正达成让客户放开说、简单用、都搞定的极致体验。
陶然 · 2024-07-19 14:14 - B站一站式大数据集群管理平台(BMR)初窥
大数据服务是数据平台建设的基座,随着B站业务的快速发展,其大数据的规模和复杂度也突飞猛进,技术的追求也同样不会有止境。B站一站式大数据集群管理平台(BMR),在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。
陶然 · 2024-07-19 13:51 - 在通往混合CPU-GPU INSTINCT MI300A的路上,AMD砥砺前行
早在2012年,当时的AMD正考虑退出数据中心CPU业务,而其数据中心GPU也一直没能真正得到关注。就在这生死存亡之际,美国能源部出于自身政治与经济利益决定实施一项开明策略,冒险投资AMD以开展内存技术及百亿亿次级混合CPU-GPU计算的研究。
陶然 · 2024-07-18 17:06 - 转转上门履约服务拆分库表迁移实践
随着业务不断发展,一个服务中部分功能模块适合沉淀下来作为通用的基础能力。作为通用的基础能力,对提供的服务可用性和稳定性有较高的要求,因此把该部分功能模块拆分出来,单独一个服务是比较好的选择。为了更好的与业务服务物理隔离,不仅需要从代码层面拆分,数据库层面也需要拆分。
陶然 · 2024-07-18 09:50 - 传奇仍在继续:人工智能芯片将花多少钱?
大家都知道,公司(特别是超大规模基础设施运营商和云服务商,但如今越来越多的普通公司也开始向生成式AI积极展开怀抱)正在AI加速器和相关芯片上投入巨额资金,旨在建立起属于自己的AI训练与推理集群。
陶然 · 2024-07-17 14:01 - 图技术在金融反欺诈中的应用
在金融信贷领域,随着黑产的欺诈能力不断升级,黑产的欺诈方式已经从早期的个体欺诈发展到了聚集性欺诈,并且从早先的单一欺诈模式演化出各种复杂多变的欺诈模式,形成了完整的黑色产业链,严重扰乱了正常金融秩序,给反欺诈风控造成了极大的压力。
陶然 · 2024-07-17 09:56 - 字节跳动基于TrafficRoute DNS的超千亿级调度解析优化实践
在直播CDN、静态CDN和动态CDN等泛CDN边缘接入场景中,通常采用DNS来作为边缘第一层的接入调度。由于边缘接入点分布广泛且容易受到外部环境的影响,导致接入点频繁变动,因此,在泛CDN环境中,DNS的基础调度功能显得尤为关键。
陶然 · 2024-07-16 10:29 - 百度智能云网络故障定位的智能运维实践
近期,更是将大模型成功引入物理网络的故障定位中。相比过去传统的定位分析方法,大模型给网络故障定位的能力建设带来了很多改变。接下来我们将简单介绍百度智能云在物理网络故障定位的发展历程,然后详细分享如何基于大模型进行故障定位的最新实践。
陶然 · 2024-07-16 10:11