- B站直播的极速排障建设-全链路Trace追踪
直播业务具有实时性强,复杂度高,排查链路长,影响面大等特征,线上问题如果不能立刻排查处理,分分秒秒都在影响用户的观看体验、主播的收入。
陶然 · 2024-09-06 14:45 - 携程PB级数据基础平台2.0建设,多机房架构的演进
携程数据基础平台主要组件包括:HDFS 分布式存储集群,YARN 计算集群,Spark、Hive 计算引擎。数据基础平台 1.0 版本的架构从 2017 年开始逐步成型,2018 年至 2021 年数据基础团队基于 1.0 的架构做了性能优化和各类 Bug 修复,支撑集群数据和计算任务高速增长。
陶然 · 2024-09-06 09:44 - 从3大场景,解读企业级云数仓落地实践
本文聚焦 ByteHouse 在实时数仓、企业级中台OLAP 以及广告投放三个领域优秀实践,拆解高并发点查、OLAP 引擎技术、以及圈选投放等能力在实际业务场景中的实现逻辑和效果,分享新一代云数仓的三大优秀实践。
陶然 · 2024-09-05 14:59 - 表格存储低成本向量检索服务助力AI检索
本文阐述了阿里云表格存储(Tablestore)如何通过其向量检索服务应对大规模数据检索的需求,尤其是在成本、规模和召回率这三个关键挑战方面。
陶然 · 2024-09-05 10:49 - “万众‘7’待,焕‘新’升级” 2024品智联接·华为数据通信创新论坛成功举办
9月4日,以“万众‘7’待,焕‘新’升级”为主题的2024品智联接·华为数据通信创新论坛在上海成功举办。本次活动重磅发布了基于Wi-Fi 7技术打造、面向企业网络的高品质万兆园区解决方案和助推方案落地的“星云计划”。
陶然 · 2024-09-05 09:23 - 字节跳动多机房资源统一管理系统解析
在字节跳动,每天有数百万的大数据作业在其全球的数十个数据中心运行。由于作业计算和存储资源的不匹配,存在将跨机房带宽用尽的风险,这会影响其他业务的运作,还会造成不同机房的资源负载不均衡。而且跨机房带宽存在成本高、延迟高、稳定性差等问题,会大幅增加作业的运行时长。
陶然 · 2024-09-04 10:25 - 大模型在小红书标题生成中的深度实践
这一次,AIGC 席卷而来,打破了这份许久的宁静,素材+AIGC 给广告带来了新的机会。本文剖析素材之于业务的价值,回顾大模型浪潮下的行业动向,分享展示广告关于素材+AIGC 的实践。
陶然 · 2024-09-04 10:12 - 货拉拉利用大模型打造多场景个人、办公助理实践
本次分享题目为货拉拉利用大模型打造多场景个人、办公助理实践,主讲老师杨丹来自货拉拉。货拉拉是一家专注于物流和货运的科技公司,自成立以来一直致力于通过科技手段提升物流效率。
陶然 · 2024-09-03 11:04 - GPU利用率:一个被误解的性能指标
AI团队经常会使用GPU利用率来代表GPU性能。但一项最新报告表明,即使GPU显示100%的利用率,实际上可能还有大量未被充分利用的计算能力。一些与基础模型公司合作的研究人员发现,他们在优化LLM训练过程中,尽管GPU利用率达到了100%,但实际的模型浮点运算使用率(MFU)仅为20%,远低于行业平均水平。
陶然 · 2024-09-03 09:27 - 莉莉丝游戏云原生之路
成本和效率在这些年来逐渐成为了游戏基础设施领域热烈讨论的话题。传统机器运维模式在业务规模化部署的情况下将带来巨大的人力与资源的成本投入,已然不符合当下游戏精细化运营的时代趋势。
陶然 · 2024-09-02 17:48 - 阿里巴巴AIGC技术与数据分析的融合实践
在数字化转型浪潮中,数据分析和商业智能(BI)工具成为企业洞察数据、优化决策的关键,场景化应用也日益广泛。伴随生成式AI发展,新一代BI与大模型深度融合,引领商业智能的新变革。
陶然 · 2024-08-30 14:25 - 转转质检数字化埋点探索之路
转转每一台‘官方验’的设备,都会经过质检站点对其进行全方面的检测。在检测流水线中,质检工程师对每台设备进行检测作业;这过程中除了产生对应的检测结果外,检测过程的动作、硬件参数、耗时等数据目前没有系统性的利用起来。
陶然 · 2024-08-30 09:37 - 哔哩哔哩基于Iceberg的智能数据组织优化实践
随着数据存储规模的增长和查询环境的复杂化,数仓面临着查询性能与稳定性的挑战。为了实现查询加速,哔哩哔哩在 Iceberg 基础上进行了功能拓展,包括多维排序、多种索引和预计算等。然而,现有优化手段对用户的技术门槛较高,需要手动配置或组织培训提供指导,限制了优化技术的推广使用。
陶然 · 2024-08-29 15:25 - 京东平台内容合规的技术与挑战
合规域在电商平台中扮演着重要的角色,它相当于电商体系中的“免疫系统”,通过识别恶意的商品、商家以及UGC内容,确保电商生态的健康、有序和可持续发展。
陶然 · 2024-08-29 10:31 - 货拉拉服务端质量保障之测试策略篇
服务端质量保障是确保服务器端应用程序在开发、部署和运行过程中达到预期性能和可靠性的关键步骤。一个全面的服务端测试策略不仅能提高系统的稳定性和安全性,还能提升用户体验和满意度。
陶然 · 2024-08-28 14:35 - 用多模态技术在多媒体系统中实现场景分类
视频场景分类算法是计算机视觉领域研究的热门内容,并作为复杂任务系统的前置算法,能够应用于我们多媒体实验室多项业务,如内容自适应转码、画质智能修复和视频质量评估(VQA)中。
陶然 · 2024-08-28 09:26 - 华为张平安:跨越技术鸿沟,繁荣数字产业大花园
在2024中国国际大数据产业博览会上,第三届828 B2B企业节正式开幕。华为常务董事、华为云CEO张平安发表致辞表示,数字世界的话语权最终是由生态的繁荣决定的,华为云携手上万家伙伴,整合“技术+生态”能力,共
陶然 · 2024-08-27 22:05 - 联动2024数博会,828 B2B企业节构筑数智产业发展新通路
8月27日,在2024中国国际大数据产业博览会上,第三届828 B2B企业节正式开幕,旨在融通数智供需,加速企业智改数转,助推中国数智产业实力再升级。
陶然 · 2024-08-27 17:55 - IBM中国系统中心裁撤:蓝色巨人的战略调整与市场变迁
2024年8月26日,IBM中国系统中心(CSL)的彻底裁撤消息如同一枚重磅炸弹,在中国科技界和跨国企业管理层中引发了强烈反响。这一事件不仅标志着IBM在中国市场的一次重大战略调整,也深刻反映了全球科技巨头在面对市场变化时的应对策略与无奈选择。
陶然 · 2024-08-27 11:29 - 首个氢动力数据中心究竟什么样?
数据中心即服务先驱ECL宣布,在其位于加州山景城的MV1设施中,交付了世界上第一个使用氢气作为主要电源的数据中心。该公司还宣布,由Hyperwise Ventures领投的额外1000万美元资金将用于加速研发,扩大公司的全球足迹。
陶然 · 2024-08-26 18:04