IT168首页 > 陶然
  • 百度集合通信库BCCL万卡集群快速定位故障

    在分布式训练中,每一块 GPU 只负责处理部分模型或者数据。集群中不同 GPU 之间通过集合通信的方式,完成梯度同步和参数更新等操作,使得所有 GPU 能够作为一个整体加速模型训练。

    陶然 · 2024-03-07 14:15
  • 商家可视化埋点探索和实践|得物技术

    在数字产品的数据分析实践中,手动代码埋点方式因其精确性和定制化的优势长期被许多组织采用,但随着业务快速发展和迭代需求的增加,传统手动埋点方法的时间消耗、一定的技术门槛和较高的维护成本成为研发角色的负担。

    陶然 · 2024-03-07 09:29
  • 传统数据中心转型智算中心要花多少钱?

    传统数据中心向智能计算中心(智算中心)转型是一项复杂而富有挑战性的任务,主要涉及到技术、操作、管理和战略等多个层面的问题。

    陶然 · 2024-03-06 14:49
  • 滴滴基于Clickhouse构建新一代日志存储系统

    2020年开始在滴滴内部大规模地推广和应用,服务网约车和日志检索等核心平台和业务。本文主要介绍滴滴日志检索场景从 ES 迁移到 CK 的技术探索。

    陶然 · 2024-03-06 09:32
  • 降本增效 百TB级Redis自动化运维体系建设

    疫情三年对全球经济造成了巨大冲击,许多公司的业务量大幅下滑,旅游业更是遭受了重创。在这样的大环境下,公司为了降低运营成本,不得不采取一系列措施来缩减开支。其中,对于 DBA 这种运维团队来说,降低成本最直接的方法就是减少机器的开销。

    陶然 · 2024-03-05 10:58
  • 小红书如何实现数仓效率与成本的双重优化

    在当今以数据为核心的商业环境中,企业正面临着海量数据的处理和分析挑战。为克服传统数据仓库在处理速度、灵活性和成本效率方面的局限,小红书数据仓库团队引入如 Apache Iceberg 等数据湖技术,将其与数仓架构相结合,以释放数据湖在查询性能、实时数据处理和成本效益方面的潜力。

    陶然 · 2024-03-05 10:10
  • 多场景静态化编译在两轮SAAS用车实践

    在用车saas化推广兼容小品牌用车的过程中,由于用户交互、接口数据、业务流程在主品牌与小品牌之间存在差异性,导致代码分叉过多,影响可读性与可编辑性;两侧用车能力存在部分混入,造成运行时代码过大;单一场景迭代容易干扰其他端侧用车能力;后续还会拓展到端外用车,上述问题会继续放大。

    陶然 · 2024-03-04 15:19
  • 中小企业数智化升级优秀产品方案出炉,华为收获最多“首选”

    以“数智未来 共创数字时代新篇章”为主题的中小企业“数智未来”行动在京成功举办,本次活动由中央广播电视总台央视频和中国中小企业协会作为联合观察单位,带来了一系列帮助中小企业成就业务新价值和数智化升级的优秀产品和方案,并邀请行业专家和企业代表等一同探讨如何助力更多中小企业数智化升级。

    陶然 · 2024-03-04 12:23
  • 新一代数据架构的性能与成本平衡之道

    Alluxio 大致可分为两个部分:Alluxio Service 和 Alluxio Local Cache。Alluxio Local Cache 为计算存储分离的计算环节实现了数据本地化,通过这种方式来加速查询,同时减少对 underline 的 FS 的 request 和对应的数据的出口,从而提高性能并节省成本。

    陶然 · 2024-03-04 10:26
  • 基于接口数据变异的App健壮性测试实践

    本文整理自美团技术沙龙第77期《美团亿级流量系统的质量风险防控和稳定性治理实践》,主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。

    陶然 · 2024-03-01 16:53
  • 第二届北京人工智能产业创新发展大会成功举办

    日前,2024中关村论坛系列活动——第二届北京人工智能产业创新发展大会在国家会议中心成功举办。会上,“京西智谷”与4家企业签约共同打造北京市首个自主创新人工智能算力集群,揭牌成立北京市国际大数据交易所数据资产中心,并将联合央视网共建“AGI联合研究中心”。

    陶然 · 2024-03-01 11:34
  • 大模型在新能源汽车行业的应用与实践

    本次分享的主题为大模型在汽车工业化的实践与应用,主要聚焦于工业制造相关的案例和落地经验。总共分为五部分:1. ChatGPT 发展历程;2. 大模型底层原理;3. 大模型赋能新型工业化;4. 工业化中的实践与探索。

    陶然 · 2024-03-01 11:28
  • 揭秘百度数仓融合计算引擎

    本文介绍了百度数仓融合计算引擎的整体设计原理、优化及实践,阐述了在互联网产品快速迭代的趋势下,基于一层数仓宽表模型的数仓模型如何做到数十秒级查询的技术方案,并从互联网业务变化特性、传统计算引擎存在的问题、融合计算引擎的原理及优缺点。

    陶然 · 2024-02-29 11:43
  • 云成本优化的新武器-ZingJDK|得物技术

    我分享点 Java 相关内容。在得物,使用 Java 的同事们占据了相当大的比例,他们是我们业务线的中坚力量。我希望今天所分享的内容能对大家有所帮助,助力于公司价值的创造。

    陶然 · 2024-02-29 10:57
  • vivo 在离线混部探索与实践

    伴随 vivo 互联网业务的高速发展,数据中心的规模不断扩大,成本问题日益突出。在离线混部技术可以在保证服务质量的同时,极大的提升数据中心资源利用率,降低成本。混部技术涉及任务调度、资源隔离、运维观测等一系列技术难题,本文将介绍 vivo 在混部技术方面的实践和探索,为读者提供借鉴和参考。

    陶然 · 2024-02-29 09:38
  • 高效构建vivo企业级网络流量分析系统

    随着网络规模的快速发展,网络状况的良好与否已经直接关系到了企业的日常收益,故障中的每一秒都会导致大量的用户流失与经济亏损。因此,如何快速发现网络问题与定位异常流量已经成为大型企业内必须优先解决的问题,诸多网络流量分析技术也同时应运而生。

    陶然 · 2024-02-28 14:39
  • Sora火爆背后,惊人的数据中心碳排放会挑战碳中和进程吗?

    2月15日,美国人工智能研究公司OpenAI在其官网发布文生视频模型Sora。该模型可以遵循用户文本指令,生成长达一分钟的视频,包含细致情景、多角度镜头。此外,该模型还能根据静态图像生成视频,并精确将图像内容动画化。

    陶然 · 2024-02-28 13:48
  • 滴滴借助StarRocks物化视图实现低成本精确去重

    滴滴于 2022 年引入了 StarRocks。经过一年多的努力,StarRocks 逐渐替代了原有技术栈,成为滴滴内部主要的 OLAP 引擎。截至 2023 年 12 月,滴滴已经成功建立了超过 40 个 StarRocks 集群,每日查询量在千万量级,拥有超过 3000 张数据表。

    陶然 · 2024-02-28 10:16
  • 智能判责在哈啰顺风车的应用

    随着大语言模型的发展,模型的参数量越来越大,比如 GPT-3 参数量已经高达 1750 亿,因此,微调所有模型参数变得不可行。LoRA 微调方法由微软提出,通过只微调新增参数的方式,大大减少了下游任务的可训练参数数量。

    陶然 · 2024-02-27 15:03
  • 大规模数据中心网络发展的七大趋势

    超大规模数据中心网络无论是在架构、技术还是运维上都发生了巨大的变革,有效地支持了互联网和云计算过去10年的繁荣。展望未来,在人工智能、大数据、物联网、云原生等技术和业务的驱动下,数据中心网络该向何处发展是专业人士们必须考虑和面对的问题。该文结合行业发展测未来超大规模数据中心网络的发展趋势如下:

    陶然 · 2024-02-27 13:55