- Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。
谢涛 · 2018-08-10 17:38 - 针对静默数据错误,如何采用DIX和DIF保证数据一致性?
静默数据破坏问题是一直存在 存储系统中最难解决 的数据一致性问题之一,无论是传统多控、分布式存储,还是公有云存储。对存储系统设计和开发人员来讲,数据一致性问题解决能否解决决定着存储系统是否可以商用。到这个问题一直没有成为讨论的技术焦点,直到最近腾讯云事件持续热化以后,“ 数据一致性 ”问题成成为焦点出现在大众视野。
谢涛 · 2018-08-10 17:14 - 使用Docker客户端管理容器:这些命令必须知道
有时候,容器管理对于不熟悉这种技术的IT人员来说可能有点“可怕”。笔者希望通过这篇文章向大家解释我们能够如何管理和执行一些涉及容器管理的任务,使这个主题更清晰。
谢涛 · 2018-08-10 16:22 - 干货分享:浅谈内存泄露
这个话题已经是老生常谈了,之所以又被我拎出来,是因为博主隔壁的一个童鞋最近写了一篇叫做《ThreadLocal内存泄露》的文章,我就不上链接了,因为写的实在是。。 (省略一万字) 重点是写完后,还被我问懵了。出于人道主义关怀,博主很不要脸的再写一篇。
谢涛 · 2018-08-08 17:40 - 建设智慧城市,数据是重要基石
随着技术的发展,建设智慧城市已经成为一大主流趋势。其应用涵盖了政务、交通、民生、治安等一个城市运行的方方面面。在可预见的未来,智慧城市将成为城市新形态,为城市管理、人民生活带来极大的便利。
谢涛 · 2018-08-08 17:29 - 掌握这五类数据科学项目,找到一份好工作
也许你一直在MOOC平台上学习数据科学,也熟读了一大堆教科书,但要获得数据科学相关的职位,你还需要向雇主展示自己的技能水平。最好的方式是作品集,你可以借此向雇主表明你所一直学习的技能能够用于工作中,为公司创造价值。
谢涛 · 2018-08-08 16:11 - Kubernetes集群中基于 CRD 实现分批发布
分批发布是一种通用的发布方式,但是在Kubernetes集群中,要实现分批发布,需要控制各种状态,维护service流量,以及各种label配置,十分麻烦。阿里云容器服务提供一种基于 CRD 的分批发布方式,大大方便发布流程。
谢涛 · 2018-08-06 16:42 - 公交大数据应用潜力有多大?这场比赛给你答案
近日,IBM Watson Build 2018 大中华区挑战赛随着北京和上海站的完美收官,第一轮THINK环节已经结束。睿至大数据凭借“公交线网优化和运力调优系统”顺利晋级至第二阶段。
谢涛 · 2018-08-06 15:47 - “智慧检务”已成必选题,检务与数据需深度融合
8月3日下午,中国刑事诉讼法学研究会会长 中国政法大学诉讼法学研究院院长卞建林、最高人民检察院检察技术信息研究中心主任赵志刚、中国政法大学教授刘玫莅临睿至大数据北京总部视察指导,同时详细了解了睿至大数据公司自成立以来在各个领域取得的成绩、自主研发的产品及司法大数据平台等整体建设工作。
谢涛 · 2018-08-06 11:38 - 对传统应用进行容器化改造
本文接下来简要介绍什么是容器化,要在 Docker 容器中运行传统应用的缘由,容器化的过程,其间可能遇到的问题,在用容器部署之后的其他步骤等。这将明显减轻部署工作的压力,并让应用朝着零停机部署和横向缩放的方向前进。
谢涛 · 2018-08-03 17:00 - 在 Windows 上可以用 Docker 吗?
Docker,或者准确一点说,容器技术,在近几年里几乎成为了应用分发和集群部署的默认技术了。Docker 生态的成熟还有赖于其周边工具和实践模式的兴起。比如,曾经雨后春笋般出现的编排技术,以及基于容器技术的 DevOps 实践大规模地开展。
谢涛 · 2018-08-03 16:55 - 分离式or超融合,分布式存储建设时的两种部署模式
数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。
谢涛 · 2018-08-03 16:27 - 特斯拉自研AI芯片,要和英伟达说再见?
据外媒报道,埃隆·马斯克(Elon Musk)在最近的一次财报会议上透露,该公司已经“秘密”研发用于自动驾驶的定制AI芯片至少两年,而且该芯片已开始生产——当前,特斯拉仍然依赖于英伟达的硬件。
谢涛 · 2018-08-03 10:47 - 5招搞定Kubernetes监控
如果你位于DevOps前线,Kubernetes正在迅速成为你的生产云环境的重要组成部分。由于容器编排对于部署、伸缩和管理容器化应用程序至关重要,监控Kubernetes需要成为监控策略的重要组成部分。
谢涛 · 2018-08-02 17:45 - 中小团队基于Docker的devops实践
笔者所在的技术团队负责了数十个项目的开发和维护工作,每个项目都至少有dev、qa、hidden、product四个环境,数百台机器,在各个系统之间疲于奔命,解决各种琐碎的问题,如何从这些琐碎的事情中解放出来?devops成了我们不二的选择。
谢涛 · 2018-08-02 17:32 - 为你的回归问题选择最佳机器学习算法
在处理任何类型的机器学习(ML)问题时,我们有许多不同的算法可供选择。而机器学习领域有一个得到大家共识的观点,大概就是:没有一个ML算法能够最佳地适用于解决所有问题。不同ML算法的性能在很大程度上取决于数据的大小和结构。因此,如何选择正确的算法往往是一个大难题,除非我们直接通过大量的试验和错误来测试我们的算法。
谢涛 · 2018-08-02 16:19