Clik here to view.
一个轻量级分布式 RPC 框架 — NettyRpc
1、背景最近在搜索Netty和Zookeeper方面的文章时，看到了这篇文章《 轻量级分布式 RPC 框架》，作者用Zookeeper、Netty和Spring写了一个轻量级的分布式RPC框架。花了一些时间看了下他的代码，写的干净简单，写的RPC框架可以算是一个简易版的...
View ArticleClik here to view.
Spark Shuffle过程分析：Map阶段处理流程
默认配置情况下，Spark在Shuffle过程中会使用SortShuffleManager来管理Shuffle过程中需要的基本组件，以及对RDD各个Partition数据的计算。我们可以在Driver和Executor对应的SparkEnv对象创建过程中看到对应的配置，如下代码所示： // Let the user specify short names for shuffle managers...
View ArticleClik here to view.
Spring Boot异常处理详解
在《 Spring MVC异常处理详解》中，介绍了Spring MVC的异常处理体系，本文将讲解在此基础上Spring Boot为我们做了哪些工作。下图列出了Spring Boot中跟MVC异常处理相关的类。Spring...
View ArticleClik here to view.
自建一个电话呼叫中心要多少钱？
我十分看不惯任何行业的潜规则行为。自建一个电话呼叫中心的报价是多少钱？没有人敢公开报价。我明说吧，自建一个电话呼叫中心，只需要3万元左右，而且还能更省钱。这个报价是针对小型企业的，也就是广大人民群众。至于大型企业，它们自己去定制，钱不是问题。3万元建一个电话呼叫中心，包括什么？包括硬件设备，软件。软件是硬件设备上免费赠送的，不要钱！有了这个呼叫中心，你可以有语音导航功能（也就是按0转人工客服），还有...
View ArticleClik here to view.
【译】Reddit如何统计每个帖子的浏览量
之前没听过也没了解过 HyperLogLog，通过翻译这篇文章正好简单学习下。欢迎指正错误~我们想要更好的向用户展示 Reddit 的规模。为了这一点，投票和评论数是一个帖子最重要的指标。然而，在 Reddit...
View ArticleClik here to view.
谈一下我们是如何开展code review的
众所周知，代码审查是软件开发过程中十分重要的环节，楼主结合自己的实际工作经验，和大家分享一下在实际工作中代码审查是如何开展的。笔者水平有限，若有错误和纰漏，还请大家指正。代码审查的阻力我想不通公司不同部门对代码审查这项工作的重视程度还是不一样的，对于代码审查的阻力总结了以下几点：国内的整体环境，国内的公司，尤其是互联网公司，讲究速度致上，软件开发的迭代周期周期短，速度快，因为竞争太大，开发的产品要求...
View ArticleClik here to view.
实现前后端分离的心得
实现前后端分离的心得对目前的web来说，前后端分离已经变得越来越流行了，越来越多的企业/网站都开始往这个方向靠拢。那么，为什么要选择前后端分离呢？前后端分离对实际开发有什么好处呢?为什么选择前后端分离在以前传统的网站开发中，前端一般扮演的只是切图的工作，只是简单地将UI设计师提供的原型图实现成静态的HTML页面，而具体的页面交互逻辑，比如与后台的数据交互工作等，可能都是由后台的开发人员来实现的，或者...
View ArticleClik here to view.
欢迎来到后 ASO 时代
6 月 WWDC 上所宣布的「App Store 将迎来大改版」的消息，给 ASO 界砸下了一枚重磅炸弹。虽说 iOS11 要到今年秋季才会正式推送，且正式版面世到大面积使用还需要一定时间，到底会不会迎来一个新的 ASO 时代，目前尚不可知。为了做好迎接新时代的准备，咱们先来看看苹果砸下的到底是一枚什么样的「炸弹」。搜索改动还算小「搜索」入口所带来的可观流量，是我们「做关键词」的立足点。ASOer...
View ArticleClik here to view.
如何理解并正确使用 MySQL 索引
1、概述索引是存储引擎用于快速查找记录的一种数据结构，通过合理的使用数据库索引可以大大提高系统的访问性能，接下来主要介绍在MySql数据库中索引类型，以及如何创建出更加合理且高效的索引技巧。注：这里主要针对的是InnoDB存储引擎的B+Tree索引数据结构2、索引的优点1、大大减轻了服务器需要扫描的数据量，从而提高了数据的检索速度2、帮助服务器避免排序和临时表3、可以将随机I/O变为顺序I/O3、索...
View ArticleClik here to view.
Clik here to view.
数据库压缩技术探索
作者：雷鹏，Terark核心技术发明人。曾就职奇虎360，负责搜索引擎核心研发；曾就职Yahoo！北研所负责搜索广告、广告交易（AdExchange）等项目。在数据库、高性能计算、分布式、系统架构上都深有造诣。...
View ArticleClik here to view.
详解 equals() 方法和 hashCode() 方法
前言Java的基类Object提供了一些方法，其中equals()方法用于判断两个对象是否相等，hashCode()方法用于计算对象的哈希码。equals()和hashCode()都不是final方法，都可以被重写(overwrite)。本文介绍了2种方法在使用和重写时，一些需要注意的问题。一、equal()方法Object类中equals()方法实现如下：public boolean...
View ArticleClik here to view.
用神经网络训练一个文本分类器
理解聊天机器人的工作原理是非常重要的。聊天机器人内部一个非常重要的组件就是文本分类器。我们看一下文本分类器的神经网络（ANN）的内部工作原理。多层神经网络我们将会使用2层网络（1个隐层）和一个“词包”的方法来组织我们的训练数据。文本分类有3个特点：模式匹配、算法、神经网络。虽然使用多项朴素贝叶斯算法的方法非常有效，但是它有3个致命的缺陷：这个算法输出一个分数而不是一个概率。我们可以使用概率来忽略特定...
View ArticleClik here to view.
Clik here to view.
基于 Redis 实现分布式应用限流
限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务。前几天在DD的公众号，看了一篇关于使用 瓜娃 实现单应用限流的方案，参考《redis in action》 实现了一个jedis版本的，都属于业务层次限制。 实际场景中常用的限流策略：Nginx接入层限流...
View ArticleClik here to view.
手把手教你 Spark 性能调优
0、背景上周四接到反馈，集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。看了下任务的历史运行情况，平均时间 3h 左右，而且极其不稳定，偶尔还会报错：...
View ArticleClik here to view.
如何正确实现 Java 中的 HashCode
相等 和 Hash Code从一般角度来看，Equality 是不错的，但是 hash code 更则具技巧性。如果我们在 hash code上多下点功夫，我们就能了解到 hash code 就是用在细微处去提升性能的。大部分的数据结构使用equals去检查是否他们包含一个元素。例如：List<String> list = Arrays.asList("a", "b", "c");...
View ArticleClik here to view.
区块链原理最清晰最直观的解释
（A minimal blockchain command-line interface.）维基百科上对区块链的描述：维护不断增长的记录（称作区块）的分布式数据库。听上去很简单，但到底是怎么回事呢？我们用一款开源命令行界面 Blockchain CLI来详细说明区块链。我也做了一个 浏览器可以访问的在线版。安装命令行界面首先请确保安装 Node.js然后在终端里运行下面命令：npm install...
View ArticleClik here to view.
Web GIS 离线解决方案
1、背景在离线环境下（局域网中）的GIS系统中如何使用地图？这里的地图主要指的是地图底图，有了底图切片数据，我们就可以看到地图，在上面加上自己的业务数据图层，进行相关操作。要在离线环境下看到GIS地图，就要有底图切片数据，地图的底图切片数据在一定时间内是不会变化的，可以使用一些地图下载器下载地图切片，如这个 地图下载器。在CS系统中可以基于GMap.Net来做，参考《...
View ArticleClik here to view.
RESTful API 设计最佳实践
项目资源的URL应该如何设计？用名词复数还是用名词单数？一个资源需要多少个URL？用哪种HTTP方法来创建一个新的资源？可选参数应该放在哪里？那些不涉及资源操作的URL呢？实现分页和版本控制的最好方法是什么？因为有太多的疑问，设计RESTful API变得很棘手。在这篇文章中，我们来看一下RESTful...
View Article