Redis 的 KEYS 命令引起 RDS 数据库雪崩,宕机 2 次,造成几百万损失
最近的互联网线上事故发生比较频繁, 9月19日网上爆料出顺丰近期发生了一起线上删库事件,在这里就不介绍了。在这里讲述一下最近发生在我公司的事故,以及如何避免,并且如何处理优化。 该宕机的直接原因是使用 Redis 的 keys *...
View ArticleRedis基础、高级特性与性能调优
本文将从Redis的基本特性入手,通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍。之后概览Redis提供的高级能力,并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。...
View Article使用Thread Pool不当引发的死锁
简介多线程锁定同一资源会造成死锁线程池中的任务使用当前线程池也可能出现死锁RxJava 或 Reactor 等现代流行库也可能出现死锁死锁是两个或多个线程互相等待对方所拥有的资源的情形。举个例子,线程 A 等待 lock1,lock1 当前由线程 B 锁住,然而线程 B 也在等待由线程 A 锁住的 lock2。最坏情况下,应用程序将无限期冻结。让我给你看个具体例子。假设这里有个...
View ArticleAI产品再出发:给产品和CEO们的建议!
基于用户画像的商品和服务能够提升平台服务体验并促进服务的个性化、精准化实现,本篇文章为大家详细地讲解了如何运用AI技术构建用户画像。在帮独角兽企业做产品咨询顾问工作的过程中,多有CEO说:“诗路我要买数据,哪里有卖数据的,我想用我2千万用户的手机号去碰撞数据”。我常问您要用手机号碰撞数据,碰撞出来的用户偏好还是第三方的,也不是您平台的用户行为,更不能在你的场景业务形成交易落地。然后CEO们会追问诗路...
View Article微软变了!招程序员的流程完全改了
【伯乐在线导读】:在微软新 CEO 萨蒂亚·纳德拉的领导下,微软试图改革公司文化,让整个公司朝着同一个方向发展。为此,微软在 2016 年开始研究「替代面试框架(Alternative Interview...
View Article用户端智能的应用实践
去年团队在用户端上进行了一些简单的智能应用探索实践,这里记录梳理下。现在很多“智能”,是普通推荐算法借深度学习的风包装的,核心也就是决策树/随机森林/SVM这些90年代已经提出的算法,我们这里的实践也是这样。在用户端上,智能应用最广泛的目前两个点:个性化和多媒体识别,我们主要实践是在个性化上,从原来所有用户都用同一套或几套规则,换成根据推荐算法给每个用户制定符合他个性化特征的不同规则。实际上简单的个...
View Article十大常用软件架构模式简介
大型的企业级系统是如何设计的呢?想必大家都曾经有过这样的疑惑。大型软件开发前,我们必须选择一种合适的架构,它既要提供我们想要的功能,质量也要过关。因此,在应用不同的架构之前,我们有必要熟悉一下这些架构。什么是架构模式?根据维基百科,针对软件架构中给定上下文的常见问题,架构模式是一种通用的、可复用的解决方案。它与软件设计模式相似,但范围更广。在这篇文章中,我将简要地说明一下10种常用的架构模式,以及它...
View Article四大模块,带你了解阿里大数据产品技术架构
本文笔者将从数据采集层、数据计算层、数据服务层、数据应用层四大层次来带大家了解阿里大数据的产品技术架构。2014年,马云提出:“人类正从IT时代走向DT时代”。如果说在IT时代是以自我控制、自我管理为主,那么到了DT (Data...
View ArticleHTTPS劫持研究
这篇文章描述了我们对哈萨克斯坦政府实施的电信级HTTPS劫持的分析。哈萨克斯坦政府最近开始使用一个假的根证书颁发机构,对包括Facebook,Twitter和Google等网站在内的HTTPS连接进行中间人(MitM)攻击,在此文中,我们给出了还在进行中的研究的初步结果,以及哈萨克劫持系统中新的技术细节。情况提要...
View ArticleHTTP的前世今生
HTTP (Hypertext transfer protocol) 翻译成中文是超文本传输协议,是互联网上重要的一个协议,由欧洲核子研究委员会CERN的英国工程师 Tim Berners-Lee v发明的,同时,他也是WWW的发明人,最初的主要是用于传递通过HTML封装过的数据。在1991年发布了HTTP...
View Article实时计算框架 Flink 在教育行业的应用实践
如今,越来越多的业务场景要求 OLTP 系统能及时得到业务数据计算、分析后的结果,这就需要实时的流式计算如 Flink 等来保障。例如,在 TB 级别数据量的数据库中,通过 SQL 语句或相关 API 直接对原始数据进行大规模关联、聚合操作,是无法做到在极短的时间内通过接口反馈到前端进行展示的。若想实现大规模数据的...
View Article乐心医疗的 Kubernetes 云平台建设实践
Kubernetes 自 2014 年被 Google 开源以来,很快便成为了容器编排领域的标准。因其支持自动化部署、大规模可伸缩和容器化管理等天然优势,已经被广泛接纳。但由于 Kubernetes 本身的复杂性,也让很多企业的 Kubernetes 探索之路充满挑战。 从最初的自建 Kubernetes 到后来迁移至 UK8S 平台,整个过程遇到了哪些问题并如何解决的呢?本文将带来乐心医疗在...
View Article浅谈Forrester零信任架构评估的7个技术维度
零信任是由Forrester Research的分析师John Kindervag在2009开发,并在2010年正式提出的。在过去的10年间,随着云计算、移动互联等技术发展以及全球范围内部威胁的不断涌现,零信任越来越为产业界所接受。Google从2011年开始探索和实践零信任,并在2014年发表了BeyondCorp系列研究论文,成为零信任大规模实施的典范。...
View Article风险控制:信用评分卡模型
什么是信用评分卡模型?评分卡模型又叫做信用评分卡模型,最早由美国信用评分巨头FICO公司于20世纪60年代推出,在信用风险评估以及金融风险控制领域中广泛使用。银行利用评分卡模型对客户的信用历史数据的多个特征进行打分,得到不同等级的信用评分,从而判断客户的优质程度,据此决定是否准予授信以及授信的额度和利率。相较资深从业人员依靠自身的经验设置的专家规则,评分卡模型的使用具有很明显的优点:判断快速:系统只...
View ArticleOptuna自动调参使用指南
在日常工作中用到的比较多的还是树回归模型,由于LightGBM不需要的类别数据进行预处理所以用得特别多,中间涉及到超参数优化时通常使用随机参数优化方法。在...
View ArticleVue 3 组件开发:搭建基于SpreadJS的表格编辑系统(环境搭建)
Vue是一套用于构建用户界面的渐进式框架,与其它大型 JS 框架不同,Vue 被设计为可以自底向上逐层应用,更易上手,还便于与第三方库或既有项目整合,因此,Vue完全能够为复杂的单页应用提供驱动。2020年09月18日,Vue.js 3.0 正式发布,作者尤雨溪将其描述为:更快、更小、更易于维护。Vue 3都加入了哪些新功能?本次发布, Vue框架本身迎来了多项更新,如Vue 此前的反应系统是使用...
View Article知名网站热门排序算法分析
很多内容网站都会根据用户的交互信息等对内容进行排序。这里整理了一些比较知名的内容网站的排序规则,每个网站都有不同,在此过程中,我们不仅仅要了解其排序规则(公式),更多的期望了解公式背后的逻辑。Hacker NewsHacker News是一家关于计算机黑客和创业公司的社会化新闻网站,由 Paul Graham 的创业孵化器 Y Combinator 创建。与其它社会化新闻网站不同的是 Hacker...
View Article抖音推荐机制与算法的研究
最近公司的部分运营工作涉及到的抖音短视频的宣传。为了达到更好的效果,于是对抖音的推荐机制进行了简单的整理和研究。通过数据的分析,我们发现在传播效果方面,抖音>小红书>微信朋友圈>新浪微博。究其原因是内容分发的逻辑存在非常大的差异。微信朋友圈、新浪微博:订阅模式,用户仅能看到好友或关注者的信息抖音、小红书:非订阅模式,用户可以看到个除关注用户以外的其他内容微信虽然可以通过转发传播,但...
View Article