风语者
youxinrencwx · 共 131 篇文章
Storm 常见使用模式-场景
转: http://www.youxinrencwx.com/myblog/blog/java/framework/storm/storm-common-usage-pattern-scene/ Strom常见使用模式如下: 流聚合(stream join) 批处理(Batching) BasicBolt 内存内缓存 + fields grouping 组合 计算top N 分布式RPC: CoordinatedBolt和KeyedFairBolt 用TimeCacheMap来高效地保存一个最近被更新的对象的缓存(目前已被申明为Deprecated,其实guava工具包也提供了类似功能 ) …
淘宝开放平台技术历程
淘宝开放平台技术历程 Author:放翁 Date:2012/10/13 注:文中所有的技术点都可以在 http://blog.csdn.net/cenwenchu79 找到详细的文章,同时本文主要介绍开放平台技术发展历程,产品和业务内容不涵盖在此,因此受众群体主要是技术人员。 2006年底,阿里巴巴提出了workat alibaba的战略,20来号人就被拉到湖畔花园马云的公寓里面开始一个叫阿里软件的公司创业。当时对于Work at alibaba有个朦朦胧胧的感觉,就是要为中小企业提供一个工作平台,但是工作平台又需要是一个开放的平台,因为卖家的需求是长尾的,当时火热的salesforce给…
压力测试和系统优化tips
昨天有个朋友问题对mina是否有什么优化的资料,他这边一个系统压到500并发就上不去了,开始在看中国好声音,也没多想,直接说我这边没有。后来中间休息的时候,发现回答的有点问题,心里觉得其实应该告诉他压测的tips,找到瓶颈才能知道问题所在,昨晚初略的说了一下,今天把以前的一些经历回忆一下,贴出来,多少对一些新人有帮助。 这里主要还是说一下经验,具体的工具不太多的说了,以前写的一些blog多少有提到。首先判断压测需要开始查问题的情况是加并发用户,TPS不增长了,甚至开始下跌了,RT不动了,甚至开始上涨了。(这两者有时候是有关联变化的,有时候是没有关联的变化的) 然后开始分析问题,第一件要做的事…
Beatles小记(三)-分布式数据流分析中Master的横向扩展
Author:放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng Blog: http://blog.csdn.net/cenwenchu79/ Beatles: https://github.com/cenwenchu/beatles 读前先看: 这篇文章主要讲述的是beatles流式数据分析框架中对于master的横向扩展真实的设计演进,是beatles框架介绍的第三篇,看第三部分的时候如果看过前两篇文章,这篇文章的递进应该比较容易理解(如果看过前面的代码,那么会更深入的理解其中的细节,文字图片描述一分钟,代码写写1个周)…
2012-01-17 13:07 · 评论(0)
Beatles小记(三)-分布式数据流分析中Master的横向扩展
Author:放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng Blog: http://blog.csdn.net/cenwenchu79/ Beatles: https://github.com/cenwenchu/beatles 读前先看: 这篇文章主要讲述的是beatles流式数据分析框架中对于master的横向扩展真实的设计演进,是beatles框架介绍的第三篇,看第三部分的时候如果看过前两篇文章,这篇文章的递进应该比较容易理解(如果看过前面的代码,那么会更深入的理解其中的细节,文字图片描述一分钟,代码写写1个周)…
2012-01-17 13:07 · 评论(0)
Beatles小记-分布式数据流分析框架(二)
Author:放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng Blog: http://blog.csdn.net/cenwenchu79/ 局部设计 首先要说明的是,这部分内容和第一篇不同,必须对照代码看才会理解其中的含义,光看设计实现会比较难懂其中所说的细节点。代码: https://github.com/cenwenchu/beatles IComponent: 做系统就像搭积木一样,这些组件最后都会拼装起来,而积木往往由于内部机制可定制化需要config,同时组合在一起的积木往往会有一个传递的Config(可以认为…
2011-12-09 16:32 · 评论(0)
Beatles小记-分布式数据流分析框架(一)
Author:放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng Blog: http://blog.csdn.net/cenwenchu79/ 概述 重要:全文内容都是参照这个源码地址内容所写,因此两边对着看会更清晰明了: https://github.com/cenwenchu/beatles 这篇小记主要处于两方面考虑:首先,希望打破一提到海量数据分析,就只有hadoop基础上的一系列工具,更多的时候很多企业需要的是更轻量的设计(办喜酒杀猪杀鸡未必都要用一把刀),因此将开放平台基础分析组件重构版本beatles的设计写出…
2011-12-07 16:30 · 评论(0)
细节优化提升资源利用率
细节优化提升资源利用率 Author: 放翁(文初) Email: fangweng@taobao.com Mblog:weibo.com/fangweng 这里通过介绍对于淘宝开放平台基础设置之一的TOPAnalyzer的代码优化,来谈一下对于海量数据处理的Java应用可以共享的一些细节设计(一个系统能够承受的处理量级别往往取决于细节,一个系统能够支持的业务形态往往取决于设计目标)。 先介绍一下整个TOPAnalyzer的背景,目标和初始设计,为后面的演变做一点铺垫。 开放平台从内部开放到正式对外开放,逐步从每天几千万的服务调用量发展到了上亿到现在的15亿,开放的服务也从几十个到了几百个,…
2011-09-23 13:54 · 评论(0)
两个开放平台内部组件开放
周末分享中两个项目内容已经发布到了淘蝌蚪: http://t.cn/a0mcep 和 http://t.cn/a0mceC 里面代码,demo和文档都放在了svn里面,直接下载下来看即可,晚些时间我在确认本地编译是否可以,以为现在都是淘宝环境里面,我稍后找一台干净的外部机器拉下来看看。
2011-07-12 11:52 · 评论(0)
CometPipe数据发送一点改动
CometPipe数据发送一点改动 Author:放翁(文初) 场景: 前提:长连接推送 (每个请求会话时间保持较久)**。**在事件驱动模式下,多线程可能同时完成任务并通过Http长连接下发数据,对于Response需要有一定的并发保护。 第一版 增加一个lock,获得以后才可以使用Response。 每个线程的处理流程:get lock à use response àrelease lock。 在同一个通道的事件大量并发产生的时候,由于use response比较“重”,使得大量线程生命周期加大(顺序的获取锁),上下文切换频繁,系统load较高。 第二版(现在的版本) 去掉lock,为…
2011-06-23 12:18 · 评论(0)
慢连接&LazyParser
慢连接&LazyParser Author:放翁(文初) Mail:fangweng@taobao.com Tblog:weibo.com/fangweng 这里要从实际的测试中给Web应用开发者一个比较直观的关于慢连接优化的建议。 测试目标: 1. 证明慢连接对于Java的应用容器的影响。 2. 不同前端反向代理服务器对于慢连接的处理差异。 3. 如何利用LazyParser的方式来优化慢连接请求(特别是大数据量的一些异常请求的处理) 测试部署环境描述: Apache服务器(2.2.19版本)配置基本没变,增加了http proxy模块作为反向代理。 Nginx服务器(1.0.4版本)配置…
2011-06-20 23:44 · 评论(0)
慢连接&LazyParser
慢连接&LazyParser Author:放翁(文初) Mail:fangweng@taobao.com Tblog:weibo.com/fangweng 这里要从实际的测试中给Web应用开发者一个比较直观的关于慢连接优化的建议。 测试目标: 1. 证明慢连接对于Java的应用容器的影响。 2. 不同前端反向代理服务器对于慢连接的处理差异。 3. 如何利用LazyParser的方式来优化慢连接请求(特别是大数据量的一些异常请求的处理) 测试部署环境描述: Apache服务器(2.2.19版本)配置基本没变,增加了http proxy模块作为反向代理。 Nginx服务器(1.0.4版本)配置…
2011-06-20 23:44 · 评论(0)
PipeComet测试
看这篇小分享前请务必先看看这个: http://blog.csdn.net/cenwenchu79/archive/2011/05/27/6450427.aspx PipeComet这个支持长连接,异步请求事件处理框架做了测试也快有5天了,这里做一个简单的总结,但这个文档中的数字不能作为最终容量的定论,后续还会在优化后有进一步的测试。同时这个文档更倾向于分享过程中的遇到的一些问题,可以避免走一样的弯路。 测试环境: 1台部署了Jetty Web容器作为PipeComet服务端。 2台windows测试机部署了两个LoadRunner,作为压力测试客户端。(一个用于建立大量长连接,一个用于产生…
2011-06-09 00:03 · 评论(0)
PipeComet演示文档与demo下载
PipeComet演示文档与demo下载: http://ishare.iask.sina.com.cn/f/15717498.html?w =
2011-05-27 16:24 · 评论(0)
Pipe Comet
Author:fangweng (文初) Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79/ Mblog: http://weibo.com/fangweng 概述 PipeComet 是在解决开放平台一系列问题的过程中不断演化的基于Jetty Continuation(Servlet 3容器也适用)的代码框架。先看看下面一张图中四个场景的演变: 1. Servlet 3以前,一次http请求就由一个容器线程完成全部处理,容器线程的生命周期取决于整个业务处理的时间(如果后端有依赖系统,例如DB,集中式缓存,外部…
2011-05-27 16:20 · 评论(0)