ITeye博客

城的灯

城的灯 · 共 48 篇文章

[置顶] GC开销的降低--netty4在Twitter的使用

netty的founder Trustin Lee 发布在Twitter上的一篇博客,非常好,直接转。 The following text from Twitter At Twitter, Netty ( @netty_project ) is used in core places requiring networking functionality. For example: Finagle is our protocol agnostic RPC system whose transport layer is built on top of Netty, and it is used…

2013-12-04 22:27 · 2013 · 评论(0)

[置顶] Linux服务器kernel tcp调优

原文地址:http://www.yangguo.info/2013/10/30/10.html 转载请注明出处! 最近一直在进行手机推送服务器的研发,代码采用Java实现。netty作为一个优秀基于NIO的客户、服务器端编程框架,当然是必选的。server的研发必然是充满血与泪的,除了要熟悉Java的NIO,还得对tcp的封包、拆包,协议的设计、对象的序列化;压缩方式的选择等等之外,对Linux内核的调优是一件绝对比前面任何一个都要复杂。由于采用Java开发,由于Java的内存墙等诸多因素的影响,服务器支持的长连接我规划在一个server大概50W左右。可能对于一些C、C++服务器编程的码农…

2013-10-30 22:59 · 2013 · 评论(0)

外部HTTP服务访问慢的Case

原文发布在:www.yangguo.info 问题现象 最近由于业务需求,重写了一套访问中航信IBE+的代理层。由于机票业务分为国内和国际两部分,这两部分都需要访问IBE+,之前是各自为战,各自都有一套访问逻辑。这样做的后果就是在流控( IBE+对QPS有一定的限制 )和接口管理方面得不到很好的控制,因此才写了这样的一个代理层。这样的设计其实没有任何问题,在微服务和SOA大行其道的今天这都是主流设计思路。该系统很快便上线了,但是很快我就发现IBE+的服务访问都非常慢,因为之前我没有涉及到这块,我就问了下之前负责这块的同事,他们说的确比较慢,我也就没有太上心。突然有天我打开生产环境的监控,我便…

2015-07-22 21:59 · 2015 · 评论(0)

关于JavaAgent的一点思路

原文我发布在:www.yangguo.info 最近对Java的 Profiling 和 Debugging 非常感兴趣,特别是对线上问题的定位方案进行了较深的调研和分析。因为在 SOA 架构体系中线上问题经常在测试环境不能复现,所以问题的定位具有非常大的挑战。我将业界定位问题的工具和方案都大概的研究了一遍,不论是 JProfiler 、 YourKit 、 BTrace ,还是更底层的 Serviceability技术 ......都广泛用到了 Agent 技术。 在开始之前有必要将HotSpot JVM的 Serviceability 做个简单的说明。 Serviceability 可以…

2015-07-22 21:48 · 2015 · 评论(0)

WebSocket负载均衡方案

原文地址:http://www.yangguo.info/2014/6/25/10.html 目标 根据指定的key对websocket连接进行负载均衡,达到一致性哈希的效果。 调度模式 Haproxy ,负载均衡调度模式有如下几种: roundrobin,表示简单的轮询,这个不多说,这个是负载均衡基本都具备的; static-rr,表示根据权重; leastconn,表示最少连接者先处理; source,表示根据请求源IP; uri,表示根据请求的URI; url_param,表示根据请求的URl参数'balance url_param' requires an URL parameter…

2014-06-19 21:16 · 2014 · 评论(0)

Java happen before(JSR133)

相信对Java并发编程有所了解的人一定知道JMM,Java内存模型主要就是用来控制线程之间通信的,JMM决定了一个线程对共享变量的修改何时对别的线程可见。JMM定义了线程和主内存之间的抽象关系:线程之间的共享变量存储在主内存(main memory)中,每个线程都有一个私有的本地内存(local memory),本地内存中存储了该线程以读/写共享变量的副本。本地内存是JMM的一个抽象概念,并不真实存在。 从jdk5开始JSR133提出了新的内存模式即happen before的概念,通过找个概念阐述了多个操作的可见性。此处所说的是多个操作,而非多个线程,因为编译器重排序规则和处理器重排序,并…

2013-09-22 22:44 · 2013 · 评论(1)

Rebar:Erlang构建工具

这篇文章转载至量子恒道官方博客,链接如下:http://blog.linezing.com/2011/04/rebar%EF%BC%9Aerlang%E6%9E%84%E5%BB%BA%E5%B7%A5%E5%85%B7 Rebar是一款Erlang的构建工具,使用它可以方便的编译、测试erlang程序、内联驱动和打包Erlang发行版本。 Rebar是一个独立的erlang脚本,所以使用Rebar发布程序非常简单,甚至可以直接集成在项目文件夹中。默认的情况下,Rebar会按照Erlang/OTP来组织项目的结构,这样一来,构建时的配置工作量就会大大减少。Rebar同时提供了依赖库(包)管理…

2013-08-24 20:09 · 2013 · 评论(0)

JVM最大Thread数量

原文地址:http://www.yangguo.info/2013/6/17/22.html 最近研发推送方案,需要大量线程来模拟手机客户端。在模拟手机客户端的时候,单个JVM线程数量始终卡在一万多一点,然后就报如下的错误:”java.lang.OutOfMemoryError: unable to create new native thread“。我在网上找了很多资料,都是分析32位的,都是准备模拟几千个或者几万个水平。因为我是使用64位的linux,并且要模拟50万,发现很多都不是很详细。对于这个OOM,根本无需多言,网上一堆关于JVM线程数的计算公式,此处我不妨再次引用一次: (Ma…

2013-06-17 16:39 · 2013 · 评论(0)

rabbitmq使用经验

消息队列在互联网公司肯定是必不可少的基础服务之一,最近我对各种消息队列进行了一番调研。我首先选择了在业界非常有名的rabbitmq进行尝试,rabbitmq的介绍我就不用再在此处费笔墨了。选择它主要是看重它出众的出队入队性能和稳定性,当然消息队列的高可用和消息的安全rabbitmq也做的相当好。 下面就是我在尝试配置集群环境时的一些步骤和想法: 1.安装erlang,很简单 #wget http://www.erlang.org/download/otp_src_R15B01.tar.gz #tar zxvf otp_src_R15B01.tar.gz && cd otp_src_R15B0…

2013-01-08 00:22 · 2013 · 评论(0)

hadoop动态添加datanode和tasktracker

hadoop在线运行已经很长一段时间了,下面就是我在上下线datanode和tasktracker步骤。因为datanode节点不一定是tasktracker,即使datanode和tasktracker在同一节点,你也可能只上下线其中一个,所以我在配置dfs和mr的include和exclude的时候,分开配置。 namenode中hdfs-site.xml配置如下: <property> <name>dfs.hosts</name> <value>/ddmap/hadoop-1.0.4/conf/hdfs_include</value> </property> <property> <n…

2012-11-30 14:27 · 2012 · 评论(1)

使用 screen 管理你的远程会话

你是不是经常需要 SSH 或者 telent 远程登录到 Linux 服务器?你是不是经常为一些长时间运行的任务而头疼,比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口,因为他们执行的时间太长了。必须等待它执行完毕,在此期间可不能关掉窗口或者断开连接,否则这个任务就会被杀掉,一切半途而废了。 元凶:SIGHUP 信号 让我们来看看为什么关掉窗口/断开连接会使得正在运行的程序死掉。 在Linux/Unix中,有这样几个概念: 进程组(process group):一个或多个进程的集合,每一个进程组有唯一一个进程组ID,即进程组长进程的ID。 会话期(ses…

2012-11-25 17:28 · 2012 · 评论(0)

JVM GC-----1

java经过这么多年的发展,已经成为相当成熟的技术,特别是在内存的动态分配与内存回收技术已经相当成熟,一切看起来都是如此的美妙和谐。那我们为什么还要了解GC和内存分配呢?这个我想不用多说大家都应该明白,正是java的这种自动化,这个对大多数程序员的黑盒,导致排查各种内存溢出和内存泄露问题,甚至成为系统达到高并发的瓶颈。 当我们的程序在运行的过程中,程序计数器、虚拟机栈、本地方法栈都随线程而生,随线程而死;栈中的栈帧随着方法的进入退出有条不紊的进栈出栈,每一帧的内存大小基本在类结构确定下来就已知了,虽然栈帧分配多少内存会被JIT编译器进行一些优化,但是大体我们可以认为是编译器可知的。因此这些区…

2012-08-26 21:10 · 2012 · 评论(0)

nosql数据库(MongoDB)并发控制

MongoDB在我们的生产环境中已经大规模的使用,它的性能与稳定已经得到的充分的验证,稳定在线的时间已经有一年多了。在这个过程中的确给我们带来了很多性能上的优势,虽然它不像关系型数据那样有方便的join查询,但就目前我们的应用场景这些缺点(暂且把它当做缺点吧)都是可以接受的。最近在思考了下nosql数据库并发控制方面的问题,在此记录一下。 数据库的并发控制机制不外乎就两种情况: 1. 悲观锁 :假定会发生并发冲突,屏蔽一切可能违反数据完整性的操作。 2. 乐观锁 :假设不会发生并发冲突,只在提交操作时检查是否违反数据完整性,乐观锁不能解决脏读和多读的问题。 悲观锁假定其他用户企图访问或者改变…

2012-05-19 23:03 · 2012 · 评论(0)

How to build jzmq in Mac OS X Lion

作为一名在mac os平台上搞开发的java程序员来说,环境的配置有时候真的让人头大,虽然mac os平台跟linux有相似之处,但是毕竟不是linux。下面我主要是记录我在配置storm时遇见的一些问题,如果你在玩storm或者使用zeromq并且需要在mac os上安装jzmq的本地库,我想这篇文章对你是有一定用处的。 关于jzmq的安装网上文章很多了,我先不管别人是碰见神马问题,反正我在使用./configure的时候遇见如下的错误: checking how to hardcode library paths into programs... immediate ./configur…

2012-04-27 00:16 · 2012 · 评论(0)

job jars fail on OS X due to case-insensitive name conflict on 'license'

本文解决的问题首先适用于如下人群:在mac上开发hadoop程序,并且适用maven来管理项目的广大程序猿们,如果你问题不适合该环境,可以绕道而行,当然如果你有兴趣阅读本文,欢迎。 我想在mac上玩hadoop或者研究开发hadoop的果粉来说,碰见这个问题,一定让你很头大。用maven打的可执行jar包,在linux上运行的好好的,但是在mac上就是不行,并且报的错误如下: Exception in thread "main" java.io.IOException: Mkdirs failed to create /Users/chengdedeng/work/hadoop-0.21.0…

2012-03-23 00:20 · 2012 · 评论(0)