ITeye博客

ginge

ginge · 共 56 篇文章

Yahoo! 启动了世界上最大的Hadoop生产应用[译]

原文: http://developer.yahoo.net/blogs/hadoop/2008/02/yahoo-worlds-largest-production-hadoop.html 最近,Yahoo! 启动了目前世界上最大的 Apache Hadoo p生产应用。Yahoo! Search Webmap是Hadoop应用,运行在超过10000个Linux系统的集群里。Yahoo! 的网页搜索查询使用的数据正是由它生产的。 Webmap的构建从Yahoo! 对网页的爬行开始,之后产出包含一个所有已知网页和互联网站点的数据库,还生成一个关于所有页面和站点的海量数据组。这些数据再输送给位…

2009-02-15 02:47 · 综合 · 评论(1)

Lucene 2.4.0的性能

一直在使用Lucene,对它的性能也一直比较乐观,相信只要做适当的配置优化,性能总可以达到要求的。只是这两天连续在网上看到几个有影响力的人对它的印象不太好。 这是相关的链接: 亿级数据的高并发通用搜索引擎架构设计[原创] JavaEye3.0开发手记之三 - 狮身人面 心里咯噔的一下子虚了,感觉又给Lucene忽悠了。Lucene自称性能也不错的,而且用户群体多。也有好几个语言版本,基于它开发的工具也多。怎么也这么儿戏呀。这世界真的没有可以信任了,那么多的食品安全事件,就像House的主角说的“Everybody lies”。 但是我这个人也比较执着,不是自己看到的数据却也不会死心的,于是决…

2009-02-14 15:31 · Search Engine · 评论(1)

MySQL NDB 6.3.20集群安装 (测试部分)

测试 在SQL节点[192.168.99.88]上创建数据库且插入数据 mysql> create database world; Query OK, 1 row affected (0.09 sec) mysql> use world; Database changed mysql> CREATE TABLE `City` ( -> `ID` int(11) NOT NULL auto_increment, -> `Name` char(35) NOT NULL default '', -> `CountryCode` char(3) NOT NULL default '', -> `Di…

2009-01-23 14:11 · 数据库 · 评论(0)

MySQL NDB 6.3.20集群安装

引言: 本文会先对MySQL集群稍作一点介绍,然后会提供一个安装过程。 介绍: MySQL集群是一种在无共享架构系统里应用内存数据库集群的技术。这种无共享的架构可以使得系统使用非常便宜的并且是最小配置的硬件。 MySQL集群是一种分布式设计,目标是要达到没有任何单点故障点。因此,任何组成部分都应该拥有自己的内存和磁盘。任何共享存储方案如网络共享,网络文件系统和SAN设备是不推荐或不支持的。通过这种冗余设计,MySQL声称数据的可用度可以达到99。999%。 实际上,MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MySQL服务器集成。它包含一组计算机,每个都跑一个或者多个进程,…

2009-01-23 13:50 · 数据库 · 评论(0)

Oracle 快速上手

一,启动 1.#su - oracle 切换到oracle用户且切换到它的环境 2.$lsnrctl status 查看监听及数据库状态 3.$lsnrctl start 启动监听 4.$sqlplus / as sysdba 以DBA身份进入sqlplus 5.SQL>startup 启动db 二,停止 1.#su - oracle 切换到oracle用户且切换到它的环境 2.$lsnrctl stop 停止监听 3.$sqlplus / as sysdba 以DBA身份进入sqlplus 4.SQL>SHUTDOWN IMMEDIATE 关闭db 其中startup和shutdowm还有…

2009-01-22 11:12 · 数据库 · 评论(0)

基于Cookie单点登录策略的缺陷和相对理想的设计

缺陷 1)客户端不得不启用Cookie Servlet规范规定一个用户只有一个Session,要求Web容器用一个唯一的键值来对该Session作对应,然而HTTP 请求却是没有状态的。客户端如何保持这个键值呢,一种方法是用Cookie来保存,要是Cookie在客户端被Disabled了,那就只能URL重写 2)必须得解决Cookie跨域的问题 这就要求各个服务器统一域名方式 3)必须在客户端或者在某个DNS服务器上配置域名映射 直接用IP访问是不行的,要是在客户端配置域名映射那将会非常麻烦 4)要是不用SSL传输等来加强安全,用户名和密码等存在Cookie中的信息将有可能给截取 相对理想的…

2009-01-08 00:08 · 综合 · 评论(0)

从实例看JNDI设计

介绍 JNDI(Java Naming and Directory Interface的缩写),Java的命名和目录服务的接口。使用Java编写的应用程序得以利用其提供的命名和目录功能。JNDI被设计为独立于任意的目录服务的实现,因此各种的目录服务都可以以统一的方式访问。 JNDI的架构包括API和服务提供接口(SPI)。Java应用使用JNDI API来访问各种命名和目录服务。SPI使得各种命名和目录都可以无缝的接入进来。 例子 这里提供了一个基于RMI注册服务的例子。我们先执行com.candyshop. JndiRMIRegistry创建一个注册点,然后执行com.candyshop.…

2009-01-07 09:36 · 综合 · 评论(0)

从一个日志脚本看Bash Shell语法

脚本的作用 这个脚本的作用就是从一个文件里读取一个需要管理的所有log文件,并且读入一个数组。然后判断是否存在,如果不存在则忽略。如果存在将判断大小是否超过设定大小,如果超过则备份。 脚本内容 #!/bin/bash ##author:ginge echo "logfiles to manage:" logfiles=${1-./logfiles} size=${2-100} index=0; #read the log file into the array while read logfiles[$index] do echo "$index: ${logfiles[${index}]}…

2009-01-06 15:32 · 评论(1)

JGroup配置笔记

JGroup TCP比较关键的配置参数 TCP TCP(bind_addr=192.168.30.66;start_port=7800;end_port=7081) start_port="7800" 本节点监听的端口,默认为7800,如设置为0,将会随机选定一个端口绑定 end_port 尝试监听的最大端口,如果在start_port和end_port指定的范围内都找不到一个可用端口,则抛出一个BindException。如果不指定end_port,或者end_port<start_port,end_port将没有上限,如果start_port=end_port,JGroup将会只用该端口…

2009-01-06 13:51 · 综合 · 评论(1)

Oracle试用版不可商用

元旦过后,整个人都还没有调整过来,就已经被PS Team要求帮忙过去客户那边解决问题了。我不太愿意过去,心想“PS Team不能要我帮忙就过去吧”,于是向头报告了这个事情。头也认为不必过去。可是对方说“今天客户那边副市长视察,系统跑不了了!市长看不了效果,影响很严重!” 走完流程,请示完领导,结果还是要过去。郁闷的是,过去搞了半天才发现是Oracle出了问题。放在客户那边的系统本来只是Demo给对方少数人员看的,后来不知道怎么的搞成了一个试用系统,弄了一部分用户! 客户那边的Oracle是免费版本,跑了一段时间后肯定会出现内存泄露。如果升级到正版打完Patch后就不会有问题了。看来Oracl…

2009-01-06 12:14 · 综合 · 评论(0)

不是很难,却是比较抓狂

几易其稿,终于在凌晨的时候画出了一个让自己比较满意的部署图了。画图这个事情不是很难,但是现在比较让我抓狂。现在让我回忆一下这几天画图的经过吧。 这两周我们又要为产品在系统架构方面画Architecture Diagram了。当然,Team里面每个人要为自己负责的产品画图。画图之前当然是有参照的,之前已经有Marketing和前任AR的人用PPT画了一些了,画得五颜六色的,在我眼中很好看。但是我们几个在小组讨论后决定用Visio画,但是图中的元素大部分还是从PPT中借鉴过来。这样至少风格不会有太大的出入。 说实话,我个人之前没有 画图的经验,就像我之前没有写FS的经验一样。对我来说,写几百行代…

2008-12-14 01:19 · 综合 · 评论(0)

XML/Web Service整理

XSLT: http://www.ibm.com/developerworks/cn/edu/x-dw-x-introxslt.html XPATH http://www.ibm.com/developerworks/cn/views/xml/tutorials.jsp?cv_doc_id=85118 http://www.w3schools.com/Xpath/xpath_syntax.asp http://xml.apache.org/xalan-j/ http://www.w3.org/TR/xpath-functions http://www.w3schools.com/Xpath/…

2008-12-08 19:33 · 评论(0)

RMI Tips

I’ve come across a lot of business logics in my company that take advantage of the RMI remoting technology. It’s said that the performance of RMI is not only poor, but also is too heavy. However some serious articles and benchmark tests argue that it’s not bad. And I also did some simple performanc…

2008-09-23 22:25 · 综合 · 评论(1)

Casual Test on Remoting Protocols

I’ve designed two scenarios to investigate three remoting protocols that said to have good performance, XML protocols are excluded. XML protocols are born to be slower than the native RMI and some light weight http based protocols like HttpInvoker and Hessian, etc. It seems HttpInvoker has a bit pe…

2008-09-12 22:30 · 综合 · 评论(0)

Life in Shell

awk '/HAPPINESS/ {print}' TOMORROW TOMMOROW ...| sed 's/SORROW/SMILES/g' We're pursuing happiness all our lives, along with which are sobs and weebs. Let's replace them with smiles and live a happy life .

2008-09-09 23:05 · 综合 · 评论(0)