Blogs

linux的io栈图

G+上看到有人画的一个图,非常不错

继续阅读

zz分布式文件系统FastDFS架构剖析

【本文系外部转贴,原文地址:http://www.programmer.com.cn/4380/】

FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。 它只 能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、 mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。

继续阅读

扩展sawzall代码实现自定义接口

使用sawzall开发mr程序虽然很快,不过也有不少限制,尤其对于新手来说,比如不能直接像c++一样调用线程的库,不过它提供了一种扩展开发的方式,我们可以自己修改sawzall代码实现新的功能接口,在下载平台的sawzall代码中,我们就扩展了一种聚合器,两个和我们web相关的功能接口:连接我们的domain service进行聚合域名的识别,根据url进行域名提取。这里以使用我们comm库中的url类进行域名提取为例来说明一下sawzall的功能函数扩展。

继续阅读

海量数据分析:Sawzall并行处理(中文版论文)

海量数据分析:Sawzall并行处理(中文版论文) Google的工程师为了方便内部人员使用MapReduce,研发了一种名为 Sawzall的DSL,同时Hadoop也推出了类似Sawzall的Pig语言,但在语法上面有一定的区别。今天就给大家贴一下Sawall的论文, 值得注意的是其第一作者是UNIX大师之一(Rob Pike)。原文地址,并在这里谢谢译者崮山路上走9遍。

继续阅读

使用gdb和ps定位程序cpu占用问题

先使用ps获取子进程cpu占用时间,可以看出那个线程cpu占用严重

继续阅读

Storm云计算学习摘录总结

本想自己也总结以下,看到这篇文章总结的太好了,直接转载了

原文:http://my.oschina.net/yilian/blog/175451

继续阅读

liunx系统分析图解

看完本文有收获?请分享给更多人 关注「黑光技术」,关注大数据+微服务

继续阅读

Sqlite使用笔记

在目前做的元数据节点中,为了保存一些节点的私有数据,选择了本地存储,在选择本地存储的选择上又选择了使用sqlite,sqlite对数据存储和数据解析在使用比较简单。而且编译入当前代码也是比较容易的。

继续阅读

☯道&禅

Tao… … 道生一,一生二,二生三,三生万物。。

一花一世界,一叶一菩提!

禅曰:依赖导致痛苦!

完美之道,不在无可增加,而在无可删减。

继续阅读

Helight.Xu's GNU/Linux

Zhwen Xu(Zhenwen Xu, 许振文 in Chinese), post-graduate student majored in the CS Department of Xi’an University of Post and Telecommunications. My majore is embedded system.

继续阅读