thd52java的博客
thd52java · 共 36 篇文章
[置顶] Mahout 系列之----距离度量
x = ( x 1,..., x**n ) 和 y = ( y 1,..., y**n ) 之间的距离为 (1)欧氏距离 EuclideanDistanceMeasure (2)曼哈顿距离 ManhattanDistanceMeasure (3)马氏距离MahalanobisDistanceMeasure 马氏距离 是由印度统计学家马哈拉诺比斯提出的,表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似 度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的 (scale-invariant),即…
2013-11-09 14:43 · MAHOUT · 评论(0)
[置顶] Mahout 系列之----共轭梯度
无预处理共轭梯度 要求解线性方程组 ,稳定双共轭梯度法从初始解 开始按以下步骤迭代: 任意选择向量 使得 ,例如, 对 若 足够精确则退出 预处理共轭梯度 预处理通常被用来加速迭代方法的收敛。要使用预处理子 来求解线性方程组 ,预处理稳定双共轭梯度法从初始解 开始按以下步骤迭代: 任意选择向量 使得 ,例如, 对 若 足够精确则退出 这个形式等价于将无预处理的稳定双共轭梯度法应用于显式预处理后的方程组 , 其中 , , 。换句话说,左预处理和右预处理都可以通过这个形式实施。 Mahout 分布式共轭梯度实现: package org.apache.mahout.math.solver; im…
2013-11-09 12:11 · 机器学习 · 评论(0)
[置顶] hadoop 学习要点
一、HDFS (一)HDFS 概念 (二)HDFS命令行接口 (三)Java 接口 (四)文件读取和文件写入,一致性 (五)集群数据的均衡 (六)存档 (七)NameNode 单点故障问题 (八)大量小文件处理策略 (九)数据备份和恢复 (十)数据安全 (十一)负载均衡和垃圾回收 (十二)安装新节点 (十三)卸载节点 (十四)HDFS优化 (十五)HDFS格式化过程 (十六)数据压缩 (十七)当前单NameNode 的优势和劣势和改进办法 (十八)HDFS架构和设计要点 1. NameNode和DataNode 2. 文件系统的NameSpace 3. 镜像和编辑日志 4. 数据拷贝 5. …
2013-11-08 16:23 · hadoop · 评论(0)
[置顶] hadoop 安装部署调优
一、集群安装 1.在所有的机器上建立相同的用户名,如:hadoop。 $adduser hadoop $passwd hadoop 2.在/etc/hosts中添加机器名和IP hadoop@hadoop23:~/hadoop/hadoop-1.2.1/conf$ cat /etc/hosts 127.0.0.1 localhost #127.0.1.1 hadoop23 # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet …
2013-11-08 16:09 · hadoop · 评论(0)
hbase 表重命名
hbase shell> disable 'tableName' hbase shell> snapshot 'tableName', 'tableSnapshot' hbase shell> clone_snapshot 'tableSnapshot', 'newTableName' hbase shell> delete_snapshot 'tableSnapshot' hbase shell> drop 'tableName' void rename(HBaseAdmin admin, String oldTableName, String newTableName) { String…
2013-12-29 12:06 · hbase · 评论(0)
Prefix tree
Prefix tree The trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its simplest form it can be used as a list of keywords or a dictionary. By associating each string with an object it can be used as an alternative to a hashma…
2013-12-08 11:38 · 算法 · 评论(0)
Mahout系列----MinHash聚类
Map: Vector featureVector = features.get(); if (featureVector.size() < minVectorSize) { return; } // Initialize the MinHash values to highest for (int i = 0; i < numHashFunctions; i++) { minHashValues[i] = Integer.MAX_VALUE; } for (int i = 0; i < numHashFunctions; i++) { for (Vector.Element ele : f…
2013-12-05 16:01 · MAHOUT · 评论(0)
Mahout系列----谱聚类
1.构造亲和矩阵W 2.构造度矩阵D 3.拉普拉斯矩阵L 4.计算L矩阵的第二小特征值(谱)对应的特征向量Fiedler 向量 5.以Fiedler向量作为kmean聚类的初始中心,用kmeans聚类 亲和矩阵 :W_ij=exp(-(d(s_i,s_j)/2o^2)) d(s_i,s_j) = ||s_i,s_j||. o 为事先设定的参数。 度矩阵:D_ii =sum(w_i) 规范相似矩阵:D^(-1/2)*W*D^(1/2) ,即:W(i,j)/(D(i,i))^1/2*(D(j,j))^1/2 计算(D-W)*x=lamd*D*x 的第二小特征值 Mahout 流程: 亲和矩阵格式…
2013-12-05 09:30 · MAHOUT · 评论(0)
自动抽取新闻网页中的主要内容
抽取网页中的主要内容,是文本挖掘预处理中一个很头疼的问题。但是现在一切都不是问题。 String content = ArticleExtractor.INSTANCE.getText(new URL("https://www.google.com.hk/#newwindow=1&q=restlet+java.net.socketexception+broken+pipe&safe=active")); System.out.println(content); 本人试过各大新闻网站,和论坛网站。都没有问题滴将网页的内容中主要部分抽取出来。也可以将网页下载下来。使用如下方法处理本地文件,当然也…
实现像百度一样的自动补全功能
import java.io.IOException; import java.io.Reader; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.LowerCaseFilter; import org.apache.lucene.an…
2013-11-27 20:28 · 搜索引擎 · 评论(1)
HMM三个问题
HMM有三个典型问题: 1.已知模型参数,计算某一特定输出序列的概率.通常使用forward算法解决. 2.已知模型参数,寻找最可能的能产生某一特定输出序列的隐含状态的序列.通常使用Viterbi算法解决. 3.已知输出序列,寻找最可能的状态转移以及输出概率.通常使用Baum-Welch算法以及Reversed Viterbi算法解决.
2013-11-24 22:51 · 机器学习 · 评论(0)
“云计算将给中国带来1千万工作岗位”,我们准备好了吗?
在未来几年,2015年云计算将会带来1400万个工作岗位,其中大约有1000万在中国。我们要看看云计算带来的1.1万亿收入,在欧洲,预计到2020年2%的GDP将来自于云计算创新。 第十五届中国国际高新技术成果交易会——新一代信息技术峰会17日在深圳市会展中心举行。亚洲云计算协会总裁达尔伯格表示,云计算和移动设备带来的革命一样影响巨大。在未来几年,2015年云计算将会带来1400万个工作岗位,其中大约有1000万在中国。我们要看看云计算带来的1.1万亿收入,在欧洲,预计到2020年2%的GDP将来自于云计算创新。所以,看基本面的话,云计算有很多机会促进我们国家的发展。 因为各个国家对云计算越…
2013-11-19 17:29 · 非技术 · 评论(0)
Restful入门实战演练
由于工作需要,研究了一下Rest. 1.创建web应用,加入如下jar包。 2.创建Student实体 import javax.xml.bind.annotation.XmlRootElement; @XmlRootElement(name="student") public class Student { private int id; private String name; public Student(){} public int getId() { return id; } public void setId(int id) { this.id = id; } public St…
2013-11-19 17:11 · web · 评论(0)
重看《中国合伙人》
程序让自己编的麻木了,直到有一天,看到了《中国合伙人》。。。(以下内容摘抄与互联网,红色的是最受感触的一些句子。很多是曾经明白的,但是又忘记了,现在是时候重温了。) 1、想一千次,不如去做一次。华丽的跌倒,胜过无谓的徘徊。 2、谁伤害过你,谁击溃过你,都不重要。重要的是谁让你重现笑容。 3、用时间和心看人,而不是用眼睛。 4、不要活在过去的回忆里。昨天的太阳,晒不干今天的衣裳! 5、要学会对拥有的一切怀有感恩之心,最终你会得到更多。如果你总是对那些没有得到的东西耿耿于怀,那么你永远也不会满足。想必,也不会快乐。 6、岁月极美,在于它必然的流逝。春花,秋月,夏日,冬雪。你若盛开,清风自来。 7…
2013-11-17 11:45 · 非技术 · 评论(0)
大智慧
曾经看见一本书叫《大智慧》,想看,但买不起。一直在想,啥是智慧,那大智慧又是什么呢。一直在想。其实也一直拥有这个答案。还是我们农民人的那句 话:实在比啥都好。读了很多书,智慧的、励志的、哲学的、管理的、军事的,不管用什么样的谋略去做事,只有这样的人是打不败的,他们往往是很一般,但是却 是最成功的,这样的就是做人最成功的那些。事物的发展不是线性的,不能用单纯的因为所以解决问题。上天是公平的。大得必有大失,否极泰必来。珍惜现在的状 态,用最平和的心态看待事物,尽最大的力气实现要做的事。人间有正道,头上有真载。冥冥之中有一个眼睛在看着,不要做坏事,对得起良心,对得起周围的人。 不求大成,但求无愧。…
2013-11-16 20:55 · 非技术 · 评论(0)