ITeye博客

2013 年文章归档

共 36 篇文章

hbase 表重命名

hbase shell> disable 'tableName' hbase shell> snapshot 'tableName', 'tableSnapshot' hbase shell> clone_snapshot 'tableSnapshot', 'newTableName' hbase shell> delete_snapshot 'tableSnapshot' hbase shell> drop 'tableName' void rename(HBaseAdmin admin, String oldTableName, String newTableName) { String…

2013-12-29 12:06 · hbase

Prefix tree

Prefix tree The trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its simplest form it can be used as a list of keywords or a dictionary. By associating each string with an object it can be used as an alternative to a hashma…

2013-12-08 11:38 · 算法

Mahout系列----MinHash聚类

Map: Vector featureVector = features.get(); if (featureVector.size() < minVectorSize) { return; } // Initialize the MinHash values to highest for (int i = 0; i < numHashFunctions; i++) { minHashValues[i] = Integer.MAX_VALUE; } for (int i = 0; i < numHashFunctions; i++) { for (Vector.Element ele : f…

2013-12-05 16:01 · MAHOUT

Mahout系列----谱聚类

1.构造亲和矩阵W 2.构造度矩阵D 3.拉普拉斯矩阵L 4.计算L矩阵的第二小特征值(谱)对应的特征向量Fiedler 向量 5.以Fiedler向量作为kmean聚类的初始中心,用kmeans聚类 亲和矩阵 :W_ij=exp(-(d(s_i,s_j)/2o^2)) d(s_i,s_j) = ||s_i,s_j||. o 为事先设定的参数。 度矩阵:D_ii =sum(w_i) 规范相似矩阵:D^(-1/2)*W*D^(1/2) ,即:W(i,j)/(D(i,i))^1/2*(D(j,j))^1/2 计算(D-W)*x=lamd*D*x 的第二小特征值 Mahout 流程: 亲和矩阵格式…

2013-12-05 09:30 · MAHOUT

自动抽取新闻网页中的主要内容

抽取网页中的主要内容,是文本挖掘预处理中一个很头疼的问题。但是现在一切都不是问题。 String content = ArticleExtractor.INSTANCE.getText(new URL("https://www.google.com.hk/#newwindow=1&q=restlet+java.net.socketexception+broken+pipe&safe=active")); System.out.println(content); 本人试过各大新闻网站,和论坛网站。都没有问题滴将网页的内容中主要部分抽取出来。也可以将网页下载下来。使用如下方法处理本地文件,当然也…

2013-11-29 22:26 · 自然语言处理 · 算法 · 搜索引擎

实现像百度一样的自动补全功能

import java.io.IOException; import java.io.Reader; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.LowerCaseFilter; import org.apache.lucene.an…

2013-11-27 20:28 · 搜索引擎

HMM三个问题

HMM有三个典型问题: 1.已知模型参数,计算某一特定输出序列的概率.通常使用forward算法解决. 2.已知模型参数,寻找最可能的能产生某一特定输出序列的隐含状态的序列.通常使用Viterbi算法解决. 3.已知输出序列,寻找最可能的状态转移以及输出概率.通常使用Baum-Welch算法以及Reversed Viterbi算法解决.

2013-11-24 22:51 · 机器学习

“云计算将给中国带来1千万工作岗位”,我们准备好了吗?

在未来几年,2015年云计算将会带来1400万个工作岗位,其中大约有1000万在中国。我们要看看云计算带来的1.1万亿收入,在欧洲,预计到2020年2%的GDP将来自于云计算创新。 第十五届中国国际高新技术成果交易会——新一代信息技术峰会17日在深圳市会展中心举行。亚洲云计算协会总裁达尔伯格表示,云计算和移动设备带来的革命一样影响巨大。在未来几年,2015年云计算将会带来1400万个工作岗位,其中大约有1000万在中国。我们要看看云计算带来的1.1万亿收入,在欧洲,预计到2020年2%的GDP将来自于云计算创新。所以,看基本面的话,云计算有很多机会促进我们国家的发展。 因为各个国家对云计算越…

2013-11-19 17:29 · 非技术

Restful入门实战演练

由于工作需要,研究了一下Rest. 1.创建web应用,加入如下jar包。 2.创建Student实体 import javax.xml.bind.annotation.XmlRootElement; @XmlRootElement(name="student") public class Student { private int id; private String name; public Student(){} public int getId() { return id; } public void setId(int id) { this.id = id; } public St…

2013-11-19 17:11 · web

重看《中国合伙人》

程序让自己编的麻木了,直到有一天,看到了《中国合伙人》。。。(以下内容摘抄与互联网,红色的是最受感触的一些句子。很多是曾经明白的,但是又忘记了,现在是时候重温了。) 1、想一千次,不如去做一次。华丽的跌倒,胜过无谓的徘徊。 2、谁伤害过你,谁击溃过你,都不重要。重要的是谁让你重现笑容。 3、用时间和心看人,而不是用眼睛。 4、不要活在过去的回忆里。昨天的太阳,晒不干今天的衣裳! 5、要学会对拥有的一切怀有感恩之心,最终你会得到更多。如果你总是对那些没有得到的东西耿耿于怀,那么你永远也不会满足。想必,也不会快乐。 6、岁月极美,在于它必然的流逝。春花,秋月,夏日,冬雪。你若盛开,清风自来。 7…

2013-11-17 11:45 · 非技术

大智慧

曾经看见一本书叫《大智慧》,想看,但买不起。一直在想,啥是智慧,那大智慧又是什么呢。一直在想。其实也一直拥有这个答案。还是我们农民人的那句 话:实在比啥都好。读了很多书,智慧的、励志的、哲学的、管理的、军事的,不管用什么样的谋略去做事,只有这样的人是打不败的,他们往往是很一般,但是却 是最成功的,这样的就是做人最成功的那些。事物的发展不是线性的,不能用单纯的因为所以解决问题。上天是公平的。大得必有大失,否极泰必来。珍惜现在的状 态,用最平和的心态看待事物,尽最大的力气实现要做的事。人间有正道,头上有真载。冥冥之中有一个眼睛在看着,不要做坏事,对得起良心,对得起周围的人。 不求大成,但求无愧。…

2013-11-16 20:55 · 非技术

索引压缩

建立索引是搜索引擎核心技术之一,建立索引的目的是能够快速的响应用户的查询。搜索引擎最常用的索引数据结构是倒排文档,倒排文档的原理其实相当简单。 我们拿以下三篇文章作为代表来说明倒排文档,文章内容为: D1:“张钰小姐代表了中国广大淫民的根本利益” D2:”宋祖德先生代表了中国八卦文化的前进方向“ D3:“郭敬明代表了中国作家抄袭先进生产力的发展要求” 经过分词,过滤高频词后可以构建如下的倒排文档: 张钰 ->D1,1; 代表->D1,1;D2,1;D3,1; 宋祖德->D2,1; ..... 其中,“张钰”代表一个单词,《D1,1》代表了这个单词在D1文档中出现过1次(TF);为了方便处理,…

2013-11-16 15:44 · 搜索引擎

编辑距离

1.Levenshtein distance(以下简称L氏距离)。 此距离由Levenshtein 于1965年定义,在这个定义体系中有三种原子操作:insertion,deletion,substitution(出处见论文《BINARY CODES CAPABLE OF CORRECTING,DELETIONS,INSERTIONS AND REVERSALS》); 2.Damerau,F,J distance(以下简称D氏距离)。此距离有Damerau于1964年定义,在这个定义体系中有四种原子操作:insertion,deletion,substitution,以及transposit…

2013-11-15 19:00 · 自然语言处理

Solpe one

Slope One 算法试图同时满足这样的的 5 个目标: 易于实现和维护:普通工程师可以轻松解释所有的聚合数据,并且算法易于实现和测试。 运行时可更新的:新增一个评分项,应该对预测结果即时产生影响。 高效率的查询响应:快速的执行查询,可能需要付出更多的空间占用作为代价。 对初次访问者要求少:对于一个评分项目很少的用户,也应该可以获得有效的推荐。 合理的准确性:与最准确的方法相比,此方法应该是有竞争力的,准确性方面的微小增长不能以简单性和扩展性的大量牺牲为代价。 使用这个图可以简明扼要的说明一下 Slope One 算法。 User A 给 Item I 打分为 1;给 Item J 打分为…

2013-11-15 18:55 · 推荐系统

创建WebService时遇到的问题

今天在创建webService时遇到了一下问题: The service class "com.pera.spellcheck.SpellCheckSearcher" does not comply to one or more requirements of the JAX-RPC 1.1 specification, and may not deploy or function correctly. 原因:JAX-RPC1.1在处理SAOP与XML的映射时,不支持返回类型是List的类型。 解决:把List的返回类型改成数组的类型。如:List<UserBean>改成UserBean[]…

2013-11-15 14:41 · web

推荐系统概述

在推荐系统简介中,我们给出了推荐系统的一般框架。很明显,推荐方法是整个推荐系统中最核心、最关键的部分,很大程度上决定了推荐系统性能的优劣。目前,主要的推荐方法包括:基于内容推荐、协同过滤推荐、基于关联规则推荐、基于效用推荐、基于知识推荐和组合推荐。 一、基于内容推荐 基于内容的推荐(Content-basedRecommendation)是信息过滤技术的延续与发展,它是建立在项目的内容信息上作出推荐的,而不需要依据用户对项目的评价意见,更多地需要用机器学习的方法从关于内容的特征描述的事例中得到用户的兴趣资料。在基于内容的推荐系统中,项目或对象是通过相关的特征的属性来定义,系统基于用户评价对象…

2013-11-15 12:54 · 推荐系统

矩阵分解

LU分解 一个 可逆矩阵 可以进行 LU 分解 当且仅当 它的所有 子式 都非零。如果要求其中的 L 矩阵(或 U 矩阵)为单位三角矩阵,那么分解是唯一的。同理可知,矩阵的 LDU 可分解条件也相同,并且总是唯一的。 即使矩阵不可逆, LU 仍然可能存在。实际上,如果一个 秩 为 k 的矩阵的前 k 个顺序主子式不为零,那么它就可以进行 LU 分解,但反之则不然。 目前,在任意 域 上一个方块矩阵可进行 LU 分解的充要条件已经被发现,这些充要条件可以用某些特定子矩阵的秩表示。用 高斯消元法 来得到 LU 分解的算法也可以扩张到任意域上。 任意矩阵 A (不仅仅是方块矩阵)都可以进行 LUP…

2013-11-14 20:58 · 机器学习

伽马贝塔函数

在数理方程、概率论等学科经常遇到以下的含参变量的积分 , 它们依次为第一类和第二类欧拉(Euler 1707~1783 瑞士数学家)积分,或依次称为贝塔(Bata)函数和伽马(Gamma)函数,这一节主要讨论这两个函数的若干性质。 11.3.1 伽马函数 显然,我们应首先考虑伽马函数 (3.1) 的收敛问题。式(3.1)右端的积分不仅是一个无穷积分,而且当 时, 还是被积函数 的一个瑕点。为此我们把它拆成两个积分。 和 注意到 是以 为瑕点的瑕积分,且注意到 而 在 时是收敛的,所以 也收敛( )。又因为 ,有 所以, ,当 时,有 这说明积分 对于 都是收敛的,总之当 ,积分 和 同时收敛…

2013-11-13 09:56 · 机器学习

HBase表设计

1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据, 直到这 个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按 照 region分区情况,在集群内做数据的负载均衡。 预分区的一个例子: public static boolean createTable(HBaseAdmin admin, HTableDescriptor table, byte[][] sp…

2013-11-11 22:54 · hbase

树的种类

二叉树 二叉查找树(BST) 笛卡尔树 MVP树 Top tree T树 自平衡二叉查找树 AA树 AVL树 左倾红黑树 红黑树 替罪羊树 伸展树 树堆 节点大小 平衡树 B树 B+树 B*树 Bx树 UB树 2-3树 2-3-4树 (a,b)-树 Dancing tree H树 Trie 后缀树 基数树 三叉查找树 X-快速前缀树 Y-快速前缀树 二叉空间分割(BSP)树 四叉树 八叉树 k-d树 隐式k-d树 VP树 非二叉树 指数树 融合树 区间树 PQ树 Range tree SPQR树 Van Emde Boas tree 空间数据分割树 R树 R*树 R+树 X树 M树 线段树 …

2013-11-11 22:40 · 算法