谈搜索引擎的核心算法

七月 8, 2013 by · Leave a Comment
Filed under: 搜索引擎营销 

外链是搜索引擎算法中,判断网站权重高低的重要指标,当用户在搜索框中输入关键时,搜索引擎面对大量拥有相同内容的网页,首先需要解决的就是,通过哪些参数觉得网页排名的高低。今天,笔者就简单介绍外链建设中,比较有名的核心算法:PageRank算法、Hilltop算法、Direct Hit 算法。

第一种算法、PageRank算法

1998年,Sergey Brin和Lawrence Page提出了PageRank算法。该算法基于“从许多优质的网页链接过来的网页,必定还是优质网页”的回归关系,来判定网页的重要性。该算法认为从网页A导向网页B的链接可以看作是页面A对页面B的支持投票,根据这个投票数来判断页面的重要性。当然,不仅仅只看投票数,还要对投票的页面进行重要性分析,越是重要的页面所投票的评价也就越高。根据这样的分析,得到了高评价的重要页面会被给予较高的PageRank值,在检索结果内的名次也会提高。PageRank是基于对“使用复杂的算法而得到的链接构造” 的分析,从而得出的各网页本身的特性。

分析:PageRank算法的优点在于它对互联网上的网页给出了一个全局的重要性排序,并且算法的计算过程是可以离线完成的,这样有利于迅速响应用户的请求。不过,其缺点在于主题无关性,没有区分页面内的导航链接、广告链接和功能链接等,容易对广告页面有过高评价;另外,PageRank算法的另一弊端是,旧的页面等级会比新页面高,因为新页面,即使是非常好的页面,也不会有很多链接,除非他是一个站点的子站点。这就是PageRank需要多项算法结合的原因。

第二种算法、Hilltop算法

HillTop,是一项搜索引擎结果排序的专利,是Google的一个工程师Bharat在2001年获得的专利。HillTop算法的指导思想和PageRank是一致的,即都通过反向链接的数量和质量来确定搜索结果的排序权重。但HillTop认为只计算来自具有相同主题的相关文档链接对于搜索者的价值会更大,即主题相关网页之间的链接对于权重计算的贡献比主题不相关的链接价值要更高。在1999-2000年,当这个算法被Bharat与其他Google开发人员开发出来的时候,他们称这种对主题有影响的文档为“专家”文档,而只有从这些专家文档页面到目标文档的链接决定了被链接网页“权重得分”的主要部分。

Hilltop算法的过程:首先计算查询主题最相关的“专家”资源列表;其次在选中的“专家”集中识别相关的链接,并追踪它们以识别相关的网页目标;然后将目标根据非关联的指向它们的“专家”数量和相关性排序。由此,目标网页的得分反映了关于查询主题的最中立的专家的集体观点。如果这样的专家池不存在,Hilltop不会给出结果。

从Hilltop算法过程可见,该算法包括两个主要的方面:寻找专家;目标排序。通过对搜索引擎抓取的网页进行预处理,找出专家页面。对于一个关键词的查询,首先在专家中查找,并排序返回结果。

权威页面是对于一个查询主题来说最好的专家指向的页面。专家也有可能在更宽泛的领域或其它领域的主题上也是专家。在专家页面中只有一部分链接与主题相关。因此,把查询主题的专家中相关的外向链接合并,以找到查询主题相关页面高度认可的页面。

从排名在前的匹配专家页面和相联系的匹配信息中选择专家页面中一个超链接的子集。尤其选择那些与所有的查询相关的链接。基于这些选中的链接找出一个它们的目标子集作为查询主题最相关的网页。这个目标子集包含至少被两个非亲属的专家页面链接到的网页。目标集根据指向它们的专家的综合成绩来排序。

Hilltop在应用中还存在一些不足。专家页面的搜索和确定对算法起关键作用,专家页面的质量决定了算法的准确性;而专家页面的质量和公平性在一定程度上难以保证。Hiltop忽略了大多数非专家页面的影响。在Hiltop的原型系统中,专家页面只占到整个页面的1.79%,不能全面代表整个互联网。

Hiltop算法在无法得到足够的专家页面子集时(少于两个专家页面),返回为空,即Hiltop适合于对查询排序进行求精,而不能覆盖。这意味着Hilltop可以与某个页面排序算法结合,提高精度,而不适合作为一个独立的页面排序算法。Hilltop中根据查询主题从专家页面集合中选取与主题相关的子集也是在线运行的,这与前面提到的HITS算法一样会影响查询响应时间。随着专家页面集合的增大,算法的可伸缩性存在不足之处。

分析:HITS算法的优点在于它能更好地描述互联网的组织特点,由于它只是对互联网中的很小的一个子集进行分析,所以它需要的迭代次数更少,收敛速度更快,减少了时间复杂度。

但HITS算法也存在如下缺点:中心网页之间的相互引用以增加其网页评价,当一个网站上的多篇网页指向一个相同的链接,或者一个网页指向另一个网站上的多个文件时会引起评分的不正常增加,这会导致易受“垃圾链接”的影响;网页中存在自动生成的链接;

主题漂移,在邻接图中经常包括一些和搜索主题无关的链接,如果这些链接自身也是中心网页或权威网页就会引起主题漂移:对于每个不同的查询算法都需要重新运行一次来获取结果。这使得它不可能用于实时系统,因为对于上千万次的并发查询这样的开销实在太大。

第三种算法、Direct Hit 算法

与前面的算法相比,Ask Jeeves公司的Direct Hit算法是一种注重信息的质量和用户反馈的排序方法。它的基本思想是,搜索引擎将查询的结果返回给用户,并跟踪用户在检索结果中的点击。如果返回结果中排名靠前的网页被用户点击后,浏览时间较短,用户又重新返回点击其它的检索结果,那么可以认为其相关度较差,系统将降低该网页的相关性。另一方面,如果网页被用户点击打开进行浏览,并且浏览的时间较长,那么该网页的受欢迎程度就高,相应地,系统将增加该网页的相关度。可以看出,在这种方法中,相关度在不停地变化,对于同一个词在不同的时间进行检索,得到结果集合的排序也有可能不同,它是一种动态排序。

分析:该算法的优点是能够节省大量时间,因为用户阅读的是从搜索结果中筛选出来的更加符合要求的结果。同时,这种算法直接融入用户的反馈信息,能够保证页面的质量。

然而,统计表明,Direct Hit算法只适合于检索关键词较少的情况,因为它实际上并没有进行排序,而是一种筛选和抽取,在检索数据库很大、关键词很多的时候,返回的搜索结果成千上万,用户不可能一一审阅。因此,这种方式也不能作为主要的排序算法来使用,而是一种很好的辅助排序算法,目前在许多搜索引擎当中仍然在使用。

其实对于网页的搜索排名,都是多种算法综合作用的结果,简单分析上面的三种算法,Pagerank可以给网站上的所有网页给予一个重要性的排序,但是没有针对性、相关性,而且现在PR值作弊已经到了一个泛滥的地步,所以PR就网页排名的重要性已经大为下降;

Hilltop算法的提出,对于广大站长做外部链接建设,将起到指导作用。在Hilltop算法中,每个领域都会有若干专家页面,如果搜索相关关键词,搜索引擎首先会从专家页面查找,如果匹配度不够,再从专家页面链接的下一级页面查找,以此类推。

Direct Hit算法可以作为Hilltop和pagerank很好的补充,Direct Hit更多的是,考虑了用户体验的影响,对搜索结果的质量,进行实时的更新,一个最符合搜索用户要求的页面,应该是用户从搜索框中点击页面链接开始,用户浏览网站超过一定时间,则被认为结果页面,更符合用户搜索的要求,长期有效的点击,页面在搜索引擎中排名,就会有相应的提高。

通过以上三种算法,就可以明白,无论是做外链还是网站内容建设,首先需要考虑的就是相关性,在外链建设中,要努力寻找主题相关中,权威度高的网站,软文、友情链接等,都可以看作是这些网站,对你的支持,同时,注意网站的跳出率和浏览时间,时刻反馈用户数据,对一些重点页面,用户点击量较高的页面,做好相关性推荐,引导用户点击更多的页面。

作者:黄言之,原文链接

11个Pagerank 10;69个PR值等于9的网站推荐榜

六月 18, 2011 by · Leave a Comment
Filed under: 舆情引导 
PR可以说仁者见仁智者见智,100个人会有101种说法,但其存在必然有其作用和需求了,相对来讲还是能分析出很多趋势和东西来的,当然其庞大的数据要进行一一分析难度是比较大,尤其是很多www二级域名或捆绑域名没区别开来这一定程度上增加了难度,当然我们能在查询到有PR值的网站大概情况是PR值等于8的网站有326个;PR值等于7的网站有1113个;PR值等于6的网站有3238个;PR值等于5的网站有5619个;PR值等于4的网站有8790个;PR值等于3的网站有10521个;PR值等于2的网站有9928个;PR值等于1的网站有8310个;PR值等于0的网站有43154个,这是2011年8月的最新数据。
1		sina.com.cn
2		yahoo.com
3		baidu.com
4		www.sina.com.cn
5		youtube.com
6		w3.org    万维网联盟(W3C)是一个国际财团在会员组织,专职工作人员和公众的共同努力,发展网络标准!
7		www.baidu.com
8		twitter.com
9		www.apple.com
10		www.windowslive.com
11		www.w3.org
12		www.people.com.cn
13		www.microsoft.com
14		www.ccnt.gov.cn
15		oracle.com
16		moneywatch.bnet.com
17		www.xinhua.org
18		www.yahoo.com
19		www.reuters.com
20		openwebmail.org
21		www.newsgator.com
22		baidu.cn
23		www.w3c.org
24		www.gov.cn
25		europa.eu
26		www.hd315.gov.cn
27		www.adobe.com
28		edu.cn
29		www.addthis.com
30		microsoft.com
31		www.yahoo.com.tw
32		www.0951.cn
33		www.whitehouse.gov
34		gov.cn
35		www.hotmail.com
36		www.nhc.noaa.gov
37		gamespot.com
38		www.un.org
39		mail.live.com
40		www.pku.edu.cn
41		live.com
42		www.myspace.com
43		www.flickr.com
44		people.com.cn
45		www.news.cn
46		news.cn
47		www.baidu.cn
48		windowslive.com
49		www.googlemail.com
50		www.mail.yahoo.com
51		xinhua.cn
52		peopledaily.com.cn
53		facebook.cm
54		www.live.com
55		www.wenming.cn
56		www.macromedia.com
57		gmail.google.com
58		www.stdaily.com
59		www.linkedin.com
60		www.amazon.com
61		www.bizhegou.com
62		www.sciencenet.cn
63		www.mister-wong.de
64		www.fudan.edu.cn
65		www.cas.ac.cn
66		wordpress.com
67		drupal.org
68		validator.w3.org
69		www.last.fm 	 

PR值等于10的网站有11个

1		facebook.com
2		google.com  谷歌搜索引擎国际站!
3		www.google.com
4		www.miibeian.gov.cn   工业和信息化部 ICP/IP地址/域名信息备案管理系统!
5		www.facebook.com
6		www.firstgov.gov
7		miibeian.gov.cn
8		www.palmsprings-cq.com
9		addthis.com
10		www.usa.gov   美国政府的官方门户网站所有政府交易,服务和信息。它提供了直接在线访问联邦,州,地方和部落政府!
11		europeana.eu

PR(PageRank)更新时间表

三月 11, 2011 by · 2 Comments
Filed under: 生活随笔 
PR查询址:http://pr.chinaz.com/
TBPR Export: Toolbar PageRank Export – export of Real PR to the Toolbar PR 11 unit
scale (no longer called a PR update as Real PR is updated continously and the Toolbar
 PR change is just an export of that updated value).
Toolbar 工具PR输出Toolbar pagerank 输出,按照11PR更新等级实现在Toolbar工具栏的输出更新。
GDPR Export: Google Directory Export – export of Real PR to the Google Directory 8 unit
scale (no longer called a PR update as Real PR is updated continously and the Google
directory PR change is an export of that updated value).
谷歌目录输出:谷歌目录索引输出,真正完成PR权重分配向Google 索引目录的输出工作,分8级重要性。
BL Export: Backlink Export – export of a sample of the number of backlinks which is
almost meaningless as it is only a sample number. This number can be seen with
the link:www.domain.tld command (no longer called a BL update as backlinks are
updated continously and the visible BL number change is an export of that updated
value).
反向链接输出:反向链接更新,基于样本分析原理的反向链接输出。你也可以采用以下命令查询反向链接link:www.zhanghangfeng.cn 
Algo Update: Algorithm Update – a major update in the Ranking algorithm that
causes a large SERP change.
算法更新:算法更新,一个重大的排名算法更新,导致大量的SERP变化。
TB Program Version Change: Toolbar Program Version Change – a software version
change to the Google toolbar that displays PR.
ToolBar 软件改进Toolbar 工具软件的改进计划,指Toolbar软件发生升级改进后,直接影响Google PR更新。 
Days: Days between toolbar PR exports.
时间(天):表明相邻两个Google Toolbar PR 输出更新日期之间的时间间隔。
PR/BL Estimations: Average days between the last 5 exports.
Year Date Info Days
2011 Waiting TBPR Export Estimation Dec 24 182
2011 Waiting GDPR Export Estimation Dec 24 182
2011 Jun 27 TBPR & BL Export 157/157
2011 Jan 20 TBPR & BL Export 222/222
2010 Jun 12 TBPR & BL Export 70/70
2010 Apr 03 TBPR & BL Export 93/93
2009 Dec 31 TBPR & BL Export 62/62
2009 Oct 29 TBPR & BL Export 127/127
2009 Jun 24 TBPR & BL Export 27/27
2009 May 28 TBPR & BL Export 56/56
2009 Apr 2 TBPR & BL Export 92/92
2008 Dec 31 TBPR & BL Export 95/95
2008 Sep 27 TBPR & BL Export 62/62
2008 Jul 26 TBPR & BL Export 87/87
2008 Apr 30 TBPR & BL Export 62/62
2008 Feb 27 TBPR & BL Export 45/45
2008 Jan 12 TBPR & BL Export 78/78
2007 Oct 26 TBPR & BL Export 100/100
2007 Jul 20 TBPR & BL Export 80/80
2007 Apr 30 TBPR & BL Export 98/98
2007 Jan 25 Algo update – Reduce Googlebomb Impact
2007 Jan 25 TBPR & BL Export 18/18
2007 Jan 10 TBPR & BL Export 101/101
2006 Sep 28 TBPR & BL Export 76/76
2006 Jul 13 TBPR & BL Export 100
2006 Apr 04 TBPR Export 45
2006 Apr 07 TB Program Update FF v2.0f
2006 Feb 18 TBPR & BL Export 122/60
2006 Jan 30 TB Program Update IE v4.0.513.2984 Beta
2006 Jan 4 Infra Update – BigDaddy
2005 Dec 19 GDPR & BL Export 106
2005 Nov 04 Algo Update – Jagger 3
2005 Oct 27 Algo Update – Jagger 2
2005 Oct 19 TBPR & BL Export 97/45
2005 Oct 16 Algo Update – Jagger 1
2005 Sep 04 GDPR & BL Export 85
2005 Jul 14 TBPR & BL Update 83/33
2005 Jun 11 GDPR Update 18
2005 Jun 08 BL Update
2005 May 27 TBPR Goes Grey For 3 Days
2005 May 24 GDPR & BL Update 32
2005 Apr 22 TBPR, GDPR & BL Update 111/50
2005 Mar 04 BL Update
2005 Mar 03 GDPR Update 28
2005 Feb 23 TB Program Update IE 3.0.119.6
2005 Feb 04 GDPR Update 24
2005 Feb 03 BL & Algo Update
2005 Jan 10 GDPR Update 88
2005 Jan 1 TBPR & BL Update 87/16
2004 Dec 16 BL Update
2004 Nov 25 BL Update
2004 Oct 28 GDPR Update? ??
2004 Oct 28 BL Update
2004 Oct 18 BL Update Rolled Back
2004 Oct 17 GDPR Update 67
2004 Oct 16 BL Update
2004 Oct 6 TBPR Update; No BL Update 106
2004 Sept 10 BL Update
2004 Sept 8 TB Program Update
2004 Aug 30 BL Update
2004 Aug 10 GDPR Update 158?
2004 Aug 9 BL Update
2004 Jul 16 BL Update
2004 Jun 22 TBPR & BL Update 22
2004 May 31 TBPR & BL Update 38
2004 Apr 23 TBPR & BL Update 16
2004 Apr 7 TBPR & BL Update 22
2004 Mar 16 TBPR, GDPR & BL Update 50
2004 Feb 11 Brandy: Algo Update
2004 Jan 26 TBPR & BL Update 15
2004 Jan 11 Austin: TBPR & BL Update 19
2003 Dec 23 TBPR & BL Update 17
2003 Dec 6 TBPR Update 20
2003 Nov 16 Florida: TBPR, BL & Algo Update 21
2003 Oct 26 35
2003 Oct 2 GDPR Update
2003 Sept 21 23
2003 Aug 29 21
2003 Aug 8 54
2003 Jun 15 40
2003 May 6 25
2003 Apr 11 36
2003 Mar 6 41
2003 Jan 25 24
2003 Jan 1 35
2002 Nov 27 27
2002 Oct 31 TBPR & BL Update 35
2002 Sept 26 TBPR GDPR & BL Update 36
2002 Aug 21 TBPR GDPR & BL Update 27
2002 Jul 25 TBPR & BL Update 32
2002 Jun 23 TBPR & BL Update 30
2002 May 24 29
2002 Apr 25 19
2002 Apr 6 45
2002 Feb 20 26
2002 Jan 25 29
2001 Dec 27 32
2001 Nov 25 28
2001 Oct 28 42
2001 Sept 16 28
2001 Aug 19 31
2001 Jul 19 30
2001 Jun 22 32
2001 May 21 28
2001 Apr 23 28
2001 Mar 26 35
2001 Feb 19 29
2001 Jan 21 33
2000 Dec 19 31
2000 Nov 18 27
2000 Oct 22 54
2000 Aug 29 34
2000 Jul 26 Unknown