网络蜘蛛设计研究论文

2022-04-20

摘要：网络蜘蛛是现代搜索引擎获得网络信息的重要手段，直接影响到搜索引擎的查全率，C#是微软发布的开发平台.NET中的旗舰，本文设计了一种简易的网络蜘蛛并通过C#语言将其实现。关键词：C#.NET线程网络蜘蛛排序算法目前，对于全球大多数互联网用户来说，搜索引擎是其准确获得所需要信息或者知识的最有效的工具。下面是小编为大家整理的《网络蜘蛛设计研究论文(精选3篇)》相关资料，欢迎阅读！

网络蜘蛛设计研究论文篇1：

网络蜘蛛技术在校园门户网站中的设计与研究

摘要：本文主要对当今较为流行的网络编程技术网络蜘蛛（web spider），结合校园网站实际环境进行一次尝试与研究。使用C#语言进行设计与开发，在实际开发设计中通过解决其各类难题，进一步掌握其设计难点与要领，并对该技术有了进一步了解。

关键词：网络蜘蛛（web spider）校园门户多线程

在互联网高速发展的今天，互联网已经走进了千家万户，网络上充斥着各种信息。如何高效、准确的获取我们所需要的信息，成为我们越来越关心的问题。搜索引擎是解决这一问题的主要方法。搜索引擎通过一定的策略在网络中搜集信息，并完成对信息的提取和组织工作，最终为用户提供信息信息检索服务。搜索引擎主要包含三部分功能，信息采集、信息分类、信息检索。其中信息采集又叫网络蜘蛛（web Spider），主要用来获取网络上的信息内容。搜索引擎中的所有数据都是通过它来获得的。

在校园门户网站中也会用到网络蜘蛛技术。与搜素引擎不同，校园门户网站中的网络蜘蛛所选取信息的范围仅限定在本局域网内部。信息量相对较少。通过网络爬虫技术，学校门户网站可以实现网络动态监视，对网络中的不良信息进行及时筛查。也可以建立学校内部的网络智能搜索引擎，或是校内网络雷达。而这些都要依靠校园门户网站的网络蜘蛛技术。

1 网络蜘蛛的搜索策略及c#开发环境介绍

1.1 通用的网络蜘蛛爬行策略主要有两种方式：

（1）深度优先策略：深度优先就是只考虑连接的层次关系，将链接看成树形结构，深度优先搜索就是先访问链接的一个分支，在回到链接树的根节点访问另一个分支。这种方式有点在于容易设计以及可以及时搜索到某个链接下足够深度的链接，缺点是个别层次较高的链接不能够及时被访问，甚至访问不到，信息更新不及时。

（2）宽度优先策略：宽度优先就是以接近起始点的程度依次扩展节点的逐层搜索，在对下一层的任意节点进行搜索之前，必须完成本层的所有节点。此方法实现相对简单，缺点在于随着抓取页面逐渐增多，大量的无关页面被下载，使得算法的效率变低。优点在于搜索的页面质量较高。信息相对完整。

目前网络蜘蛛技术中通常采用宽度优先策略，从一个局部中尽可能得到多的页面。多数搜索引擎都采用宽度搜索技术，主要解决数据采集的及时性，和完整性问题。但信息采集量不能太多，否则将会影响采集效率。

1.2 Ｃ#开发环境

C#是微软发布的开发平台.NET中的旗舰，是一种优秀的编程语言，c#2.0开发环境中集成了多线程并发访问及http页面抓取技术。因此使我们网页爬虫技术可以使用c#语言进行开发。需要使用到System.Threading包，和System.Net包。

2 设计与实现

2.1 网络蜘蛛工作流程

首次运行蜘蛛程序需要根据起始网页，分析页面的源文件，将页面路径（ＵＲＬ）放入队列，把已处理过的页面放入已完成队列中。而后工作线程从待提取队列中提取出新的ＵＲＬ进行分析。依次循环。

若系统不是首次运行，系统不用指定起始页面，只需读取保存在文本中的信息，然后继续上次提取操作，从待抓取列表中取出连接继续执行。

2.2 网页消重

网络爬虫的爬行策略中的宽度优先策略是目前普遍采取的一种网页检索策略，优点是页面检索质量较高，但其弊端就是页面重复检索较多。如果信息检索范围加大，将严重影响信息的检索效率。重复的页面不仅浪费时间，而且会挤占磁盘空间。

目前较为流行的做法是使用布隆过滤器的方法来对网页链接进行消重。在网络蜘蛛系统中，一个地址是否被访问过，最直接的方法就是将集合中全部的元素存在计算机中，当进入一个新元素时，将它与其他元素进行比较，优点是十分准确，缺点是时间较长。布隆过滤器一般用于大数据量的集合中判断元素是否存在，其核心思想就是使用一个hash函数将一个url地址映射到位图数组中某一位，如果该位已经存在则为1，表示该url已被占。

哈希算法如下：

private void CreateHashes(string str)

{

int hash1 = str.GetHashCode();

int hash2 = HashString(str);

hashKeys[0] = Math.Abs(hash1 % hashbits.Count);

if (numKeys > 1)

{

for (int i = 1; i < numKeys; i++)

{

hashKeys[i] = Math.Abs((hash1 + (i * hash2))

% hashbits.Count);

}

2.3 html解析

Html解析器是用来分析蜘蛛程序遇到的每一个页面，提取其中的链接信息，是页面下载的前提。解析器的作用是识别HTML语言的各种标记。具体代码如下：

public string GetPageSource(string url)

{

Uri uri = new Uri(url);

HttpWebRequest MyReq = (HttpWebRequest)WebRequest.Create(uri);

HttpWebResponse MyRes = (HttpWebResponse)MyReq.GetResponse();

MyReq.Method = "Post";

MyReq.KeepAlive = false;

StreamReader reader = new StreamReader(MyRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));

return reader.ReadToEnd();

}

上述代码的主要作用是获取页面的HTML代码，并将其转化成字符串输出。

2.4 多线程

多线程技术主要作用是同时开动多个线程一起工作，共同采集网络中的数据信息。提高信息采集的效率。多线程的工作问题的难点就是线程结束是很难判断。因为它总是在查找新的链接，因此系统容易进入死循环状态。解决方法如下所示：

string url = "";

int times = 0;

while ( url == "" ) //要是没有找到符合条件的记录，则不断地寻觅符合条件的记录

{

url = getUrl.GetAUrl( …… ); //调用GetAUrl方法，试图得到一个url值

if ( url == "" ) //要是没有找到

{

times ++;//尝试次数自增

continue; //进行下一次尝试

}

if ( times > N ) //要是已经尝试够了次数，则退出进程

{

downloadThread[i].Abort; //退出进程

}

else//如果没有尝试够次数

{

Times = 0; //尝试次数归零处理

}

//进行下一步针对得到的Url的处理

}

3 结语

本文主要真对在校园网站中建设网络蜘蛛系统，原理结构均相对简单，没有涉及到信息分类检索等问题。因此只对网络爬虫技术的检索效率等问题进行了研究，该系统还有很多方面存在进一步研究与探讨的空间，如在动态网站的图片获取，多线程的重复采集等问题上还有很多地方需要继续研究。

参考文献

[1] 李晓明，闫宏飞，王建民搜索引擎_原理技术与系统[M] 北京科学出版社，2004.

[2] 李刚，卢炎生教育网 BBS 搜索引擎设计与实现[J] 微计算机信息，2006（6）.

作者：杨硕

网络蜘蛛设计研究论文篇2：

基于Ｃ＃的网络蜘蛛的设计和实现

摘要：网络蜘蛛是现代搜索引擎获得网络信息的重要手段，直接影响到搜索引擎的查全率，C#是微软发布的开发平台.NET中的旗舰，本文设计了一种简易的网络蜘蛛并通过C#语言将其实现。

关键词：C#.NET 线程网络蜘蛛排序算法

目前，对于全球大多数互联网用户来说，搜索引擎是其准确获得所需要信息或者知识的最有效的工具。但是对于所有的搜索引擎来说，最重要的性能指标有两个：查全率和查准率。查全率和搜索引擎搜集的网页数量和质量有关，而查准率和搜索引擎所采用的导航方式及排序算法有关。

本文介绍的是将搜索引擎用于搜集网页，提高查全率的最重要的工具——网络蜘蛛（Web Spider），也称网络机器人(Web Robot)。网络蜘蛛的主要作用是搜集互联网的网页，我们也可以用它来定期搜集某个网站的内容，来跟踪判断网站的发展，或者做站内搜索引擎。从网络蜘蛛的工作原理来看，“网络蜘蛛”是一个比较形象的名字，它是在互联网内，通过网页链接，从一个网页爬到另一个网页来进行网页内容搜集的工具。它的工作通常是这样进行的：在一个网页上，把这个网页的内容收集入数据库，分析这个网页的链接，根据链接进入另一个网页。再进行上面的操作，直到把这个网站的页面全部搜集完，转入下一个网站。

图1 链接图示

C#是微软发布的开发平台.NET中的旗舰，是一种优秀的编程语言，下面笔者介绍一下如何设计一个简单的网络蜘蛛并用C#实现。

一、网络蜘蛛的设计

对于网络蜘蛛的设计一般分为如下几个部分：

（1）数据库设计，能满足搜集网页信息的需要；

（2）网页解析及下载；

（3）在页面间爬行算法的设计。

一般来说，对于一个网络蜘蛛来说，在数据库中要至少包含的核心信息有URL索引、URL是否已经被访问、下载的网页内容、网页的关键词等。数据库的设计和以后搜索引擎想实现的功能或者排序算法所需要的参数有很大关系，但是对于网络蜘蛛来说，能够记录网站URL和其对应的网页信息是最基本的。数据库设计就根据需要所定，而一些简易的网络蜘蛛其下载页面直接放置在磁盘所创建的文件夹上，对数据库的依赖就减少很多。

网页解析，网页解析最重要的一个目的就是获取所解析页面的HREF属性，根据属性来获取页面链接，以方便确定下一步遍历目标。不过，如果要是对所下载的信息进行进一步处理——比如提取摘要，页面解析也可以比较方便地除去页面中诸如注释、脚本、样式表之类的信息，根据HTML语法建立DOM语法树，进行页面清洗。[1]页面下载是指网络蜘蛛把网页内容从互联网下载到本地保存。[2]

页面间爬行算法的设计，其实就是网络蜘蛛遍历链接先后的爬行策略。一般有广度优先策略（ＢＦＳ）和深度优先策略（ＤＦＳ）两种。[3]如果把每个网页看作互联网上的一个节点，那么广度优先遍历和深度优先遍历算法可如下描述，如图1所示。

根据图1的描述，对于广度优先策略来说，网络蜘蛛从A节点出发，其遍历的顺序是A—B,C,D,E,F—G,H—I；对于深度遍历来说，其遍历顺序是A—F—G—I—E—H—D—C—B，一般因为标准的网站构建尽量是贴近扁平式的，如果选用深度遍历算法每爬一层就要访问数据库一次，数据访问次数多于广度遍历算法，在时间复杂度上处于劣势。并且网络蜘蛛也多采用多线程方式实现，所以遍历算法选用的是广度优先遍历更为合理，广度优先遍历算法描述如下：

图2 Spider工作流程

BFS算法

Begin

Visit Index

Push clientnode.child into the end of Unvisitedqueue;

If(Unvisitedqueue!=null)

{

Visit the top of Unvisitedqueue;

Clientnode= Unvisitedqueue.top;

Visit Clientnode;

Push clientnode into visitedqueue;

}

End

上述这三个部分都能够实现的话，网络蜘蛛完整工作流程如图2所示。

对于网络蜘蛛的工作流程，如图2所示，网络蜘蛛首先获得一个URL，根据已经处理的URL数据库来判断该URL是否被处理过，如果没有处理过，则解析这个页面，提取这个页面链接页面的URL，然后下载当前页面，同时把当前页面的URL添加到已经处理的数据库中，然后根据选择的遍历算法向Spider提交下一个URL。如果在URL判断中，这个页面已经被处理过，那么直接根据选择的遍历算法向Spider提交下一个URL。为什么要在Spider运行前加一个判断，因为不同的网页可能拥有同一个链接，避免重复处理。

二、各个模块的实现

对于图2所描述的网络蜘蛛来说，实现网络蜘蛛的最重要的三个模块是HTML的解析、页面下载以及网页遍历。对于网页遍历的BFS算法上文中已经描述过了，所以这里重点介绍在C#中如何实现HTML解析和网页下载模块。

1.HTML的解析

对于网络蜘蛛来说，网页信息中最有价值的信息是网页的链接和网页的内容。网页的链接（Internal Links），关系到网络蜘蛛下一步爬行的页面，网页内容则是网络蜘蛛获取的网页所显示的文字或图像内容。

对于网络蜘蛛来说，如何分析、获得网页信息是很重要的一环，在C#中可以用System.Net.WebClient这个方法来获得网页的内容，然后使用URL正则表达式分析Html中的链接。用这种方法来获取网页的链接信息，网页的链接信息是网络蜘蛛进行判断下一步遍历目标，选择遍历路径的重要已知条件。

而另一种方法就是调用.NET的一个类库——HtmlParser这个开源类库可以几乎解析所有的HTML标签。HtmlParser对HTML进行了4级封装，从低级到高级的顺序为：ParserStream、Source、Page、Lexer。其中 ParserStream负责从文件中获取二进制数据，但不做任何处理。Source把二进制文件转换成相应的字符序列，存储一组未加工的字符序列。

2.页面下载模块的实现

图3 简单的网络蜘蛛

在C#中，网页下载是通过HttpWebRequest类来实现的，HttpWebRequest使用户能够直接与使用 HTTP 的服务器交互的附加属性和方法提供支持，而其中的GetResponse 方法返回包含来自 Internet 资源的响应的 WebResponse 对象，可以用于页面资源获取。下面则是网页下载中的核心部分，网页的HTML代码的获取。

public string GetPageSource(string url)//获取网页的html代码

{

Uri uri=new Uri(url);

HttpWebRequest MyReq=(HttpWebRequest)WebRequest.Create(uri);

HttpWebResponse MyRes=(HttpWebResponse) MyReq.GetResponse();

MyReq.Method="Post";

MyReq.KeepAlive=false;

StreamReader

reader=new StreamReader(MyRes.GetResponseStream(),System.Text.Encoding.GetEncoding("GB2312"));

return reader.ReadToEnd();

}

图3是笔者根据本文所述实现的一个简易的网络蜘蛛，该网络蜘蛛能对指定的网站进行爬行和页面下载，而此网络蜘蛛下载的页面是保存在指定的路径中，如果要是方便以后进一步建立索引，对页面信息进行处理的话，也可以把网站和页面信息保存在数据库中。

另外一个问题就是网络蜘蛛的爬行周期，太长的话，会影响网络信息的时效性，太短的话，第一技术上实现比较难，第二对网站服务器也增加了不少负担。一般网络蜘蛛的爬行周期设为7~15天之间。并且完成若干个周期之后，网络蜘蛛也不必把已经抓过的网页每次都重新抓取，只需比较网页的属性和上次抓取的有无不同，如果相同也就是没有更新，则不必抓取，如果不同则进行抓取更新。

三、小结

网络蜘蛛是搜集WEB资源信息情报的非常有效的工具。随着互联网资源的日益丰富，网络蜘蛛在情报资源获取方面会起到越来越重要的作用。[4]本文结合C#语言介绍了网络蜘蛛的设计和构建，实现了一种可以实用的网络蜘蛛。在以后的研究中，如何用网络蜘蛛在网页上获取更多和更准确的信息，提供更丰富的检索信息，以及如何提高网络蜘蛛的爬行和抓取效率是我们进一步努力的方向。

参考文献：

[1]宋晖,张岭,叶允明.基于标记树对象抽取技术的Hidden Web获取研究[J].计算机工程与应用,2002(23).

[2]于满泉.基于分块的网页信息解析器的研究与设计[J].计算机应用,2005(4).

[3]赫枫龄.用有向图法解决网页爬行中循环链接问题[J].吉林大学学报,2004（3）.

[4]陈先.智能搜索引擎关键技术研究与实现[J].哈尔滨工程大学,2003（2）.

作者：于俊洋　李　俊

网络蜘蛛设计研究论文篇3：

全文检索的原理与实现探讨

〔摘要〕本文主要在介绍全文检索的概念和原理的基础上,论述了全文检索的几种主要技术,并给出了逆向最大分词法的具体实现。

〔关键词〕全文检索;搜索引擎;中文分词

〔

Discussion on Principle and Implementation of Full Text SearchMan Peng

(Computer Center,Changchun University,Changchun 130022,China)

〔

〔Key words〕full text search;search engine;chinese division

全文检索是对大数据文本进行索引,在建立的索引中对要查找的单词进行搜索,定位哪些文本数据包括要搜索的单词。因此,全文检索的全部工作就是建立索引和在索引中搜索定位,所有的工作都是围绕这两方面展开的。下面本文就对它的原理、技术和实现,一一加以分析与探讨。

1 原理

全文搜索的典型代表是网络蜘蛛程序(网络机器人),可以通过对它的工作过程分析,分析出全文搜索的技术原理。网络蜘蛛程序是一个自动搜索程序,可自动在互联网上搜索信息。并且查看页面的内容,然后从中找到相关的信息,最后再从该页面的所有链接出发,继续寻找其它相关的信息。网络蜘蛛不断的重复这个过程,并把经过的所有网页收集到搜索引擎所在的服务器中,这个过程一般采用的是广度优先算法。当网络蜘蛛收集到信息后,接下来要进行以下几个方面的工作:

1.1 建立索引数据库

当网络蜘蛛存储网页后,再由自定义程序对服务器中保存的网页进行分析,提取相关网页的URL、编码类型、关键词位置、生成时间、大小和与其他网页的链接关系等。根据网站自定义的相关度算法进行运算,最后得到相关度信息,然后用这些相关信息建立网页索引数据库。

1.2 在索引数据库中搜索

当用户输入搜索内容,单击搜索按钮后,系统自定义程序开始根据相关技术,分析用户的搜索内容,然后从网页索引数据库中,找到包含用户搜索内容的所有相关网页。

1.3 对搜索结果进行排序

在网站自己的索引库中,对网页的每个关键词都有记载,根据关键词的搜索次数以及在网页中出现的次数等分析要素,对搜索到的结果进行排序,也可以自己定义排序处理程序。最后将处理好的结果展现出来。

2 技术

下面对于全文搜索中的主要几种技术,加以分析探讨,以便为全文搜索的技术实现提供某种思路。

2.1 中文分词技术

英文是以词为单位的,词与词之间上靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子I am Chinese,翻译成“我是中国人”。计算机可以很简单的通过空格知道Chinese是一个单词,但是不能很明白“中”、“国”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词。现有的分词算法有3种:基于字符串匹配的分词算法、基于理解的分词算法和基于统计的分词算法。本文不对此一一分析,请读者自行查阅相关文献。

2.2 排序技术

排序技术类似于曝光率,谁出现的次数最多,谁排在前面。在互联网上,链接就相当于“曝光”,在B网页中链接了A,相当于在谈话中提到了A,如果在C、D、E、F中都链接了A,那么说明A网页是最重要的,A便会排在最前面。另外还有HillTop算法等。

2.3 网络蜘蛛

网络蜘蛛即Web Spider,是一种很形象的网页搜索技术。把互联网比喻成一个蜘蛛网,那么Spider就是网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其他链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。在抓取网页的时候,网络蜘蛛一般有两种算法:广度优先和深度优先。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有的网页,然后再选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常用的方式,因为这个方法可以让网络蜘蛛并行处理,提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。这个方法的优点是比较容易设计。

3 实现

建立全文索引中有两项非常重要:一个是如何对文本进行分词;一个是建立索引的数据结构。

3.1 如何分词

分词的好坏关系到查询的准确程度和生成索引的大小。在中文分词发展中,早期经常使用分词方式是二元分词法,该方法的基本原理是将包含中文的句子进行二元分割,不考虑单词含义,只对二元单词进行索引。因此该方法所分出的单词数量较多,从而产生的索引数量巨大,查询中会将无用的数据检索出来,好处是算法简单不会漏掉检索的数据。之后又发展出最大匹配分词方法,该方法又分为正向最大分词和逆向最大分词。其原理和查字典类似,对常用单词生成一个词典,分析句子的过程中最大的匹配字典中的单词,从而将句子拆分为有意义的单词链。最大匹配法中正向分词方法对偏正式词语的分辨容易产生错误,比如“首饰和服装”会将“和服”作为单词分出。本文实现的是逆向最大分词方法,该分词方法较正向正确率有所提高。最为复杂的是通过统计方式进行分词的方法。该方法采用隐式马尔科夫链,也就是后一个单词出现的概率依靠于前一个单词出现的概率,最后统计所有单词出现的概率的最大为分词的依据。这个方法对新名词和地名的识别要远远高于最大匹配法,准确度随着取样文本的数量的增大而提高。二元分词方法和统计方法是不依赖于词典的,而最大匹配法分词方法是依赖于词典的,词典的内容决定分词结构的好坏。

3.2 索引的结构

索引的数据结构基本上采用倒排索引的结构。全文检索的索引被称为倒排索引,之所以称为倒排索引,是因为将每一个单词作为索引项,根据该索引项查找包含该单词的文本。因此,索引都是单词和惟一记录文本的标识是一对多的关系。将索引单词排序,根据排序后的单词定位包含该单词的文本。

3.3 逆向最大分词算法

逆向最大分词的实现算法说明:

(1)读取一整条句子到变量str中,转到(2);

(2)从句子的尾端读取1个字到变量word中,转到(3);

(3)在字典查找word中保存的单词。如果存在则保存word,转到(4),否则转到(5);

(4)如果是字典中最大单词或者超过最大单词数(认定为新词),从句尾去掉该单词,返回(2);

(5)读取前一个字到word中,构成新单词,转到(3)。

假设字典中有如下的单词:

中国

中华民国