高效的搜索引擎 磁力天堂

第１９卷

Ｖｏ１．１９

第２３期

Ｎｏ．２３

电子设计工程

Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｓｉｇｎ Ｅｎｇｉｎｅｅｒｉｎｇ

２０１１年ｌ２月

Ｄｅｃ．２０１１

６搜一高效的专用ＩＰｖ６搜索引擎

黄皓凌，张凡

（深圳大学信息中心，广东深圳５１８０６０）

摘要：基于开源搜索引擎Ｎｕｔｅｈ．通过修改、调整和创新研制了文中介绍的６搜——一个专门搜索支持ＩＰｖ６协议网

站的专用ＩＰｖ６搜索引擎。６搜的特点和创新点有：采集ＩＰｖ６网页的速度在每秒１００页以上；采集了５４ １９５个ＩＰｖ６网

站，存储有２ ０００万ＩＰｖ６网页，并且网页在不断更新和增加；有中文分词功能和自主创新的搜索网站功能。通过运行，

６搜为用户提供了优质ＩＰｖ６搜索服务；通过对６搜采集数据的分析，得到世界ＩＰｖ６网站的分布。展现了ＩＰｖ６网络的

发展。

关键词：ＩＰｖ６；搜索；搜索引擎；搜索网站；网络爬虫；顶级域名；Ｎｕｔｃｈ；Ｌｕｃｅｎｅ

中图分类号：ＴＰ３９１．３ 文献标识码：Ａ 文章编号：１６７４—６２３６（２０１１）２３—００３４—０４

６ ＳＯＵ－Ａ ｈｉｇｈｌｙ ｅｆｆｅｃｔｉｖｅ ｓｐｅｃｉａｌｉｚｅｄ ＩＰｖ６ ｓｅａｒｃｈ ｅｎ ｎｅ

ＨＵＡＮＧ Ｈａｏ—ｌｉｎｇ，ＺＨＡＮＧ Ｆａｎ

（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｅｎｔｅｒ，Ｓｈｅｎｚｈｅｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｚｈｅｎ ５ １８０６０，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｂａｓｅｄ ｏｎ ｏｐｅｎ ｓｏｕｒｃｅ ｓｅａｒｃｈ ｅｎｇｉｎｅ Ｎｕｔｃｈ，ｔｈｒｏｕｇｈ ｍｏｄｉｆｉｃａｔｉｏｎ，ｔｕｎｉｎｇ ａｎｄ ｉｎｎｏｖａｔｉｏｎ，６ｓｏｕ，ａ ｓｅａｒｃｈ ｅｎｇｉｎｅ

ｔｈａｔ ｏｎｌｙ ｓｅａｒｃｈｅｓ ＩＰｖ６ ｐｒｏｔｏｃｏｌ ｓｕｐｐｏｒｔｉｎｇ ｗｅｂ ｓｉｔｅｓ，ｉｓ ｄｅｖｅｌｏｐｅｄ．Ｉｔ ｃｏｎｔａｉｎｓ ｆｏｌｌｏｗｉｎｇ ｆｅａｔｕｒｅｓ ａｎｄ ｉｎｎｏｖａｔｉｏｎｓ：６ｓｏｕ ｃｒａｗｌｓ

ＩＰｖ６ ｗｅｂ ｓｉｔｅｓ ａｔ ｍｏｒｅ ｔｈａｎ １００ ｐａｇｅｓ ｐｅｒ ｓｅｃｏｎｄ；６ｓｏｕ ｈａｓ ｃｒａｗｌｅｄ ５４１９５ ｗｅｂ ｓｉｔｅｓ ａｎｄ ｈａｓ ｓｔｏｒｅｄ ２０ ｍｉｌｌｉｏｎ ＩＰｖ６ ｗｅｂ

ｐａｇｅｓ；ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｐａｇｅｓ ｉｓ ｉｎｃｒｅａｓｉｎｇ ａｎｄ ｔｈｅ ｐａｇｅｓ ａｒｅ ｂｅｉｎｇ ｕｐｄａｔｅｄ ｃｏｎｔｉｎｕｏｕｓｌｙ；６ｓｏｕ ｈａｓ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ

ｆｅａｔｕｒｅ ａｎｄ ｉｎｄｅｐｅｎｄｅｎｔｌｙ ｉｎｎｏｖａｔｅｄ ｓｅａｒｃｈ ｗｅｂ ｓｉｔｅ ｆｅａｔｕｒｅ．Ａｆｔｅｒ ｇｏｉｎｇ ｏｎｌｉｎｅ，６ｓｏｕ ｈａｓ ｐｒｏｖｉｄｅｄ ｕｓｅｒｓ ｗｉｔｈ ｈｉｇｈ ｑｕａｌｉｔｙ

ＩＰｖ６ ｓｅａｒｃｈ ｓｅｒｖｉｃｅ．Ｔｈｒｏｕｇｈ ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ｄａｔａ ｃｏｌｌｅｃｔｅｄ ｂｙ ６ｓｏｕ，ｗｏｒｌｄ ＩＰｖ６ ｗｅｂ ｓｉｔｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｉｓ ｐｒｅｓｅｎｔｅｄ．Ｉｔ ｒｅｆｌｅｃｔｓ

ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ＩＰｖ６ ｎｅｔｗｏｒｋ．

Ｋｅｙ ｗｏｒｄｓ：ＩＰｖ６；ｓｅａｒｃｈ；ｓｅａｒｃｈ ｅｎｇｉｎｅ；ｓｅａｒｃｈ ｗｅｂ ｓｉｔｅ；ｗｅｂ ｃｒａｗｌｅｒ；ｔｏｐ ｌｅｖｅｌ ｄｏｍａｉｎ ｎａｍｅ；Ｎｕｔｃｈ；Ｌｕｃｅｎｅ

随着ＩＰｖ４地址用尽。ＩＰｖ６的推广正在加快步伐。中国从

教育网开始建立ＩＰｖ６网络，现在愈来愈多的网站支持ＩＰｖ６。

本文描述我们研制的专用ＩＰｖ６搜索引擎【１‘１‘６搜”。６搜只搜索

支持ＩＰｖ６协议的网站，即搜索只支持ＩＰｖ６的网站也搜索既

支持ＩＰｖ６又支持ＩＰｖ４的网站．如果一个网站仅支持ＩＰｖ４则

不在６搜搜索范围之内，不管这个网站的内容与ＩＰｖ６主题有

关与否。

其他ＩＰｖ６搜索引擎包括ＣＥＲＮＥＴ网络中心自主开发的

网络指南针［２１，上海交通大学的ＩＰｖ６网站搜索引擎Ｓｅａｒｃｈ６ｔ３１，

华南理工大学广东省网络重点实验室和华中科技大学、北京

大学、清华大学联合研制的下一代互联网分布式搜索引擎

Ｓｅ６ 。

另一个与ＩＰｖ６有关的搜索引擎是谷歌ＩＰｖ６。但它不是

一个“ＩＰｖ６搜索引擎”，也不是“专用ＩＰｖ６搜索引擎”。谷歌

ＩＰｖ６搜索的回复内容和谷歌ＩＰｖ４网站搜索回复的内容是完

全一样的。谷歌ＩＰｖ６没有提供功能以区分网站支持ＩＰｖ６还

是ＩＰｖ４，或两者都支持。谷歌ＩＰｖ６的搜索回复内容既包含

ＩＰｖ４网站的网页也包含ＩＰｖ６网站的网页。用户无法区分，除

收稿日期：２０１１—０９—１６ 稿件编号：２０１１０９０８８

作者简介：黄皓凌（１９７２一），男，广东梅州人，硕士，高级工程师。

—．３４——

非用户只有ＩＰｖ４或ＩＰｖ６而导致点击仅支持所缺协议的网站

会无法连接。ｉｐｖ６．ｇｏｏｇｌｅ．ｅｏｍ是ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ在ＩＰｖ６上的

镜像，用户可以通过ＩＰｖ６访问谷歌原有的的搜索引擎。所以

称ｉｐｖ６．ｇｏｏｇｌｅ．ｃｏｍ为ＩＰｖ６搜索引擎是不合适的。它是一个

“支持ＩＰｖ６的搜索引擎”。这里支持有两个方面，一是支持用

户通过ＩＰｖ６访问，二是搜索内容包括支持ＩＰｖ６的网站。如果

从第二方面讲，ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｎ也是“支持ＩＰｖ６的搜索引

擎”，因为其搜索内容中也包含支持ＩＰｖ６的网站。但用户不能

通过ＩＰｖ６访问ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ。所以通常不认为它是“支持

ＩＰｖ６的搜索引擎”。

６搜现在收集有近２０００万ＩＰｖ６网页，而且网页在不断更

新，包括中国和国外的网页。查询回复时间在一秒以内。相比

之下。网络指南针使用的是ｗｇｅｔ程序采集网页，而非使用专用

的网页采集程序。Ｓｅ６网页数比较多但搜索回复时间比较长，

并且不是专用的ＩＰｖ６搜索引擎，也搜索ＩＰｖ４网页。Ｓｅａｒｃｈ６

没有中文分词功能，没有搜索网站功能．网页数量少。

１ ６搜的设计和结构

在研制６搜的过程中，在开源搜索引擎Ｎｕｔｃｈｔ￣的基础上

研究方向：计算机．网络。

黄皓凌．等 ６搜一高效的专用ＩＰｖ６搜索引擎

进行了修改、调整和创新。６搜网页采集速度在每秒１００页以

上．可以迅速判断网站是否支持ＩＰｖ６，跳过只支持ＩＰｖ４的网

站，专搜支持ＩＰｖ６的网站。６搜显示搜索结果时同时提供“搜

索”和“搜索网站”功能，此为６搜的创新点之一。搜索是搜索

网页．在所有含关键字的网页被找到后进行排序。因为ＩＰｖ６

网站的数目少于ＩＰｖ４网站的数目，排序之后时常会发生搜索

结果中一部分或者相当多的网页是来自相同的网站。“搜索”

功能不对这样的结果进行修改。而６搜的“搜索网站”功能对

搜索结果进行合并．按照每个网站排名最高的网页对网站进

行排名。

描述“搜索网站”结果的算法如下：

Ａｌｇｏｒｉｔｈｍ １搜索网站

Ｒｅｑｕｉｒｅ：排序后的网页ＵＲＬ字符串数组ｐａｇｅｓ（索引范

围从１到ｎ）

建立包含两个字符串域ｓｉｔｅ，ｔｏｐ＿ｐａｇｅ结构的数组ｓｉｔｅｓ

ｊ １

ｆｏｒ ｉ＝１ ｔｏ ｎ ｄｏ

ｓｉｔｅ

＿

ｏｆ

＿ｐａｇｅ＋。。ｐａｇｅｓ［ｉ］所在的网站

ｉｆ（ｓｉｔｅ＿ｏｆ＿ｐａｇｅ∈ｓｉｔｅｓ［１ ｔｏ ｊ－１］．ｓｉｔｅ）＝ｆａｌｓｅ ｔｈｅｎ

ｓｉｔｅｓ￣］．ｓｉｔｅ ｓｉｔｅ—ｏｆ＿ｐａｇｅ

ｓｉｔｅｓ［ｊ］．ｔｏｐ＿ｐａｇｅ＋。’ｐａｇｅｓ［ｉ】

ｊ—ｊ＋１

ｅｎｄ ｉｆ

ｅｎｄ ｆｏｒ

ｆ按顺序逐个输出ｓｉｔｅｓ内的网站和网页，在每个网页的

下方建立一个链接指向此

网站的更多网页１

ｆｏｒ ｉ＝１ ｔｏ ｉ一１ ｄｏ

ｐｒｉｎｔ ｓｉｔｅ［ｊ］．ｔｏｐ＿ｐａｇｅ

ｐｒｉｎｔ摘要

ｐｒｉｎｔ超链接含有ａｎｃｈｏｒ文本：ｓｉｔｅ［ｊ］．ｓｉｔｅ＋“网站内

更多搜索结果”

ｅｎｄ ｆｏｒ

实现这个算法的方法是把Ｎｕｔｃｈ提供的搜索结果处理

程序进行修改。

以下以实例描述搜索网站和搜索的区别以及搜索网站功

能的特点。在６搜按搜索键搜索“传感器”关键字的结果是：

第１一ｌＯ项（共有３，７３８项查询结果）：

２０１０无线传感器网络及物联网技术国际研讨会一教育

信息化一中国教育和科研计算机网ＣＥＲＮＥＴ

…交流阶段，紧密围绕无线传感器网络应用关键技术和

工业界…传感器网络产业技术开发、无线传感器…１１７亿

会议信息２０１０无线…

ｈｔｔｐ：／／ｗｗｗ．ｅｄｕ．ｃｎ／ｘｓ

＿

ｈｕｉ

＿

ｙｉ

一

５６７４／２０１０１１２５／ｔ２０１０１１２５

—

５４４３７１．ｓｈｔｍｌ ｃａｃｈｅｄ ｅｘｐｌａｉｎ ａｎｃｈｏｒｓ

物联网传感器芯片三年后３０％国产化一教育信息化一

中国教育和科研计算机网ＣＥＲＮＥＴ

…普通轿车约安装一百多只传感器，豪华轿车传感器甚

至多达二百余只。（文章…ＩＰｖ６如何大显身手？物联网传

感器…

ｈｔｔｐ：／／ｗｗｗ．ｅｄｕ．ｃｎ／ｇｊｊｓ一７９５１，２０ｌ００９１４ｌ／ｔ２０１０Ｏ９１４＿５２１５８９．

ｓｈｔｍｌ ｃａｃｈｅｄ ｅｘｐｌａｉｎ ａｎｃｈｏｒｓ

三大技术推进物联网的实现：ＩＰｖ６传感器云一教育信

息化一中国教育和科研计算机网ＣＥＲＮＥＴ

…技术推进物联网的实现：ＩＰｖ６传感器云一教育信息

化一中国教育…技术推进物联网的实现：ＩＰｖ６传感器云

ｈｔｔｐ：／／ｗｗｗ．ｅｄｕ．ｃｎ ２０１ １－Ｏ１—０５作者…

ｈｔｔｐ：／／ｗｗｗ．ｅｄｕ．ｃｎ／ｐｌ

＿

９６６０／２０１ １０１０５ｈ２０１ １０１０５

—

５６６６３７．

ｓｈｔｍｌ ｃａｃｈｅｄ ｅｘｐｌａｉｎ ａｎｃｈｏｒｓ

注意到排名前三位的网页均出自ｗｗｗ．ｅｄｕ．ｅｎ。相比之

下，在６搜按“搜索网站”键搜索“传感器”关键字的结果是：

第ｌ—ｌ０项（共有３，７３８项查询结果）：

２０１０无线传感器网络及物联网技术国际研讨会一教育

信息化一中国教育和科研计算机网ＣＥＲＮＥＴ

…交流阶段，紧密围绕无线传感器网络应用关键技术和

工业界…传感器网络产业技术开发、无线传感器…ｌ１７亿

会议信息２０１０无线…

ｈｔｔｐ／￣ｒｗｗｅｄｕｃｒｋｓｈｕｉ

＿

ｙｉ

＿

５６７４／２０１０１１２５￣２０１０１１２５

＿

５４４３７ｋ

ｓｈｔｍｌ ｃａｃｈｅｄ ｅｘｐｌａｉｎ ａｎｃｈｏｒｓ

ＷＷＷ．ｅｄｕ．ａｎ网站内更多搜索结果

清华大学一Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ

…基于频率变化的数字量传感器

ｈｔｔｐ＇．／／ｗｗｗ．ｔｓｉｎｇｈｕａ．ｅｄｕ．ｅｎ／ｐｕｂｌｉｓｈ／ｔｈ／６１７６／ｉｎｄｅｘ．ｈｔｍｌ ｃａｃｈｅｄ

ｅｘｐｌａｉｎ ａｎｃｈｏｒｓ

ｗｗｗ．ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃｎ网站内更多搜索结果

开放课题指南

…异构性强、数量庞大的无线传感器网络，研究无线传

感器网络的管理架构、管理信息…效率分析。课题２：无

线…

ｈｔｔｐ：／／ｗｗｗ．ｉｎｔ．ｂｕｐｔ．ｃｎ／ｔｏｐｉｃ／２００９－０８－１３－１７－２６－２１．ｈｔｍｌ

ｃａｃｈｅｄ ｅｘｐｌａｉｎ ａｎｃｈｏｒｓ

ＷＷＷ．ｉｎｔ．ｂｕｐｔ．ｃｎ网站内更多搜索结果

搜索网站结果中，除了ｗｗｗ．ｅｄｕ．ｅｎ网站排第一位的网页

被保留以外，其它所有出自ｗｗｗ．ｅｄｕ．ｃｎ网站的网页都不再显

示，取而代之的是ｗｗｗ．ｅｄｕ．ｃｎ网站内更多搜索结果的链接。

其他网页下面也有各自的…网站内更多搜索结果的链接。

Ｇｏｏｇｌｅ搜索的网站因含纯ＩＰｖ４网站，所以数量多．出现

搜索结果中含有多个网页出于同一个网站并且排名连续的

情况比较少，但这个问题有时会出现，比如在Ｇｏｏｇｌｅ搜索关

键词“Ｊａｖａ”有以下结果：

１）Ｄｏｗｎｌｏａｄ Ｆｒｅｅ Ｊａｖａ Ｓｏｆｔｗａｒｅ

ｉ。ｐａｇｅ ｉｓ ｙｏｕｒ ｓｏｕｒｃｅ ｔｏ ｄｏｗｎｌｏａｄ ｏｒ ｕｐｄａｔｅ ｙｏｕｒ

ｅｘｉｓｔｉｎｇ Ｊａｖａ Ｒｕｎｔｉｍｅ Ｅｎｖｉｒｏｎｍｅｎｔ，ａｌｓｏ ｋｎｏｗｎ ａｓ ｔｈｅ Ｊａｖａ

Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ（ＪＶＭ，ＶＭ，ａｎｄ Ｊａｖａ ＶＭ）…．

－３５．．

《电子设计工程）２０１１年第２３期

ＷｌＣＷ．ｊａｖａ．ｃｏｒｎ／ｇｅｔｊａｖａ／一Ｃａｃｈｅｄ

２） ａｖａ．ｃｏｍ：Ｊａｖａ＋Ｙｏｕ

Ｇｅｔ ｔｈｅ ｌａｔｅｓｔ Ｊａｖａ Ｓｏｆｔｗａｒｅ ａｎｄ ｅｘｐｌｏｒｅ ｈｏｗ Ｊａｖａ

ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｖｉｄｅｓ ａ．．．

ｗｗｗ．ｊａｖａ．ｃｏｍ／－Ｃａｃｈｅｄ－Ｓｉｍｉｌａｒ

３）Ｗｈａｔ ｉｓ Ｊａｖａ ａｎｄ ｗｈｙ ｄｏ Ｉ ｎｅｅｄ ｉｔ？

Ｊａｖａ ｉｓ ａ ｐｒｏｇｒａｍｍｉｎｇ ｌａｎｇｕａｇｅ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ

ｆｉｒｓｔ ｒｅｌｅａｓｅｄ ｂｙ Ｓｕｎ．．．

ｗｗｗ．ｊａｖａ．ｃｏｍ／ｅｎ／ｄｏｗｎｌｏａｄ／ｆａｑ／ｗｈａｔｉｓ＿ｊａｖａ．ｘｍｌ—Ｃａｃｈｅｄ—

Ｓｉｍｉｌａｒ

Ｓｈｏｗ ｍｏｒｅ ｒｅｓｕｌｔｓ ｆｒｏｍ ｊａｖａ．ｔｏｍ

４）Ｊａｖａ（ｐｒｏｇｒａｍｍｉｎｇ ｌａｎｇｕａｇｅ）－Ｗｉｋｉｐｅｄｉａ，ｔｈｅ ｆｒｅｅ ｅｎｃｙ－

ｃｌｏｐｅｄｉａ

Ｊａｖａ ｉｓ ａ ｐｒｏｇｒａｍｍｉｎｇ ｌａｎｇｕａｇｅ ｏｒｉｇｉｎａｌｌｙ ｄｅｖｅｌｏｐｅｄ ｂｙ

Ｊａｍｅｓ Ｇｏｓｌｉｎｇ ａｔ Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ（ｗｈｉｃｈ ｉｓ ｎｏｗ ａ ｓｕｂｓｉｄｉａｒｙ

ｏｆ Ｏｒａｃｌｅ Ｃｏｒｐｏｒａｔｉｏｎ）ａｎｄ ｒｅｌｅａｓｅｄ ｉｎ…

ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｊａｖａ＿ （ｐｒｏｇｒａｍｍｉｎｇ＿ｌａｎｇｕａｇｅ） 一

Ｃａｃｈｅｄ—Ｓｉｍｉｌａｒ

注意到第３项有Ｓｈｏｗ ｍｏｒｅ ｒｅｓｕｌｔｓ ｆｒｏｍ ｉａｖａ．ｃｏｍ而第４

项却没有Ｓｈｏｗ ｍｏｒｅ ｒｅｓｕｌｔｓ ｆｒｏｍ ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ。给人印象是

ｉａｖａ．ｃｏｒｎ网站里有多个含有ｉａｖａ关键字的网页而维基百科没

有，实际上维基百科（ｅｎ．ｗｉｋｉｐｅｄｉａ．０ｒｇ）里含有Ｊａｖａ词条也不

止一个，比如ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｊａｖａ就是一个维基百

科里Ｊａｖａ的搜索结果，但是谷歌并没有提供“显示更多维基

百科的Ｊａｖａ搜索结果”链接使得用户可以通过点击这个链接

而同时看到Ｊａｖａ编程语言和Ｊａｖａ（爪哇）岛的条目。６搜的

“搜索网页”功能会在维基百科的结果下列出Ｓｈｏｗ ｍｏｒｅ

ｒｅｓｕｌｔｓ ｆｒｏｍ ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ。原Ｎｕｔｃｈ的搜索结果呈现方法

是每个网站只列出排名最高的前两个网页，而在每个网站第

一个网页的下方列出其网站（ｍｏｒｅ ｆｒｏｍ ｈｔｔｐ：／／…）提示用户点

击以列出网站中的其它搜索结果。网页下方换页的键是ｎｅｘｔ

ｐａｇｅ。在显示了几页后，显示页面下方的键从ｎｅｘｔ ｐａｇｅ换为

ｓｈｏｗ ａｌｌｈｉｔｓ，用户点击ｓｈｏｗ ａｌｌｈｉｔｓ以后，Ｎｕｔｃｈ转入网页列出

模式，列出所有网页而不列出网站。这样就常会出现多个网

页出自同～个网站，而且这些网页往往在排名上是连续的．在

屏幕上连在一起。Ｎｕｔｃｈ这种中途转换显示方式的方法虽然

提供了两种不同的结果显示方法，但却使不少用户感到迷惑．

因为这种结果显示方式和其他搜索引擎的显示方式不同。

６搜的创新解决方法是提供前面提到的“搜索网站”功

能。在实现过程中，对Ｎｕｔｃｈ源代码进行修改。在Ｎｕｔｃｈ源码

中每个网站列出的网页数是可以选择的．６搜设置每个网站

列出的网页数为１而且提供在这个参数下的搜索结果为搜

索网站的搜索结果（再加上网站链接）。所以６搜的搜索网站

的搜索结果是网站和这些网站排名最前的网页。网站的排名

是由网站内排名最前的网页的排名决定的。６搜直接提供“搜

索”和“搜索网站”的功能而不是象Ｎｕｔｃｈ那样在显示了几页

结果之后转入另一种模式。用户从开始有了选择搜索方式的

－３６－

选项。

谷歌使用的是一种既含有搜索又含有搜索网站的搜索

结果呈现方式。谷歌根据算法列出有些网页所在的网站．而

对有些网页则不列出其网站，即使在同一网站有其他网页有

相同的关键字。百度搜索结果似乎全部是网页。以Ｊａｖａ的搜

索结果为例，在第１页里百度并没有列出ｗｗｗ．ｊａｖａ．ｃｏｍ更多

搜索的结果的链接，而仅在ｔｉｅｂａ．ｂａｉｄｕ．ＣＯＢ的一个网页下显

示“更多贴吧相关讨论”

６搜是基于开源搜索引擎Ｎｕｔｃｈ １．１版。Ｎｕｔｃｈ是基于

Ｌｕｃｅｎｅ搜索引擎。Ｎｕｔｃｈ和Ｌｕｃｅｎｅ都使用Ｊａｖａ语言，可以支

持分布式，几亿或更多网页的搜索。Ｎｕｔｃｈ网络爬虫的原理是

从种子网站出发，一层一层采集由超链接连接起来的网页。

每遍历一层把收取的网页进行分析，筛选出排名最高的网页

进行下一次的采集。总的来说，采集ＩＰｖ６网页的方法有两种，

一是从ＩＰｖ６的网站种子出发，跟随ＩＰｖ６的超链接进行采集，

这样收集到的网页从种子到网页都是经过ＩＰｖ６网站的超链

接。另一种方法是从种子出发收集ＩＰｖ６和ＩＰｖ４网页，并对每

个网页进行标记（ＩＰｖ６和／或ＩＰｖ４），搜索时根据需要提供

ＩＰｖ６、ＩＰｖ４的网页。如果不使用超链接遍历，采取ＩＰ地址的全

范围采集，在ＩＰｖ６地址域上是难以进行的，因为ＩＰｖ６地址数

量巨大，有３．４ｘ１０３８个地址，不可能在较短时间内遍历地址。

６搜采取的是ＩＰｖ６超链接遍历法。以网上收集到的ＩＰｖ６

网站做种子作为采集的开始。以下介绍为了进行ＩＰｖ６网页采

集对Ｎｕｔｃｈ爬虫的修改。Ｎｕｔｃｈ的爬虫有一个队列填充器，多

个队列，（其中每个队列对应一个网站，即是同一个网站在本

次将被收集的所有网页都在一个队列里），多个采集网页的

线程。在采集网页线程中做如下判断，如果进行ＩＰｖ６网页采

集（这个功能在程序运行时用一个开关一ｉｐｖ６控制，如果没有

这个选项，网页爬虫不进行ＩＰｖ６过滤）．对每个网站主机名做

一次ＩＰ地址查询。因为一个网站可能有ＩＰｖ４地址或ＩＰｖ６地

址，或既有ＩＰｖ４地址又有ＩＰｖ６地址，６搜把查询结果的返回

顺序设为先返回ＩＰｖ６地址，后返回ＩＰｖ４地址。如果返回的地

址是ＩＰｖ４在先，就说明这个网站没有ＩＰｖ６地址，是一个纯

ＩＰｖ４网站，６搜采集网页线程即跳过这个网站不进行采集。如

果先返回的地址是ＩＰｖ６．说明这是一个支持ＩＰｖ６的网站，６

搜不管下一个地址是不是ＩＰｖ４地址．采集网页线程会开始采

集这个网页。

提高网页采集速度可以在同样的时间内采集更多的网

页，还可以加快网页更新的速度。采集网页线程进行多线程

地址查询的时候需要进行高速、并行的地址解析。Ｊａｖａ的地

址解析函数ＩｎｅｔＡｄｄｒｅｓｓ．ｇｅｔＨｏｓｔＡｄｄｒｅｓｓ自带缓存［６１，如果有查

询到已经查询过的网站。ＩｎｅｔＡｄｄｒｅｓｓ会在缓存中查找地址，

速度很快。缓存项的保留时间需要被改得长一些，比如两个

星期。但是这个缓存在ＪＶＭ运行之后就会消失，下次运行爬

虫的时候又要进行缓存的建立过程，而这个建立过程是比较

缓慢的，通常要等一段时间以后大部分的域名才被加入缓

存。进一步的方法是同时使用建立在服务器上的专用缓存

黄皓凌，等 ６搜一高效的专用ＩＰｖ６搜索引擎

ＤＮＳ服务器。６搜使用ＢＩＮＤ，在Ｒｅｃｕｒｓｉｖｅ ＤＮＳ Ｃａｃｈｅ模式上

实现。缓存项保存时间设为三个星期。这样，缓存项就长期保

存在专用ＤＮＳ服务器里面。

６搜爬虫有时会遇到截短的ｚｉｐ文件，它们会导致ｚｉｐ解

析／解压器进入无限循环而降低网页采集速度并加重服务器

的负载。解决这个问题需要下载ａｐａｃｈｅ—ｃｏｍｍｏｎｓ—ｃｏｍｐｒｅｓ一

１．１．ｊａｒ替换原先在ｐｌｕｇｉｎｓ／ｐａｒｓｅ—ｔｉｋａ目录里的１．０版本。

能处理中文的搜索引擎需要有中文分词功能，中文分词

就是把一个中文的句子分成词，如果没有特制的中文分词功

能．最简单的方法就是每个字被分作一个词。如果这样搜索

“互联网”会把含有“互”、“联”、“网”单字的网页也搜索出来。

Ｎｕｔｃｈ自带的中文分词即是把每个字分做一个词。６搜整合

了极易中文分词ＪＥＡｎａｌｙｓｉｓｏｌ以实现中文分词功能。

２ ６搜采集的数据

６搜自从２０１０年ｌ１月上线以来到２０１１年６月，采集了

５４１９５个ＩＰｖ６网站的网页。其中ＩＰｖ６网站最多的顶级域名如

表１和图１所示

图１世界ＩＰｖ６网站分布

Ｆｉｇ．１ Ｗｏｒｌｄ ＩＰｖ６ ｗｅｂ ｓｉｔｅ ｄｉｓｔｒｉｂｕｔｉｏｎ

根据ＩＰｖ６论坛发布，截止２０１１年６月８日。全球共有

１ ２０６个网站获得ＩＰｖ６ Ｅｎａｂｌｅｄ ＷＷＷ Ｌｏｇｏ．其中中国大陆有

２７６个网站获得Ｌｏｇｏ，占全球总量的２５％左右，居世界首位目。

相比之下，６搜记录的是网络爬虫采集过网页的网站，其中一

些是使用虚拟主机（Ｖｉｒｔｕａｌ Ｈｏｓｔｉｎｇ）共享ＩＰ地址的网站，包

括博客网站等．与ＩＰｖ６论坛手工登记的网站不完全相同。

３与ＩＰｖ６有关的搜索引擎

６搜与其它与ＩＰｖ６有关的搜索引擎在表２中比较。６搜

自２０１１年ｌ１月上线两个月后在多个主流搜索引擎（百度，

谷歌，搜狗，搜搜）“ＩＰｖ６搜索”关键字搜索下均排名领先。

４结束语

６搜是已知目前国内领先的专用ＩＰｖ６搜索引擎。６搜协

助推广ＩＰｖ６网络，为用户提供ＩＰｖ６内容详细搜索。并且，对

已采集ＩＰｖ６网站的统计也展示了ＩＰｖ６的快速发展状况。由

于ＩＰｖ６上的一项重要应用是物联网，ＩＰｖ６物联网搜索是今

后研究的一个课题。另外随着ＩＰｖ６的普及，ＩＰｖ６网站内容越

来越多，６搜的采集规模也将逐步扩大。

表１世界 ６网站分布

Ｔａｂ．１ ＷＯｒＩｄⅡＩｖ６ ｗｅｂ ｓｉｔｅ ｄｉｓｔｒｉｂｕｔｉｏｎ

表２与Ⅱ＇ｖ６有关的搜索引擎｝ 较

Ｔａｂ．２ ＩＰｖ６ ｒｅｌａｔｅｄ ｓｅａｒｃｈ ｅｎｇｉｎｅ ｃｏｍｐａｒｉｓｏｎ

参考文献：

［１］黄皓凌，张凡．６搜【ＥＢ／ＯＬ］．（２０１１－０７－０５）．ｈｔｔｐ：／／６ｓｏｕ．ＳＺＵ．

ｅｄｕ・ｃｎ． （下转第４０页）

－３７－

《电子设计工程｝２０１１年第２３期

图６主界面

Ｆｉｇ．６ ＭａｉｎＩｎｔｅｒｆａｃｅ

独立测试。

１）测试连接支持

构成完整的测试系统需要以下硬件设备：

①综合信息处理装置（内部固化控制程序）：

②综合测控器（内部固化控制程序）；

③综合控制器（内部固化控制程序）；

④直流稳压电源。

２）测试设备连接

各设备的连接关系如图７所示。

综台信

图７测试设备连接图

Ｆｉｇ．７ Ｔｅｓｔ ｅｑｕｉｐｍｅｎｔ ｂｌｏｃｋ ｄｉａｇｒａｍ

３）测试内容

测试内容包括ＲＡＭ测试、读板号测试、本机ＤＰＲＡＭ测

试、其他板ＤＰＲＡＭ测试１７］、电源板ＤＰＲＡＭ测试、读ＣＰＵ板

ＲＴ值、指令测试、Ａ／Ｄ测试、状态量１—１０测试、心跳信号测

试、本机心跳使能、本机心跳禁止、同步信号测试、本机同步

使能、本机同步禁止、１５５３Ｂ工作模式切换测试、机器复位、复

位封锁、结果清除、自动循环测试。

５结束语

在综合信息处理系统的研制过程中，采用模块设计．基

于ＡＲＭ芯片的设计和使用集成度高、功耗低、可靠性高：综

合信息处理系统经过严格的测试，符合各项功能需求，性能

稳定、可靠。

参考文献：

［１】张石．ＡＲＭ嵌入式系统设计【Ｍ】．北京：机械工业出版社，

２０１０．

［２１刘凯．ＡＲＭ嵌入式接口技术应用【Ｍ１．北京：清华大学出版

社．２００９．

【３】黄菁，刘青春．ＡＲＭ嵌入式系 ＧＰＩＯ￥￣展键盘设计『Ｊ１．自

动化应用，２０１１，７：１—３．

ＨＵＡＮＧ Ｊｉｎｇ．ＬＩＵ Ｑｉｎｇ－ｅｈｕｎ．Ｔｈｅ Ｄｅｓｉｇｎ ｏｆ ＧＰＩＯ Ｅｘｔｅｎｄｅｄ

Ｋｅｙｂｏａｒｄ Ｂａｓｅｄ Ｏ１１ ＡＲＭ Ｅｍｂｅｄｄｅｄ Ｓｙｓｔｅｍ，Ａｕｔｏｍａｔｉｏｎ

Ａｐｐｌｉｃａｔｉｏｎ，２０１１，７：１－３．

【４］余祖龙．面向对象程序设计与ＶＣ程序设计入门【Ｍ】．北京：

北京航空航天大学出版社．２０１０．

【５】张忠帅．ＶＣ＋＋２００８题应用程序开发实例精讲【Ｍ】．北京：

电子工业出版社．２００８．

【６］欧阳志宏，董霖，钟俊华．ＭＦＣ＃￣－序设计轻松入门【Ｍ］．北

京：人民邮电出版社。２００９．

【７】刘海旭，马连川，李世光．一种安全计算机板级测试系统

的设计与实现［Ｊ】．现代电子技术，２０１ｌ（５）：１３１－１３４．

ＬＩＵ Ｈａｉ—ｘｕ，ＭＡ Ｌｉａｎ－ｅｈｕａｎ，Ｕ Ｓｈｉ—ｇｕａｎｇ．Ｄｅｓｉｇｎ ａｎｄ

ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆｂｏａｒｄ ｌｅｖｅｌ ｔｅｓｔｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ｓａｆｅｔｙ ｃｏｍｐｕｔｅｒ

［Ｊ１．Ｍｏｄｅｒｎ Ｅｌｅｃｔｒｏｎｉｃｓ Ｔｅｃｈｎｉｑｕｅ，２０１１（５）：１３１－１３４．

（上接第３７页）

［２］叶绍志，刘辉，李粤，等．从搜索引擎 ＩＰｖ６网络增长［Ｊ］．

中兴通讯技术，２００２，８（３）：１—３．

ＹＥ Ｓｈａｏ—ｚｈｉ，ＬＩＵ Ｈｕｉ，ＬＩ Ｙｕｅ，ｅｔ ａ１．Ｖｉｅｗｉｎｇ ｔｈｅ ｇｒｏｗｔｈ ｏｆ

ＩＰｖ６ ｎｅｔｗｏｒｋｓ ｔｈｒｏｕｇｈ ｓｅａｒｃｈ ｅｎｇｉｎｅ［Ｊ］．ＺＴＥ Ｔｅｃｈｎｏｌｏｇｙ

Ｊｏｕｒｎａｌ，２００２，８（３）：１－３．

【３】上海交通大学网络信息中心．Ｓｅａｒｃｈ６［ＥＢ／ＯＬ］．（２０１１－０７—

０５）．ｈｔｔｐ：／／ｓｅａｒｅｈ６．ｓｊｔｕ．ｅｄｕ．ｃｎ

『４】华南理工大学广东省网络重点实验室．下一代互联网分

布式搜索引擎【ＥＢ／ＯＬＩ．华南理工大学，（２０１１—０７－０５）．

ｈｔｔｐ：／／ｗｗｗ．ｓｅ６．ｅｄｕ．ｏｎ

【５】Ａｐａｃｈｅ Ｎｕｔｃｈ．Ｎｕｔｃｈ【ＥＢ／ＯＬ］．（２０１１－０７—０５）．ｈｔｔｐ：／／ｎｕｔｅｈ．

－４０．．

ａｐａｃｈｅ．ｏｒｇ

［６］Ｈｅｙｄｏｎ Ａ，Ｎａｊｏｒｋ Ｍ．Ｍｅｒｃａｔｏｒ：Ａ ｓｅａｌａｂｌｅ，ｅｘｔｅｎｓｉｂｌｅ ｗｅｂ

ｃｒａｗｌｅｒ ＩＪ】．Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ，１９９９，２（４）：２１９—２２９．

［７】极易软件．极易中文分词【ＥＢ／ＯＬ］．（２０１０—１１—０１）．ｈｔｔｐ：／／

ｊｅｓｏｆ１．ｃｎ：９０８０．

【８］ＩＰｖ６￣．全球支持ＩＰｖ６网站破千中国大陆位居第－－［ＥＢ／

ＯＬ］． （２０１ １ ＿０７ ＿０５）．ｈｔｔｐＹ／ｗｗｗ．ｉｐｖ６ｄａｙ．ｅｎ／ｉｐｖ６ｄａｙ．

ａｓｐＡｒｔｉｅｌｅｌＤ＝－５６３

【９］李明．百度将于今年三季度正式提供ＩＰｖ６访问服务．【ＥＢ／

ＯＬ］．（２０１ １一ｏ７－５）ｈｔｔｐ：ＪＪｗｗｗ．ｃｎｂｅｔａ．ｃｏｒｒｄａｒｔｉｃｌｅｓ／１３９５４３．

ｈｔｍ．