在这里，您陪我走完了博客的最后一篇文章，博客里的文章还会给大家继续保留，恐怕这一段时间内不会再更新博客了。

时间与我赛跑，时间可宝贵，真的感觉时间不够用，再见！

这下我就给大家讲解一下我对爬虫的了解及假象和近期的实验总结。

爬虫的任务：

1，收集URL并给出反馈值。
2，抓取页面信息。
3，归拢、归类URL地址池，保存到搜索引擎库，待预处理。
4，地址池的归类。
5，进行计算及分析处理。
6，循环地址池并更新查找出最新的URL，直至没有出现新的URL。
7，对页面url的重要程序进行排序。

这里基本都是我本人的个人理解与发现，其实这只是很笼统的讲解，还需细分化，那我对爬虫的假象也有几点，如：爬虫可以跳出循环、爬虫可以计算字节、爬虫可以把抓到的URL归大项等等。

近期小黑做的SEO实验就说到这，如果有需要更深入的了解和分析，不妨加入我们的QQ群一并讨论，让搜搜引擎不在神秘，让大家更了解搜索引擎。

最后一句话是给在做SEO朋友的，SEO并非容易掌握，只有深入研究探索与发现才能使你进步，否则都是无用功。

我忠于搜索引擎的技术，也非常喜欢它丰富的传奇色彩，更广为人知的庞大数据，和用户对互联网上数据量的分解。据了解，中国目前的互联网数据量已经超过5EB也就是5的9次方TB，如此庞大的数据，搜索引擎是如何进行准确而又快速的展现给用户，这就是本篇文章的由来，让我们一起摸索搜索引擎浩瀚的海洋。

我个人比较喜欢Yhaoo!的目录索引结构，目录清晰，分类明确，而且能够快速的进行查询，大家可以看下图：

yahoo目录结构

 那么每天几亿次对搜索引擎频繁压力的操作，而搜索引擎会如此坚固，所以今天我们来绘画一张搜索引擎架构的示意图给大家看下，如下图：

搜索引擎系统架构示意图

以上是我对搜索引擎的见解，会有不足的地方，请见谅，如有什么疑问请在下方留言，感谢您对小黑的支持，您的鼓励是对我最大的帮助，我会通过博客再次分享更底层的搜索引擎知识，欢迎感兴趣的朋友加入我们的QQ讨论组：157062221

下面我会帮迷惑的朋友们解决这类问题：

首先，你要知道网站的标题，是这个页面的总标题，是搜索引擎进行判断这个页面的总数据，占总体的0.36分，所以一般做长尾关键词都要把文章标题设置为网站页面标题，只需要了解这些，你就应该知道，为什么修改标题会出现降权、惩罚的表现。其实不然，但修改标题，搜索引擎会重新计算标题的权重分，而0.36分会被带入计算，从而影响整体网站的质量程度，但如果是把标题写的完美，那网站排名、收录则更上一层楼！

下面有几个我之前写的文章，大家不妨去了解一下，主要针对搜索引擎对网站降权的细节分析：网站收录问题全面解答 、 网站未被收录或降权的原因 、怎么才能让搜索引擎收录更多页面 

（这里面提到的标题权重值0.36分，是我小黑本人做的计算，数值可以给大家分享，切勿商业化，解释权归沈阳seo小黑博客所有！）

词分为代词、连词、介词、助词、语气助词又有动词、能愿动词、趋向动词、形容词、副词，这些丰富的词种给了我们今天在搜索引擎中可以精准判断出哪些是我们想要找的结果。当然，还包括一些名词、人名、地名、机构名、其它专名可以直接检索出来，而叹词、拟声词、语素、标点、其它等会强调这个短语或词语对检索结果的补充。那么大家会明白我们今天做SEO，今天做网站优化其实真的没有那么简单，搜索引擎对自然语言的处理方式以及模拟人工智能这块做的已经非常完善，可以说是超乎你的想象。

接下来说下，分词中的技术对我们做SEO的帮助，我在这里只讲两点（对刚刚接触优化的朋友或许会有帮助的）：

第一：中文分词，可以着重某些重点词语，甚至可以让搜索引擎重排计算这些词。

第二：分词技术已经不是那么神秘，解开它的面纱指日可待，SEO的实践缺少不了，想学网站优化赶快实践。

以上文章由沈阳seo小黑提供，转载请注明此处，如有什么不懂的地方可以在下面留言板进行交流讨论。

测试速度：http://www.songshuiba.com 赠送空间管理面板、无限制！

QQ群：157062221

小黑QQ：290282086

因为无法被继续细分，所以Direct Traffic的真面目其实被蒙蔽了，而Google Analytics对于Direct Traffic的解释又无疑加深了这种误解。我们先看看GA是怎么解释的： How do the people who clicked a bookmark to come to your site or typed your site URL into their browser compare to the “average” visitor to your site? Direct traffic can include visitors recruited via offline (i.e. print, television) campaigns.（Direct Traffic用来衡量那些通过收藏夹或者在地址栏中输入网站URL的访问(者)，以及这部分访问(者)跟网站其他访问(者)之间的差异。直接流量能够包括那些通过线下营销宣传找到网站的访问者）。

之所以今天写这篇稿子，源于我之前图片站优化的一些数据，此数据作为参考依据，这也是我的大胆想象，请勿当真，或者大家可以按照这个思路走下去，揭开它神秘的面纱！

猜测之一：

图片网站优化何来原创？大家都知道，图片网站基本都是图片做用户浏览的终点，这样的网站看起来十分简单，无非是大量的图片堆积所成。如有优化者会对图片加以说明，或写一些文章来托出图片，可想而知，图片本身是固定的，那么对于优化者来讲，只能对文章来下功夫，其效果大家可想而知。

如果针对图片优化大家会想到就是那几个html标签，如：alt、titile等描述标签，问题来了，这些图片是固定了，但描述的文字却是不同的，所以给搜索引擎图片资料整合造成的影响，跑题了，呵呵。好，接着回来咱们的思路中，既然每个图片是固定的，那么图片的来源与质量（大小）是什么样的？这就是我今天大胆猜测图片站优化的一个实际上的东西，搜索引擎或许根据图片大小及描述来定义这个图片是否是原创图片，或者根据图片来源（远程截取）来判断图片是否是本站镇宝之物。

猜想二：看完上面的文字，或许你会有很多感慨和不理解，这个猜想留给现在的你！

二、搜索引擎之前世今生
搜索引擎的发展历史
搜索引擎的工作原理

三、Online Marketing / SEM / SEO /PPC /P4P

四、大、中、小型网站如何做SEO？
4.1站内优化
内链架构
URL架构
页面内容
网页结构/HTML元素
关键词战略
4.2站外优化
外部链接系统
哪些链接是恶性的无益的
4.3各种转化率
二跳率
浏览路径转化
注册转化
购买转化率
4.4搜索引擎有关的数据们
4.5日志、数据分析及挖掘：沿着小河去寻找大海

五、战术？战略？
5.1 精华之SEO战术
5.2更精华之SEO战略

六、SEO的相关部门、项目
6.1产品设计之SEO规范
6.2前端开发标准/规范
6.3技术开发规范
6.4市场线上合作规范
6.5SEO目的性的项目
目标用户引入
内容归类
竞争策略
话题营销
危机公关

七、N个需要懂的细节，N个名词解释

 非常不错的SEO培训大纲，得到孙老师的允许特来转发，【孙波个人博客 http://www.sunbo.name】