关于开源的网络爬虫/网络蜘蛛larbin结构分析的一篇非常不错的文章
Thursday, January 1st, 2009larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。一个简单的larbin的爬虫可以每天获取５００万的网页。
利用larbin，我们可以轻易的获取/确定单个网站的所有联结，甚至可以镜像一个网站；也可以用它建立url 列表群，例如针对所有的网页进行 url retrive后，进行xml的联结的获取。或者是 mp3，或者定制larbin，可以作为搜索引擎的信息的来源。
网络爬虫如何抓取web2.0 Ajax页面
Wednesday, October 31st, 2007伴随着AJAX/Web2.0的流行，如何抓取Ajax页面成了搜索引擎急需解决的一个问题，因为Ajax颠覆了传统的纯HTTP请求/响应协议机制，如果搜索引擎依旧采用“爬”的机制，是无法抓取到AJAX页面的有效数据的。