网络爬虫是一个自动获取网页的程序，它为搜索引擎从互联网上下载网页，是搜索引擎的重要组成