爬虫是黑客技术吗_网络爬虫属于黑客吗

python爬虫被当做黑客攻击是怎么回事呢

因为爬取数据的时候造成大量的数据访问，且有可能暴露敏感信息

且访问网站的行为也不像正常用户访问，所以会被当成攻击

什么是网络爬虫

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

蚂蚁(ant)，自动检索工具(automaticindexer)，或者(在FOAF软件概念中)网络疾走(WEB

scutter)，是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。

它们可以自动采集所有其能够访问到的页面内容，以供搜索引擎做进一步处理(分检整理下载的页面)，而使得用户能更快的检索到他们需要的信息。

网络爬虫始于一张被称作种子的统一资源地址(URLs)列表。当网络爬虫访问这些统一资源定位器时，它们会甄别出页面上所有的超链接，并将它们写入一张"待访列表"，即所谓"爬行疆域"(crawl

frontier)。

此疆域上的统一资源地址将被按照一套策略循环访问。如果爬虫在他执行的过程中复制归档和保存网站上的信息，这些档案通常储存，使他们可以被查看。阅读和浏览他们的网站上实时更新的信息，并保存为网站的“快照”。大容量的体积意味着网络爬虫只能在给定时间内下载有限数量的网页，所以要优先考虑其下载。

高变化率意味着网页可能已经被更新或者删除。一些被服务器端软件生成的URLs(统一资源定位符)也使得网络爬虫很难避免检索到重复内容。

网络爬虫的几种常见类型

1、批量型的网络爬虫

这种类型是针对用户有着明确的抓取范围和目标，当达到既定的目标之后，抓取工作就会停止。这个目标可以是抓取的时间，也可以是抓取的数量等 。

2、增量式网络爬虫

这种爬虫类型不同于批量型爬虫，没有固定的限制，且需要程序持续不断的运行，对于抓取到的数据定期的更新。它针对的是网页在不断变化的，增量式爬虫只需要抓取新产生或者发生新变化的网页，他不会重复的抓取没有变化的网页，这样可以缩减时间和存储空间，当然这种爬虫程序运行起来是相对有难度的。

3、通用爬虫

通用网络爬虫也叫作全网爬虫，它是搜索引擎抓取系统的重要组成部分。主要为门户 网站站点搜索引擎和大型 Web 服务提供商采集网络数据。这类网络爬虫的爬行范畴和数量比较大，所以对于爬取速度和存储空间的要求很高。

4、聚焦网络爬虫

聚焦网络爬虫是指有针对性的爬取，和通用网络爬虫相比对于硬件的要求有所降低，而且所抓取的数据垂直性更高，可以满足特定人群的需求。

网络爬虫是什么？

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

中文名

网络爬虫

外文名

web crawler

别称

网络蜘蛛

目的

按要求获取万维网信息

产生背景

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。