在这分享 3 个网页抓取工具，供您参考。您可能会找到最适合您需求的网络爬虫。

推荐程序

•Octoparse[1]--八爪鱼

这个不仅操作简单、功能齐全，还能短时间内获取大量数据。尤其重点推荐Octoparse的云采集功能，给予了高度的赞许。

•Cyotek WebCopy[2]

WebCopy是一个免费的网站爬虫，允许您将本地部分或完整的网站复制到您的硬盘上以供离线阅读。

它将扫描指定的网站，然后将网站内容下载到您的硬盘上，并自动重新映射到网站中图像和其他网页等资源的链接，以匹配其本地路径，不包括网站的某个部分。还可以使用其他选项，例如下载要包含在副本中的URL，但不能对其进行爬网。

您可以使用许多设置来配置网站的抓取方式，除了上面提到的规则和表单之外，您还可以配置域别名，用户代理字符串，默认文档等。

但是，WebCopy不包含虚拟DOM或任何形式的JavaScript解析。如果一个网站大量使用JavaScript进行操作，如果由于JavaScript用于动态生成链接而无法发现所有网站，则WebCopy不太可能制作真正的副本。

•Httrack[3] 作为网站爬虫免费软件，HTTrack提供的功能非常适合从互联网下载整个网站到您的PC。它提供了适用于Windows，Linux，Sun Solaris和其他Unix系统的版本。它可以将一个站点或多个站点镜像在一起（使用共享链接）。您可以在“设置选项”下下载网页时决定要同时打开的连接数。您可以从整个目录中获取照片，文件，HTML代码，更新当前镜像的网站并恢复中断的下载。

此外，HTTTrack还提供代理支持，以最大限度地提高速度，并提供可选的身份验证。

HTTrack用作命令行程序，或通过shell用于私有（捕获）或专业（在线Web镜像）使用。 有了这样的说法，HTTrack应该是首选，并且具有高级编程技能的人更多地使用它

小结

总之，我上面提到的爬虫可以满足大多数用户的基本爬行需求，而这些工具中各自的功能仍然存在许多差异，因为这些爬虫工具中的许多都为用户提供了更高级的内置配置工具。因此，请确保在使用之前已完全了解爬虫提供的帮助信息。

References

[1] Octoparse: https://www.octoparse.com/download

[2] Cyotek WebCopy: https://www.cyotek.com/cyotek-webcopy/downloads

[3] Httrack: https://www.httrack.com/