← 返回标准工具索引

LIS WIKI / 标准工具

Heritrix网络存档爬虫

Heritrix

Heritrix是互联网档案馆开发的开源、可扩展、面向大规模网络存档的爬虫，用于按配置发现和采集网络资源。^[1]

01 认识这个词条

设计用途

项目强调存档级采集和可扩展配置，可通过作业配置、模块与REST接口管理网络抓取，而非面向通用网页搜索排序。^[1]^[2]

礼貌采集

官方说明要求考虑种子站点负载、设置礼貌策略、标明可联系的User-Agent，并默认尊重robots.txt和nofollow指令。^[1]

输出关系

Heritrix负责采集，采集结果通常写入WARC等存档格式；内容的索引、回放和长期保存仍需其他组件承担。^[1]^[2]

02 参考出处

以下为本条目使用的机构资料，可点击核对原文。

01
Internet Archive·Heritrix 3官方仓库 github.com · 访问于 2026-10-10
02
Heritrix 3 Documentation heritrix.readthedocs.io · 访问于 2026-10-10

资料说明：明确采集器与回放系统的职责差异，不采用未经项目文档确认的首发月份。