Sitefetch
Fetch an entire site and save it as a text file (to be used with AI models).
https://github.com/egoist/sitefetch
sitefetch 是一个用于抓取整个网站并将其保存为文本文件的工具。它可以用于 AI 模型的训练和应用。
1. 抓取整个网站并将其保存为文本文件
2. 支持指定要抓取的页面
3. 支持自定义内容选择器以提取有意义的内容
4. 提供 API 供开发者使用
5. 使用 mozilla/readability 库提取网页内容
#AI #Tool #GitHub
Fetch an entire site and save it as a text file (to be used with AI models).
https://github.com/egoist/sitefetch
sitefetch 是一个用于抓取整个网站并将其保存为文本文件的工具。它可以用于 AI 模型的训练和应用。
1. 抓取整个网站并将其保存为文本文件
2. 支持指定要抓取的页面
3. 支持自定义内容选择器以提取有意义的内容
4. 提供 API 供开发者使用
5. 使用 mozilla/readability 库提取网页内容
#AI #Tool #GitHub