抓取规则
知其然,亦知其所以然
一、抓取方式
本门通过道友提供的 RSS/Atom 订阅源定时抓取文章。首次提交后会立即抓取一次,之后每 4 小时自动抓取一次。
二、抓取内容
仅抓取文章标题、摘要、发布时间、字数及原文链接。不抓取文章正文全文,所有阅读均跳转至道友原博客。
三、协议头标识
若道友需要识别本门抓取请求,可通过以下 User-Agent 判断:
User-Agent: XianJuBot/1.0 (RSS Aggregator; +https://ruae.com)
道友亦可检查请求来源 IP 是否来自本站服务器。
四、Robots 遵守
本门尊重 robots.txt 协议。若道友不希望被本门抓取,可在 robots.txt 中屏蔽 RSS 地址,或联系掌门移除。
五、停止抓取
道友可随时在洞府管理页删除博客,或联系掌门移除。删除后所有相关数据将在 24 小时内清除。