跳转到主要内容
必威精装版App西汉姆联

机器人要小心

本站不允许任意自动下载

我们的服务器容量有限,我们的首要任务是支持人类用户的交互式使用。本文提供了几个用于提供对arXiv的机器访问的接口。必威精装版App西汉姆联看到我们的OAI-PMH必威精装版App西汉姆联arXiv APIRSS文档。也有设施批量数据下载,以及程序化的指导方针收获

数以百万计的不同URL

这个网站经常受到来自机器人,爬行器和加速器会盲目地下载遇到的每个链接,最终试图通过清单链接访问整个数据库。显然,大型搜索引擎为网络用户提供了无价的服务,我们与他们合作,寻找高效有效的方法来为arXiv内容建立索引。必威精装版App西汉姆联然而,在许多情况下,我们会受到出于善意但欠考虑的新手的意外拒绝服务攻击,这些新手对常识一无所知的指导方针

在实际机器人排除标准,该网站自1994年初以来一直保持一个档案/robots . txt指定那些URL的机器人是禁止的(和这个“机器人当心”页面最初发布于1994年3月)。

不加思考地下载这个站点上的所有url将返回tb级的数据。这对我们的带宽消耗和服务响应能力造成了很大的损失。

必威精装版App西汉姆联arXiv监视活动,并将拒绝访问违反这些指导方针的网站。在访问被拒绝后,来自任何站点的持续快速请求(即403:拒绝访问HTTP响应)将被解释为攻击;我们将毫不犹豫、毫不警告地做出相应反应。

如某些特定应用需要放宽上述指引,联系arXiv管理员必威精装版App西汉姆联提前任何下载尝试。

图标