高级爬虫

爬虫/Spider

网络采集

API 单击此API按钮查看爬取启动的POST请求参数的文档。

高级爬取开启

开启爬取任务:  你可以在此指定网页爬取起始点的网址和开启爬取。 "爬取中"意即YaCy会下载指定的网站, 并提取出其中的链接，接着下载链接中的全部内容。 它将一直重复上述步骤，直到满足指定的"爬取深度"。 A crawl can also be started using wget and the post arguments for this web page.

爬行作业

A 爬行作业 consist of one or more start point, crawl limitations and document freshness rules.

起点
起始网址或网址列表：
(必须以http:// https:// ftp:// smb:// file://开头)
info在此给定起始网址。你可以提交多个网址,请一个网址一行。 这些网址中每个都是爬取开始的起点，已存在的起始网址总是会被重新加载。 对其他已访问过的网址,如果基于重爬选项它们不被允许，则被标记为'重复'。  
空的
来自 URL 的链接列表

来自网站地图
来自文件
(输入一个本地文件系统路径）
索引属性
info 爬取结果可以标记为收集请求的候选名称。 These tags can be selected with the GSA interface using the 'site' operator. To use this option, the 'collection_sxt'-field must be switched on in the Solr Schema
不要在集合名称中使用下划线“_”，而使用“-”。如果有用，请在集合名称中添加语言代码，例如'top-100-en'。
info 当解析器在已爬取的网页中检测到日期时，需要时区。 可以使用on:-修饰符搜索内容，在进行查询时，该修饰符还需要一个时区。为了规范化所有给定的日期，该日期存储在UTC时区中。 要获得从没有时区的日期到UTC的正确偏移量，必须在此处给出该偏移量。偏移量以分钟为单位； UTC以东位置的时区偏移必须为负值；UTC以西区域的偏移量必须为正值。
履带式过滤器

这些是爬取堆栈器的限制。这些过滤器将在网页加载前被应用。

索引
info 这样就可以对爬虫将下载的网页进行索引。 默认情况下，应该打开该选项，除非你只想爬取以填充文档缓存而不建立索引。 :     :
info 如果选中, 爬虫会联系其他节点, 并将其作为此次爬取的远端索引器. 如果你仅想爬取本地内容, 请关闭此设置. 仅高级节点和主节点能发起或者接收远端爬取. YaCyNews 消息将被创建，以通知所有对等点有关全局爬网的信息， 然后他们才能以相同起始点进行爬取.

远程爬取结果不会添加到本地索引中，因为远程爬取程序在此节点上被禁用。

You can activate it in the Remote Crawl Configuration page.
:

此消息会显示在其他节点的'其他节点爬取起始列表'中.
爬行深度
info 此选项决定了爬虫将跟随嵌入网址中链接的深度。 0代表仅将"起始点"网址添加到索引。 2-4是常规索引用的值。超过8的值没有用，因为深度为8的爬取将 索引接近256亿个网页，这可能是整个互联网的内容。     包括全部链接中不可解析的文档
与以下内容匹配的 URL 的抓取深度不受限制
每个域的最大页面数
info 使用此选项,你可以限制单个域名下爬取和索引的页面数。 你可以将此设置与'Auto-Dom-Filter'结合起来, 以限制给定深度中所有域名。 超出深度范围的域名会被自动忽略。 :    :
info 问号标记常用作动态网页的提示。指向动态内容的地址通常不应该被爬取。 然而,也有些含有静态网页地址也包含问号标记。 如果你不确定,不要勾选此项以防爬取陷入循环。 以下框架不是Gxxg1e制作的，但我们默认会制作更丰富的内容。robots元数据中的nofollow可被否决；这并不影响对无法忽视的robots.txt的遵守。 接受带有查询部分（'?'）的 URL：
遵守html-robots-noindex：
遵守html-robots-nofollow：
媒体类型探测
媒体类型检查信息 不加载包含不受支持文件扩展名的网址速度更快，但准确性更低。 实际上，对于某些网络资源，实际的媒体类型与网址中文件扩展名不一致。以下是一些例子：
对 URL 加载过滤器
info The filter is a regular expression. 示例：要仅允许包含单词“science”的 url，请将必须匹配过滤器设置为“.*science.*”。 你还可以使用自动域名限制来完全爬取单个域名。 Attention: you can test the functionality of your regular expressions using the Regular Expression Tester within YaCy.
必须匹配
限制起始域
限制为子路径
使用过滤器 (不能为空)
不得匹配
在 URL 链接源上加载过滤器
info The filter is a regular expression. Example: to allow loading only links from pages on example.org domain, set the 必须匹配 filter to '.*example.org.*'. Attention: you can test the functionality of your regular expressions using the Regular Expression Tester within YaCy.
必须匹配 (不能为空)
不得匹配
在 IP 上加载过滤器
必须匹配 (不能为空)
不得匹配
info 爬取可以限制在特定的国家。它使用的国家代码可以从存放网页的服务器的IP计算得出。 过滤器不是正则表达式，而是国家代码列表，用逗号分隔。 无国家代码限制
使用过滤器  
文档过滤器

这些是对索引供给器的限制。加载网页后过滤器才会被应用。

过滤 URL
info The filter is a regular expression 匹配那些必须排除的网址，以允许对剩下网址的内容进行索引。 Attention: you can test the functionality of your regular expressions using the Regular Expression Tester within YaCy.
必须匹配 (不能为空)
不得匹配
No 索引 when Canonical present and Canonical != URL
文档内容过滤器
（所有可见文本，包括驼峰大小写标记的网址和标题）
必须匹配 (不能为空)
不得匹配
文档媒体类型过滤器（又名MIME类型）
媒体类型过滤器信息 The filter is a regular expression 必须将 与文档媒体类型（也称为 MIME 类型）匹配，以允许对 URL 建立索引。 Standard Media Types are described at the IANA registry. Attention: you can test the functionality of your regular expressions using the Regular Expression Tester within YaCy.
必须匹配
不得匹配
Solr query filter on any active indexed field(s)
Solr 查询过滤器信息 在添加到索引之前，将根据给定的Solr查询检查每个已解析的文档。 The query must be written in respect to the standard Solr query syntax.
必须匹配
不得匹配
内容过滤器

这些是文档部分的限制.加载网页后将应用过滤器. 您可以选择：

默认评估
默认使用文档中的所有单词，直到出现如下列出的 CSS 类；然后忽略所有
默认忽略
默认情况下忽略文档中的所有单词，直到出现下面列出的 CSS 类，然后评估所有单词
过滤 div 或 nav 类名称
以逗号分隔的 <div> 或 <nav> 元素类名称列表，应根据上面的开关过滤掉 /in 。
爬网开始前清理
清理搜索事件缓存信息 选中此选项以确保获得新包括新爬取文档的搜索结果.请注意,它也会中断当前从浏览器端请求的搜索结果的刷新/排序.
不删除
info 在过去完成爬取后，文档可能会过时，最终它们也会在目标服务器上被删除。 若要从搜索索引中删除旧文件，仅考虑重新加载它们是不够的。 但可能有必要删除它们，因为它们已经不存在了。与重新爬取组合使用，而这一时间应该更长。 在爬取前不删除任何文档.
删除子路径
对于启动URL列表中的每个服务器,从这些服务器中删除所有文档(在给定的子路径中).
Delete only old
认为加载于 之前认为是过时的，并在爬网开始之前将其删除。
仔细检查规则
否 双打
info 网页爬取参照自身数据库,对所有找到的链接进行重复性检查.如果链接重复, 并且'无重复'选项打开, 则被以重复链接对待.如果地址存在时间超过一定时间, 并且'重加载'选项打开,则此地址会被重新读取. 切勿加载任何已知的页面.只有起始地址可能会被重新加载.
重新加载
认为加载于 之前已经过时并再次加载它们。如果他们更年轻，他们就会被忽视。
文档缓存
info 这个选项默认打开, 并用于预爬取, 但对于精确爬取此选项无效.
info 缓存策略即表示爬取时何时使用缓存: 无缓存：从不使用缓存，所有内容均来自新鲜的互联网来源； 如果有,更新：如果缓存存在并且使用代理新鲜规则是新鲜的，则使用缓存； 如果有,退出：如果缓存存在，则使用缓存。不检查新鲜度。否则使用在线资源； 仅缓存：从不上线，使用缓存中的所有内容。如果不存在缓存，则将内容视为不可用 无缓存    如果有,更新    如果有,退出    仅缓存
机器人行为
info 因为YaCy可以替代商业搜索设备 （像谷歌搜索设备，又名GSA）用户必须能够抓取所有授予此类商业平台的网页。 没有这个选项将是专业使用该软件的一大障碍。 因此，你可以在此处选择替代用户代理，它具有不同爬取时间，还可以伪装成另一个用户代理标识，并遵守相应的机器人规则。