Applebot 抓取的數(shù)據(jù)用于為多項(xiàng)功能提供支持，例如集成到 Apple 生態(tài)系統(tǒng)內(nèi)許多用戶體驗(yàn)（包括“聚焦”、Siri 和 Safari 瀏覽器）中的搜索技術(shù)。在 robots.txt 中啟用 Applebot 可讓網(wǎng)站內(nèi)容顯示在世界各地的 Apple 用戶使用這些產(chǎn)品獲得的搜索結(jié)果中。

Applebot 能夠從 Web 服務(wù)器訪問(wèn)多種資源，包括但不限于 robots.txt、網(wǎng)站地圖、RSS 源、HTML 以及渲染頁(yè)面所需的子資源（例如 javascript、Ajax 請(qǐng)求、圖像等）。

識(shí)別 Applebot

來(lái)自 Applebot 的流量通?？赏ㄟ^(guò)使用反向 DNS 以 *.applebot.apple.com?域格式顯示來(lái)識(shí)別。

還有一種方法是將 IP 地址與包含在以下 JSON 文件中的 CIDR 前綴進(jìn)行匹配：Applebot IP CIDR。

反向 DNS

可以使用 host 命令來(lái)確定 IP 地址是不是 Applebot 的一部分。以下示例顯示了 host 命令和相應(yīng)的結(jié)果：

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com has address 17.58.101.179.

另外，host 命令還可用于確認(rèn) DNS 是不是指向同一 IP 地址：

$ host 17.58.101.179 179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.

用戶代理

用戶代理可以幫助站長(zhǎng)識(shí)別爬蟲(chóng)流量，以便他們能夠獲得準(zhǔn)確的爬蟲(chóng)活動(dòng)訪問(wèn)日志報(bào)告，并通過(guò) robots.txt 控制對(duì)網(wǎng)站的訪問(wèn)。

Applebot 為多個(gè)用戶代理提供支持，包括“搜索”和“播客”。

搜索

Applebot 會(huì)使用以下格式來(lái)進(jìn)行搜索爬網(wǎng)和渲染：

用戶代理字符串包含“Applebot”和其他信息。以下是一般格式：

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)

臺(tái)式電腦示例：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

移動(dòng)設(shè)備示例：

Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot 偶爾會(huì)更新其告知的瀏覽器版本，同時(shí)仍使用上述一般格式。

Apple 播客

iTMS 流量也可能來(lái)自?applebot.apple.com?主機(jī)，并可被用戶代理識(shí)別：

用戶代理：iTMS

iTMS 用戶代理不遵循 robots.txt，因?yàn)樗皇且话愕乃阉髋老x(chóng)。它只會(huì)抓取與 Apple 播客上注冊(cè)內(nèi)容相關(guān)的 URL。

自定義 robot.txt 規(guī)則

在一般搜索抓取中，Applebot 會(huì)遵循以 Applebot 為目標(biāo)的標(biāo)準(zhǔn) robots.txt 指令。在以下示例中，Applebot 不會(huì)嘗試抓取 /private/ 或 /not-allowed/ 下的文稿：

User-agent: Applebot Allow: / Disallow: /private/ User-agent: * Disallow: /not-allowed/

如果機(jī)器人指令沒(méi)有提及 Applebot，但提及了 Googlebot，則 Apple 機(jī)器人會(huì)遵循 Googlebot 指令。

呈現(xiàn)和機(jī)器人規(guī)則

Applebot 可在瀏覽器中呈現(xiàn)你網(wǎng)站的內(nèi)容。如果通過(guò) robots.txt 阻止了 javascript、CSS 和其他資源，則可能無(wú)法正常呈現(xiàn)內(nèi)容。這包括頁(yè)面可能需要的 XHR、JS 和 CSS。

為了讓 Applebot 針對(duì)頁(yè)面的最佳內(nèi)容創(chuàng)建索引，請(qǐng)確保 Applebot 能夠訪問(wèn)用戶呈現(xiàn)頁(yè)面所需的一切內(nèi)容?；蛘?，確保網(wǎng)站簡(jiǎn)潔地呈現(xiàn)出來(lái)，即使所有資源都不可用。這通常稱為平穩(wěn)退化。

為 Applebot 自定義索引規(guī)則

Applebot 支持 HTML 文稿中的 robots 元標(biāo)簽。要在元標(biāo)簽中指定機(jī)器人規(guī)則，請(qǐng)將標(biāo)簽放在

... ?...

Applebot 還支持以下指令：

• noindex：Applebot 不會(huì)針對(duì)這個(gè)頁(yè)面創(chuàng)建索引，也不會(huì)出現(xiàn)在“聚焦建議”或“Siri 建議”中。

• nosnippet：Applebot 不會(huì)為頁(yè)面生成描述或網(wǎng)頁(yè)應(yīng)答。所有示意訪問(wèn)這個(gè) URL 的建議都僅包含頁(yè)面的標(biāo)題。

• nofollow：Applebot 不會(huì)追蹤頁(yè)面上的任何鏈接。

• none：如上所述，Applebot 不會(huì)針對(duì)頁(yè)面創(chuàng)建索引、生成片段或追蹤頁(yè)面上所示的鏈接。

• all：Applebot 會(huì)針對(duì)建議提供文稿并生成內(nèi)容片段，以便在具有代表性的圖片旁邊顯示有關(guān)頁(yè)面的簡(jiǎn)短描述。Applebot 可能會(huì)追蹤頁(yè)面上所示的鏈接，以提供更多建議。

要將多個(gè)指令置于單個(gè)元標(biāo)簽中，請(qǐng)使用以逗號(hào)分隔的列表或使用多個(gè)元標(biāo)簽。

示例：

控制數(shù)據(jù)使用情況

除了遵循所有 robots.txt 規(guī)則和指令之外，Apple 還有一個(gè)輔助用戶代理 Applebot-Extended，為網(wǎng)頁(yè)發(fā)布者提供了額外的控制措施來(lái)控制 Apple 對(duì)其網(wǎng)站內(nèi)容的使用方式。

借助 Applebot-Extended，網(wǎng)頁(yè)發(fā)布者可以選擇讓自己的網(wǎng)站內(nèi)容不能再用于訓(xùn)練 Apple 的基礎(chǔ)模型，這些模型為各種 Apple 產(chǎn)品（包括 Apple Intelligence、Apple 服務(wù)和 Apple 開(kāi)發(fā)者工具）中的生成式 AI 功能提供支持。

你可以在 robots.txt 中添加規(guī)則以禁止 Applebot-Extended，方法如下：

User-agent: Applebot-Extended Disallow: /private/

Applebot-Extended 不會(huì)抓取網(wǎng)頁(yè)。禁止 Applebot-Extended 的網(wǎng)頁(yè)仍然可以包含在搜索結(jié)果中。Applebot-Extended 僅用于確定如何使用由 Applebot 用戶代理抓取的數(shù)據(jù)。

允許 Applebot-Extended 將有助于隨時(shí)間推移而提升 Apple 生成式 AI 模型的能力和質(zhì)量。

關(guān)于搜索排名

在對(duì)網(wǎng)頁(yè)搜索結(jié)果進(jìn)行排名時(shí)，Apple Search 可能會(huì)考慮以下因素：

• 用戶對(duì)于搜索結(jié)果的聚合參與度

• 搜索詞與網(wǎng)頁(yè)主題和內(nèi)容的相關(guān)性和匹配度

• 網(wǎng)站其他頁(yè)面中的鏈接的數(shù)量和質(zhì)量

• 基于用戶位置的信號(hào)（近似數(shù)據(jù)）

• 網(wǎng)頁(yè)設(shè)計(jì)特征

在預(yù)先沒(méi)有確定排名重要性的情況下，搜索結(jié)果可能會(huì)使用上述因素。Search 用戶應(yīng)遵守“Siri 建議、搜索與隱私”中的隱私政策。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/