ScraperAPI 是一款 网页抓取 工具，它会自动处理代理、浏览器和验证码，用户无需亲自动手。该工具使用简便，用户可以轻松从任意网站抓取任何 HTML 内容。 ScraperAPI 是一项付费服务，但用户可以免费试用，以确定是否喜欢它。
由于 ScraperAPI 是一款自动化工具，网站会封禁任何被检测到使用 网页抓取工具 的账户，并将用户的 IP 地址列入黑名单。 为避免这种情况发生，ScraperAPI 会使用代理来隐藏您在目标网站上的 IP 地址。
之所以能实现这一点，是因为 ScraperAPI 代理会为您处理所有网络请求，因此您访问的任何网站只能看到代理服务器的 IP 地址，而看不到您本人的 IP 地址。 通过持续轮换代理，ScraperAPI 每次发送请求时都会使用不同的 IP 地址，从而误导网站认为这些请求来自多个用户，而非仅来自单一位置。
如果您正在比较不同选项：Geonode 的 Scraper API 也能实现相同功能——通过一次调用即可完成 JS 渲染、代理轮换和重试——每月提供 1,500 次免费请求，并采用固定费率的无限套餐，而非积分制。以下设置步骤适用于任何支持代理字符串的爬取 API。
让我们来配置一台 ScrapingDog 代理服务器。
如何在 ScraperAPI 中使用代理
代理的用户名为“scraperapi”，密码为您的 API 密钥。
如果您想使用不同的私有代理，请按以下步骤操作：
适用于 Windows：
要在 Windows 中设置代理，只需在 Windows 搜索栏中搜索“代理设置”，然后打开搜索结果即可。
随后系统将提供两个选项供您选择：自动代理设置 或 手动代理设置。如果您希望 Windows 自动检测代理设置，请选择第一个选项；如果您希望使用特定的 IP 地址和端口号，请选择第二个选项。
如果您选择了第一个选项，请执行以下操作：
- 启用 自动检测设置
- 启用 使用设置脚本
- 输入 脚本地址
- 点击 保存
如果您选择了第二个选项，请执行以下操作：
- 启用 使用代理服务器
- 输入 服务器地址和端口号
- 如果您希望访问某些无需代理的地址，请在此处输入
- 若需不通过代理访问本地服务器，请勾选“不通过代理服务器访问本地地址”复选框
- 点击 “保存”
图片替代文本：Windows 自动代理设置
适用于 Mac：
要在 macOS 中开始配置代理设置，只需：
步骤 1. 点击苹果图标。
步骤 2. 在下拉菜单中，点击 “系统偏好设置”。
步骤 3. 点击 “网络”
步骤 4. 点击 “高级”
注意：请确保先连接到 Wi-Fi 网络。
步骤 5. 点击 “代理”
随后系统将跳转至 macOS 代理设置界面。与 Windows 相比，macOS 的设置更为直观。您只有一个选项，即手动配置代理服务器。
具体操作步骤如下：
- 选择要配置的代理 IP 协议。这取决于您的代理服务提供商支持哪些协议。
- 启用 安全网络代理
- 输入 代理服务器地址 和 端口号
- 点击 确定 以保存配置
注意：系统可能会提示您输入 Mac 用户密码以保存设置。
图片替代文本：配置 macOS 代理设置
恭喜！您现已完成 ScraperAPI 代理服务器的配置。
