学习。构建。扩展。

教程、指南与深度解读，
来自自主运营基础设施的团队。

精选文章

什么是代理服务器？

代理服务器会通过另一个IP地址转发您的请求。以下将介绍主要代理类型的区别、哪种类型适合您的任务，以及“安全”一词的真正含义。

how-to-use-proxies-with-the-wayback-machine

如何在“互联网档案馆”中使用代理服务器

“时光机”（Wayback Machine）由互联网档案馆（Internet Archive）创建，是一个收录万维网网站的数字档案库。作为互联网的历史图书馆，“时光机”允许任何用户访问网站的存档版本。用户只需输入网址，并选择想要查看的日期范围即可。

如何将网站数据抓取到Excel中：三步指南

网络爬虫是一种关键的数据采集方法，其采集的数据可用于市场调研、数据分析等多种用途。好消息是，您无需具备高超的技术能力，也能将任何网站上的数据抓取到 Excel 中。我们提供的三步法简化了整个流程，既让初学者能够轻松上手，又能让专家高效完成任务。

如何在Shadowrocket中使用代理

Shadowrocket 是一款代理客户端，可将 iPhone 和 iPad 设备的互联网连接通过代理服务器进行路由。Shadowrocket 会配置 iOS 系统设置并应用代理。它使用户能够评估流量消耗、提升网速，以及实现更多功能。

即时数据抓取工具

Instant Data Scraper 是一款免费的 Chrome 扩展程序，只需点击约四次，即可将表格或列表页面转换为 CSV 文件。无需编写代码、无需注册账号、完全免费。对于一次性任务而言，它确实难逢对手。但所有浏览器扩展都面临一个硬性限制——它运行在您的浏览器中，通过您的 IP 地址，且处理速度取决于您的点击速度。本指南将介绍如何正确使用该工具、导致其无法正常工作的五种情况，以及遇到这些问题时该如何应对。

如何抓取lihkg.com：一个思想实验

在不实际操作的情况下，深入探讨从热门社交媒体平台 lihkg.com 抓取数据的复杂性和挑战。了解 Geonode 的代理服务和 scraper API 如何让这一过程更加顺畅。

如何抓取 DoubleClick.net：你应该问的问题

正在考虑抓取 DoubleClick.net 的数据吗？别急！你必须先了解在抓取 DoubleClick.net 之前应该问的几个关键问题。

Scrapy 入门指南

Scrapy 是一个开源的网络爬虫框架，互联网上的任何人都可以免费使用。Scrapy 主要用于网络爬取和网页抓取。它是一种从任何网页中快速、轻松地提取数据的方式，目前由 Zyte 负责维护。

如何在 Windows 中使用代理

Windows（或称 Microsoft Windows）是由微软为个人计算机开发的操作系统。它是全球最受欢迎的操作系统，全球有超过 14 亿台设备运行 Windows 系统。自首次发布以来，Windows 已推出多个版本，最新版本为 Windows 11。

让您的隐私在 Mac 上得到最大化保护：住宅代理快速设置技巧

Mac（又称Macintosh）是由苹果公司设计和制造的一系列计算机。它是首款广泛销售、面向大众市场的个人电脑，配备了图形用户界面（GUI）和鼠标。Mac的设计旨在为用户提供自然且易于使用的界面，其主要操作系统是macOS，尽管现在被称为Mac OS X。

Undetectable.io —— 为什么这款反检测浏览器是您的最佳选择？

Undetectable 是一款最先进的反检测浏览器，旨在通过修改设备的关键信息（如 IP 地址、浏览器指纹、语言设置、字体以及其他众多参数）来保护您的网络身份。

C# HttpClient 代理配置：凭据、超时和验证

本指南介绍了如何在 .NET 8 的 C# 环境中配置 HttpClient 代理：使用 `WebProxy` 配合 `NetworkCredential`， `HttpClientHandler` 与 `SocketsHttpHandler` 之间的选择、使用 `IHttpClientFactory` 时正确的客户端复用、超时与取消、环境变量配置、绕过列表，以及你在生产环境中实际会遇到的两种异常。文章最后提供了一个完整的控制台程序示例，该程序会建立一个持久的住宅会话，验证退出时的 IP 地址，并在失败时使用新会话重试。下文中的所有内容均针对 .NET 8 并使用顶级语句，但该 API 自 .NET Core 3.0 以来一直保持稳定，因此相同的代码在 .NET 6 和 7 上也能编译通过。

PHP 中 Guzzle 代理的配置：身份验证、HTTPS 和故障排除

本指南将详细介绍一个可正常工作的 Guzzle 代理配置的各个部分：`proxy` 请求选项的字符串和数组形式、经过身份验证的代理 URL、通过 CONNECT 隧道连接的 HTTPS 目标、超时和证书验证，以及当代理拒绝请求时 Guzzle 抛出的异常。阅读完本指南后，您将获得一个可重用的 PHP 客户端，它能够通过家庭代理进行路由，在整个会话中保持一个出口 IP 地址，验证该 IP 地址，并在请求失败时使用新的会话进行重试。所有示例均针对 Guzzle 7 和 PHP 8.1 或更高版本。请使用 `composer require guzzlehttp/guzzle:^7` 进行安装。

验证抓取的数据并检测模式漂移

抓取的数据很少会明显出错。它会逐渐变质：页面重新设计导致价格被移至另一个元素，解析器返回 `None`，结果一万行价格为空的记录被加载到数据仓库中，却未触发任何异常。本指南构建了一系列机制，可在模式漂移导致报告出错之前将其拦截：pydantic v2 记录模式、按批次进行的质量检查、采用滚动基准线的漂移检测器、隔离步骤、在金丝雀 URL 上进行的每日选择器契约测试，以及解析器版本控制——这样在修复问题后，您就可以进行数据补全。

使用 Python 检测网站变更：监控文档和政策更新

网站变更检测是指在供应商尚未正式公告之前，就发现其修改了服务条款、在文档中废弃了某个接口，或悄悄修改了隐私政策。读完本指南后，您将拥有一段 Python 脚本：它会通过 Geonode 和 Scraper API 工具将页面列表以 Markdown 格式快照，过滤掉无关信息，将每个版本存储在 SQLite 中，生成易于阅读的差异报告，并且仅在内容真正发生变化时才向 Slack 发送通知。该脚本可通过 cron 或 GitHub Actions 运行，并能应对不稳定的抓取情况。本脚本刻意不作为价格监控工具。价格是位于已知位置的数值；而文档则是散文，其变更的位置和形式无法预先确定。以下的设计选择正是基于这一前提。