网络代理运维与排查
运维要回答两类问题:当前请求在哪一段失败,下一次变更后能否维持预期行为。配置下发、内核接入、远端认证、目标响应各有独立证据;只看节点延迟或进程状态,会把业务权限和网络故障混在一起。
按请求收集证据
例如浏览器返回 401,先确认这是代理入口认证失败,还是目标 API 已收到请求后拒绝业务 token。前者查节点密码,后者查业务凭据。必须结合实际响应、服务端日志和客户端命中记录判断,单个 HTTP 状态不能定位全部链路。
| 层级 | 保留证据 | 下一步 |
|---|---|---|
| 应用接入 | 请求时间、本机端口、应用代理设置、连接页过滤条件 | 用同一目标的显式代理请求对照,检查 NO_PROXY |
| 规则与 DNS | 命中规则、实际出站、域名与解析结果 | 对比企业 DNS、fake-ip 映射和规则顺序 |
| 远端连接 | 目标地址、端口、握手错误与证书验证结果 | 分开检查网络可达、TLS 名称和信任库 |
| 代理认证 | 入站协议、配置版本、受控测试的成功或失败 | 核对有效凭据是否已应用到所有节点 |
| 入口网关 | 状态、upstream 信息、错误日志 | 502 只是线索,继续确认后端连接、TLS或响应错误 |
| 目标访问 | 远端 DNS、连接错误、目标响应、请求 ID | 区分出口限制、目标故障与业务权限 |
连接页没有记录不一定表示未接入:短连接可能结束,过滤器也可能隐藏记录。延迟测试只探测指定目标,不能替代真实上传。先复现并固定一个目标、同一请求、同一客户端,再收集证据。
日志与磁盘上限
Docker 的以下片段放在对应服务的 logging 下,限制该容器的 json-file 日志轮转;更改日志驱动配置通常需要重建容器,单纯 restart 不会应用新的 Compose 定义。
yaml
logging:
driver: json-file
options:
max-size: "20m"
max-file: "5"日志存储由 Docker daemon 管理,不等于日志文件就在 Compose 目录。约 100 MB 是该配置的轮转量级,不能当成 Docker 全部磁盘占用上限,镜像、可写层、卷和其他容器要分别观察。
systemd journal 的示例写入 /etc/systemd/journald.conf.d/60-storage-limits.conf:
ini
[Journal]
SystemMaxUse=1G
MaxRetentionSec=14day这是整台主机 journal 的配置,会影响其他服务,不是单独限制 sing-box。SystemMaxUse 针对持久存储,使用运行时 journal 时需核对 RuntimeMaxUse。评估主机整体保留要求后应用并检查实际占用;已有归档日志清理与后续写入限制是不同动作。
bash
sudo journalctl --disk-usage
sudo journalctl -u sing-box --since '-10 min' --no-pager
sudo docker compose -f /opt/network-proxy/compose.yml logs --tail=100 sing-box两种部署按需选用。Nginx 访问和错误日志另接入 logrotate,并确认服务在轮转后重新打开日志文件。临时开启 debug 要设置结束时间,排障后恢复;避免记录完整订阅 URL、密码、token、敏感查询参数和请求体。
容量与升级
容量按峰值活跃连接和实际流量评估,不按账号数量直接换算。高峰期一起记录 CPU、内存、连接数、出口吞吐、丢包或重传、磁盘与日志增长;内存富余不能排除带宽或加密 CPU 饱和。
例如 20 个账号中只有 2 个持续下载,负载可能高于 100 个偶尔访问文档的账号。先测代表性的上传、下载和长连接,再确定限速与并发上限;不要把某次测速最大值写成稳定容量承诺。
升级前保存实际应用和内核版本、服务镜像摘要、配置及规则版本。先用测试客户端和旁路端口验证协议、TLS、DNS 与业务,再推广;客户端、服务端、规则、DNS 分步变更。回滚必须恢复兼容组合,不能只换二进制却保留新版本专用配置。
凭据与证书
计划轮换可短时保留新旧凭据并设置截止时间;凭据泄漏则先撤销旧凭据,验证新连接被拒绝,并处理仍存活的连接。订阅 URL 与已下载节点密码分别撤销,流程见 用户管理。不能根据访问日志“没有下载记录”认定凭据未泄漏。
证书维护同时检查下一次续期、任务执行身份、安装路径、权限、加载命令和线上实际证书。文件更新并不证明进程已加载,排查路径见 证书申请与续期。私钥泄漏不能通过恢复旧备份解决。
显式请求对照
bash
curl --proxy http://127.0.0.1:7890 --noproxy '' \
--connect-timeout 5 --max-time 20 -I https://example.com/这条命令只验证当前显式请求,不能证明其他应用或 TUN 接入正确。保留连接记录与最终响应,再用实际业务工具测试。需要内网绕过时,按该应用支持的方式配置 NO_PROXY;客户端中的 DIRECT 与应用环境变量不是同一层。
如果服务运行一段时间才变慢,对齐故障时间检查 CPU、连接和日志增长,区分连接堆积、带宽饱和、DNS 重试和磁盘压力。先保存当前证据,再重启恢复;只有“重启后好了”不足以解释根因。
UDP 与 QUIC 排查
| 现象 | 应收集的证据 | 不能直接推出 |
|---|---|---|
| 握手超时 | 安全组与主机 UDP 规则、两端抓包、入口和回包源地址 | 一定是密码错,或服务端完全没收到包 |
| 握手成功后传输停顿 | 丢包、包长、ICMP、MTU、双向路由、限速与日志 | 一定要关闭 PMTUD |
| 速度偏低或波动 | 实际版本、两端协商的算法与带宽、CPU和路径测量 | tx=0 一定是故障 |
Hysteria2 的带宽参数可能决定使用 Brutal 还是其他拥塞控制;零值可能表示未声明该方向带宽,不能脱离算法和版本判断。PMTUD 是否需要调整应通过受控单变量对照验证,并保存恢复值;握手成功只证明少量握手数据可通过,不证明大包和持续双向传输正常。多网卡回程和订阅发布见 Hysteria2 实践。
变更验收
每次记录配置版本、变更对象、验证目标与恢复点。至少验证一个代理目标、一个内部直连目标、一次错误凭据拒绝和一次重启后的恢复;涉及上传或长连接时使用相应业务请求。失败后先恢复到可用且未泄漏的版本,再按同一请求逐层排查,不连续修改多项后只保留最终“可用”的结果。
