在网关、消息队列、大文件传输、大数据同步、高并发接口等高吞吐业务场景下，很多服务的性能瓶颈并不在代码逻辑，而是出在 Linux 内核 TCP 默认配置过于保守。
默认参数更适合普通低流量场景，一旦面对大带宽、长链路、高并发压力，就容易出现带宽跑不满、延迟抖动大、丢包重传增多、连接队列溢出、端口资源耗尽、CPU 软中断不均等问题。
本篇文章给大家一套生产环境可直接落地、低风险、高收益的 Linux TCP 完整优化方案，专注提升吞吐量、降低延迟、提高系统稳定性。
一、高吞吐 TCP 业务常见瓶颈
- TCP 收发缓冲区太小，长肥管道带宽无法充分利用
- 半连接 / 全连接队列长度不足，高并发建连时丢包
- TIME-WAIT 过多导致端口耗尽，无法新建连接
- 默认 Cubic 拥塞算法容易造成队列膨胀、延迟飙升
- 网卡队列与中断不均衡，单核 CPU 软中断打满
- 文件句柄限制过低，出现 “too many open files”
这些问题都可以通过内核参数 + 网卡配置 + 业务适配系统性解决。
二、整体优化思路
- 扩大系统资源上限：缓冲区、队列、端口、文件句柄全面扩容
- 升级拥塞控制算法：使用 BBR 替代 Cubic，显著提升高吞吐场景效率
- 优化网卡与中断：多队列 RSS 负载均衡，降低单核压力
- 精简内核特性：关闭不必要功能，降低 CPU 开销
- 业务层配合：使用更高效的 IO 模型与连接复用
三、生产环境内核参数（直接复制到 sysctl.conf）
编辑配置文件：
vim /etc/sysctl.conf
加入以下完整优化配置：
# 文件句柄上限
fs.file-max = 10485760
fs.nr_open = 10485760
# 全局网络队列与缓冲区
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 100000
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.core.rmem_default = 1048576
net.core.wmem_default = 1048576
net.core.optmem_max = 67108864
# TCP 动态缓冲区
net.ipv4.tcp_rmem = 4096 131072 67108864
net.ipv4.tcp_wmem = 4096 131072 67108864
# BBR + FQ 高吞吐核心配置
net.ipv4.tcp_congestion_control = bbr
net.core.default_qdisc = fq
# 半连接队列
net.ipv4.tcp_max_syn_backlog = 65535
# TIME-WAIT 优化
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_tw_buckets = 1000000
net.ipv4.tcp_fin_timeout = 15
# 握手重试与防攻击
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_abort_on_overflow = 0
# 关闭冗余特性
net.ipv4.tcp_dsack = 0
net.ipv4.tcp_fack = 0
net.ipv4.tcp_ecn = 0
# 扩大本地端口范围
net.ipv4.ip_local_port_range = 1024 65535
# 基础链路可靠性
net.ipv4.tcp_sack = 1
net.ipv4.tcp_timestamps = 1
生效配置：
sysctl -p
四、关键优化点说明
1. BBR 拥塞控制（高吞吐最大增益）
Linux 默认的 Cubic 是基于丢包的拥塞控制，容易填满中间节点队列，导致延迟飙升、带宽利用率低。
BBR 则通过探测带宽 + 延迟来控制发送速率，不盲目填充队列，能在高带宽、长距离、高吞吐场景下显著提升传输效率，通常吞吐量提升 30%~200%。
配合 fq 队列调度器效果最佳。
2. TCP 缓冲区自动伸缩
tcp_rmem / tcp_wmem 分别设置读、写缓冲区的 最小、默认、最大值。
低流量时节省内存，高流量时自动扩容，充分利用链路带宽。
3. TIME-WAIT 复用
开启 tcp_tw_reuse 可以让新连接复用 TIME-WAIT 状态的端口，避免高并发短连接场景下端口耗尽。
注意不要开启 tcp_tw_recycle，在 NAT 环境下会导致连接异常。
4. 连接队列扩容
somaxconn、netdev_max_backlog、tcp_max_syn_backlog 共同扩容各类队列长度，避免高并发建连时溢出丢包。
五、网卡硬件层优化（决定吞吐量上限）
# 调整网卡收发队列长度
ethtool -G eth0 rx 4096 tx 4096
# 开启多队列 RSS，根据 CPU 核心数设置
ethtool -L eth0 combined 8
# 开启 TSO/GSO 降低 CPU 开销
ethtool -K eth0 gro off gso on tso on
# 网卡绑定 fq 队列，适配 BBR
tc qdisc replace dev eth0 root fq
六、应用程序侧优化建议
- 使用
SO_REUSEPORT实现多核负载均衡 - 高吞吐场景尽量关闭
TCP_NODELAY，减少小包交互 - 文件传输使用
sendfile / splice实现零拷贝 - 采用 epoll ET 模式处理高并发连接
- 合理使用连接池，避免频繁建连、断连
- 线程数与 CPU 核心数匹配，减少上下文切换
七、优化效果验证
# 查看 BBR 是否生效
sysctl net.ipv4.tcp_congestion_control
# 查看单连接状态、RTT、拥塞状态
ss -ti
# 查看重传统计
netstat -s | grep -i retrans
# 查看 CPU 软中断分布
mpstat -P ALL 1
出现以下表现即为优化生效：
- BBR 已启用
- 重传率低
- 延迟稳定不抖动
- 带宽利用率接近物理上限
- CPU 软中断在多核间均匀分布
八、总结
对于高吞吐业务，Linux TCP 默认配置往往是性能天花板。合理调整内核参数、开启 BBR、优化网卡队列与中断，再配合业务层的高效编程模型，可以让服务器网络吞吐量、并发能力、稳定性得到质的提升。
本文所有参数均经过线上大规模验证，适合网关、存储、消息队列、大文件分发等各类高吞吐场景，安全、通用、开箱即用。