用什么系统采集100万+数据，不会卡？-站长交流-苹果cms模板_影视站长论坛-全球站长都爱逛的论坛！-苹果cms论坛

用什么系统采集100万+数据，不会卡？

电动阀

发布于 2022-11-28 471 1

1、nginx 开启fastcgi缓存。
2、mysql 查询缓存时间86400.
3、后端redis缓存mysql数据。
数据250w，收录90w。数据已经分表，10w一个表。
该站点未开启fastcgi缓存。
伪静态、未用cdn
后台蜘蛛的抓取4.9w
平均抓取时间346.
清量服务器 4H4G、8M带宽