网关质量报告 · 转梅菲儿网关管理员

pub-glm-5.3-flash 缓存命中率异常

日期：2026-08-31（UTC+8）网关：litellm-sg.mayfair-inc.com 客户端：Claude Code 常驻会话

107

全天 >20k token 请求

命中率 <50%

完全零命中（0%）

99.6%

正常时段可达命中率

异常时段明细（北京时间）

时段	上下文大小	cache_read	命中率	请求次数
10:53:05 ~ 10:53:51	39,276 ~ 39,355	0	0%	4
11:28:44 ~ 11:29:19	39,446 ~ 43,518	0 ~ 64	0~0.1%	6
11:37:41 ~ 11:37:49	52,040 ~ 52,185	0 ~ 64	0~0.1%	4
12:08:06 ~ 12:09:26	58,045 ~ 61,693	0 ~ 64	0~0.1%	9
18:09:08 ~ 18:09:16	50,904 ~ 64,789	0	0%	4

恢复后表现：11:29 起仅系统提示前缀（~32k）命中（~72%）；12:09 起恢复至 ~52%；18:09:23 起完全恢复（94%~99.6%）。另会话 ec32c03b 于 09:47~09:48 出现同模式（17 万 ctx 命中仅 ~20%）。

逐请求明细（供网关侧日志对齐排查）

请求 ID 为客户端消息 ID。同一 ID 出现多次 = 客户端同请求重试，每次都全量重建缓存（重试也 0 命中是核心异常点）。红底行 = 异常请求，其余为异常前后相邻的正常请求（对照组）：紧邻异常行的正常请求能命中 52%~99.6%，进一步排除客户端构造问题。

时间（UTC+8）	请求 ID	上下文	cache_read	命中率
10:53:05	de4f262f-b8c8-4e3c-908f-f1c6483f64b5	39,276	0	0.0%
10:53:06	de4f262f（重试）	39,276	0	0.0%
10:53:51	1cb7a1b1-6707-444e-9378-4ea57d8e15b1	39,355	0	0.0% ×2
11:28:44	2665ad40-fef2-4950-a067-b0eb889e3beb	39,446	0	0.0% ×3
11:29:18	7c4563fb-d192-488c-9129-f391dff449a2	43,518	64	0.1% ×3
11:29:27	1c12afbb-4b50-4148-a9c9-60f14f5da4b8	44,303	31,936	72.1% 恢复
11:29:38	15bc2f7f-a64d-4870-8ad2-c56d700ff44e	44,684	31,936	71.5%
11:29:58	c33da303-10fa-446c-b832-9ff10b348f72	44,399	31,936	71.9%
11:30:05	444623c9-bc47-4c83-bb8e-d92fb64f0905	44,527	32,000	71.9%
11:30:26	bfe9bddb-80a0-4dda-a491-a1462881960f	44,924	32,000	71.2% ×3
11:30:38	476a7541-26da-4a57-a987-0ad9c4dc8e08	45,843	32,000	69.8% ×2
11:31:52	042f4e3a-56b1-4622-89db-29def35000d9	45,793	32,192	70.3% ×3
11:32:16	3e0c66c0-f2fe-4e0f-8dc4-09bcc8cc8814	46,630	32,192	69.0%
11:32:23	3485cc86-9bc9-46e8-8612-3f6f6013c28f	47,040	32,192	68.4% ×2
11:33:08	d798912e-4cea-4a9b-a7ec-fff3b5939d2e	47,192	32,256	68.4% ×3
11:33:19	3124a4ee-b4af-4563-9f2a-f1f7bf016b88	47,372	32,256	68.1%
11:33:28	cdab2f93-6559-4608-a8d8-428efe4a8af7	48,898	32,256	66.0% ×2
11:35:04	d0492492-c372-493b-92ad-39cc357ddd93	49,106	32,256	65.7% ×3
11:35:34	71a79436-ed0a-4d9b-8a12-18b3705dcfa4	49,413	32,384	65.5%
11:35:42	bf446e62-4363-4c67-ad33-4efca333fbfb	50,201	32,384	64.5% ×2
11:36:04	b9bd99db-284a-4924-bb24-f257fa3c2676	50,513	32,384	64.1% ×2
11:36:24	959b0112-9b01-40a9-b351-52b64ae5bf70	50,657	32,384	63.9%
11:37:41	8c046cfa-1fb8-4e2c-9f0d-a43d04288bef	52,040	0	0.0% ×3
11:37:49	4ca16492-76ee-4c8e-8235-b8efc80d191c	52,185	64	0.1%
11:38:59	76011138-ae7f-4c5b-8c6a-def3b87012a0	53,156	32,448	61.0% 恢复
11:39:15	12135748-9578-4128-bea7-03bdca3f7e81	54,725	32,448	59.3% ×3
11:39:33	fcee8a35-c4d4-40e2-8b3a-0693c067949b	55,915	32,576	58.3%
11:39:42	ca0654bd-8eab-4ff9-a277-05ba63cbe61d	56,222	32,576	57.9%
11:39:47	f576d577-82d3-427f-b374-829a1234fa49	56,501	33,216	58.8% ×2
11:39:58	91a84071-c15a-48e2-9fb3-946cdf69e239	56,828	33,216	58.5%
11:40:12	598ff90c-b5ff-4b7b-b750-c89aaec12573	56,967	33,216	58.3%
12:08:06	0ad1ccf8-5da1-4ca6-99ff-14bcc17f5920	61,693	0	0.0% ×3
12:08:16	d1be134e-8c0e-47f6-9d4f-6ac5586dd8f0	58,045	64	0.1% ×2
12:09:22	36b5ad96-c221-457d-bc74-77bb638ca55f	58,371	64	0.1% ×3
12:09:36	d113119a-c136-468f-86d6-b836c3e21691	63,752	32,832	51.5% 恢复
12:09:58	c6acfcfe-9aba-4fcc-91a4-1f1917a327bd	59,049	33,408	56.6%
12:10:37	0bf6dc2d-2eda-4930-ba2a-6756923cad45	64,254	33,408	52.0% ×2
18:09:08	8ab95305-5bcf-4625-909a-b2944da2940e	50,904	0	0.0% ×3
18:09:16	33c970e7-9a63-4cb5-baed-f10a2877f055	64,789	0	0.0%
18:09:23	25dff974-8158-491d-aa28-95fe277ad2c3	65,028	64,768	99.6% 恢复
18:09:30	f5992606-def8-4eca-923e-a0155b2f6891	65,273	65,024	99.6%
18:09:35	513e8615-1c51-4279-9b96-9820315af1b9	52,408	50,880	97.1%
18:09:44	011fdddc-170b-4fbe-8816-4b2f12a8ac94	52,761	52,608	99.7%
18:10:19	ebcabd38-b4e0-482b-8542-a75f1619abc1	67,802	65,216	96.2% ×3
18:10:35	87876cdc-8312-48c8-8676-3e97652513a9	71,638	67,776	94.6% ×2
18:10:57	50c7b0d3-3598-494c-b725-ad814a1472f8	58,985	57,920	98.2%
18:12:40	55f79b9b-330f-47a5-8aa1-fe25b190d263	75,037	71,616	95.4% ×2
18:12:56	ae32397c-48b1-495a-ba0f-bf43d98e9d8c	60,872	60,416	99.3%

关键证据（客户端侧）

同分钟重试也 0 命中：10:53:05 与 10:53:06 相隔 1 秒、同上下文，两次 read=0 → 缓存没有被创建，非 TTL 过期
与请求间隔无关：间隔 35 分钟 miss，间隔 30 秒同样 miss；正常时段更长间隔反而能命中
每次全量重建缓存：异常段 usage 显示 cache_creation = 全量 input（如 12:08:06 三连发各新建 61,693 token）→ 每次落在没见过该前缀的上游实例
与模型绑定：同期客户端全部请求均为 pub-glm-5.3-flash

根因推断：pub-glm-5.3-flash 模型组在网关内部（或智谱上游侧）存在多后端实例，且无会话亲和性（session affinity）——同一会话连续请求被调度到不同后端，各后端前缀缓存独立，换实例即全量 miss。突发段起点伴随上游故障/重试（客户端观察到 1 秒内同请求连发 2~3 次）。

建议核查项（网关侧）

pub-glm-5.3-flash 组后端实例数与 8-31 上午/傍晚实例健康度（重启/故障切换记录）
路由策略是否具备 session/prefix 亲和性；如无，建议对该组启用 sticky session 或按 API key 哈希路由
上午 10:53~12:09（UTC+8）网关与智谱上游错误日志（对齐客户端重试时间点）
上游智谱 glm-5.3-flash 隐式前缀缓存当日命中率

影响评估

异常请求累计多算输入约 110 万 token（26 条 × 平均 4.5 万，正常命中 95%+ 时绝大部分可节省）
常驻会话在突发段响应延迟显著上升（全量 prefill 39k~65k token）