AI 技术与算力基础设施交互实验室

实验 01 · Token 分词与 API 费用

真实分词算法 · 教学词表

学习目标

观察同一段中文、英文和数字在不同词表下怎样切分，再把输入与输出词元分别计价。

大白话原理

仓库可以把常一起出货的小件预先装成一个包。BPE 从字节开始，统计训练语料中相邻件的共现，把高频组合逐次合成新编号。

动手操作

1. 输入一段混合文本，观察每个编号对应的 UTF-8 字节。
2. 切换中英文语料训练的词表，比较相同文本的 Token 数。
3. 改变输入与输出单价及请求量，核对总费用。

怎样看结果

Token ID 属于词表。同一编号在两套词表里含义可以不同。表中的字节可拼回原始输入，显示出的单个片段有时不能独立解码成字。

企业项目里怎么用

售前先拿代表性请求实测输入、RAG 上下文、输出长度和缓存命中，再估每月成本与最大窗口。

售前面试

一个汉字是否固定等于一个 Token？

取决于模型的词表与分词规则。中文、代码和缩写各有分布，报价时用目标模型的 Tokenizer 对真实样本计数。

返回目录对应教材

实验 02 · Attention 与 Q/K/V

教学模拟 · 真实矩阵运算

学习目标

理解查询、匹配和信息汇总如何由一次矩阵计算连起来。

大白话原理

借书者拿着问题 Q 找目录标签 K，按匹配程度分配阅读时间，再汇总对应书页里的信息 V。

动手操作

1. 选「云平台」并改变 Q，查看整行权重如何重新分配。
2. 调 K 看它对多个 Query 的吸引力，再调 V 对比权重和输出。
3. 切到 Cross-Attention，看 Key 与 Value 换成另一序列。

怎样看结果

每行是一个 Query 的权重分布，非遮罩项之和为 1。改变 V 只改变加权后的输出。因果遮罩让当前位置不能读取后面的输入位置。

企业项目里怎么用

长输入会增加注意力计算与 KV 存储。部署估算时要看上下文分布、注意力结构和引擎的内核优化。

售前面试

为什么把 Key 和 Value 分开？

K 用于判断该位置对查询有多相关，V 保存要汇总的信息。两者分别线性投影，可以学习不同的表示。

返回目录对应教材

实验 03 · 参数、精度与显存

理论计算

学习目标

把参数量和位宽换算成权重体积，给 8 至 80 GiB 档位做初步预算。

大白话原理

零件数量不变，包装越薄占用的仓库越小。装下零件之后，还需要操作台和待处理订单区。

动手操作

1. 比较 7B 在 BF16 和 INT4 下的体积。
2. 加入额外开销，再用 8 GiB 档位判断假设余量。
3. 切换到 70B，核对 GB 与 GiB 的换算。

怎样看结果

权重 GB 是十进制，GiB 是二进制。负余量表示预算不足，正余量只说明这套假设可以进一步验证。

企业项目里怎么用

私有化配置应同时列出权重、KV Cache、激活与运行时。再用选定模型和并发压测验证。

售前面试

权重能放进卡里，是否就能支持客户的并发？

先用层数、KV 头、长度和并发量估缓存，再确认运行时开销、分卡与服务 SLO。最终看真实负载。

返回目录对应教材

实验 04 · Temperature、Top-K 与 Top-p

教学模拟 · 真实概率计算

学习目标

亲手改变采样参数并核对过滤后候选的概率和。

大白话原理

先给几个候选答案分配票数，再限制可以参加抽签的候选范围。候选越多，抽到低频项的机会越大。

动手操作

1. 比较低温与高温下概率差距。
2. 将 Top-K 改为 1，观察抽样是否还会变化。
3. 恢复较大的 K 并减小 p，查看累计概率保留的候选。

怎样看结果

温度改变 logits 的相对差距。Top-K 按数量截断，Top-p 以累计概率截断。被过滤的概率为零，保留项重新归一化。

企业项目里怎么用

结构化抽取可优先验证较确定的设置。创意任务可扩大多样性，仍要用约束与评估保证格式和可用性。

售前面试

温度调高能让模型更聪明吗？

温度控制输出分布的集中程度。较高温度可增加多样性，也更容易抽到低概率续写，应该按任务做质量对比。

返回目录对应教材

实验 05 · KV Cache 与并发

理论计算 · 简化驻留模型

学习目标

从模型结构计算缓存字节数，理解长上下文和活跃序列数如何放大显存。

大白话原理

客服每接一个客户就留一份交谈笔记。客户越多、谈得越长，桌面越容易堆满。等待接通的客户在这个简化模型里还没有笔记。

动手操作

1. 把上下文翻倍，观察每序列缓存。
2. 同时调高活跃槽与并发，区分等待和驻留。
3. 把 KV 头数从 8 改为 32，对比 GQA 与 MHA。

怎样看结果

K 和 V 分别占空间，因此公式开头乘 2。实际分配还取决于缓存的精度、块大小和引擎对暂停序列的管理。

企业项目里怎么用

生产部署用活跃上下文长度分布规划缓存。超长请求、后台任务和交互流量分开压测，核对拒绝与回收行为。

售前面试

为什么都是 7B，KV Cache 可能差很多？

参数量无法推导 KV 结构。逐项核对层数、KV 头数、头维、数据类型和每请求长度，再乘有效驻留数。

返回目录对应教材

实验 06 · RAG 文档分块

真实滑窗计算 · 虚构手册

学习目标

改变长度与重叠，观察标题、段落和表格行会怎样被截开。

大白话原理

把维修说明剪成可索引的便签。便签太短会把告警号和原因分开，太长会把许多无关故障塞给同一次检索。

动手操作

1. 看示例手册中的 E17 表格，调小块长。
2. 增加重叠，找出相邻块的重复部分。
3. 在按段与整篇滑窗之间切换，比较跨章节内容。

怎样看结果

步长是块长减重叠，末块到文末结束。结构优先模式先按空行分段，过长段落再滑窗。

企业项目里怎么用

文档入库时保留型号、章节路径、页码、版本和权限标签。测试应包含字段跨边界的问题。

售前面试

Chunk 越小是否越容易搜准？

小块有助于定位细节，但缺少标题或上下文会丢掉证据。可先小块召回，再取父段，依据测试集调大小。

返回目录对应教材

实验 07 · 真实 Embedding 与语义搜索

真实预计算向量 · 余弦与 PCA

学习目标

比较改写问题的语义向量结果和关键词结果，理解二维图与原空间的区别。

大白话原理

给每段文字填一张多维方向卡。含义相近的卡片往往朝同一方向，余弦看方向夹角。

动手操作

1. 对比「显存不够」和「模型加载失败」。
2. 切换天气问题，看看仍会返回哪些近邻。
3. 比较余弦表、关键词表和二维投影。

怎样看结果

排序在 512 维向量上计算，PCA 只保留两条轴。相似度不表示答案正确概率，陌生问题也可能有最近邻。

企业项目里怎么用

做知识检索时按中文、术语、同义改写和型号构造样本，检查召回率和无答案拒答。

售前面试

向量检索需要给每个查询重新跑模型吗？

通常将查询编码一次，文档向量离线存好，再用索引找候选。此页预置查询向量已在本机算好。

返回目录对应教材

实验 08 · BM25、向量与混合检索

真实检索算法

学习目标

让精确型号和语义改写在三个结果列表中可对照。

大白话原理

仓库既有按型号查货的索引，也有按用途找替代件的索引。混合检索把两个列表合起来。

动手操作

1. 选择 NX-410 E17，检查是否混进 NX-401。
2. 切换到显存问题，对比改写的结果。
3. 改变混合权重，再输入一个任意关键词问题。

怎样看结果

BM25 使用词频饱和、文档频率和长度归一化。混合使用加权倒数排名 RRF。预置问题同时具备真实向量和词法检索。

企业项目里怎么用

设备名、料号、版本号和错误码要保留为可精确匹配字段。语义模型负责补足不同说法。

售前面试

为什么不能直接把 BM25 分和余弦分相加？

两个分值的尺度随查询和语料变化。可以用排名融合，也可以用归一化后的分数在验证集上调权重。

返回目录对应教材

实验 09 · Rerank 重排序

真实召回 · 教学规则重排

学习目标

观察同一批候选怎样因为查询与证据的细节变化而重新排序。

大白话原理

前台先从档案室拿十份可能相关的文件，工程师再逐份核对型号、告警和适用条件。

动手操作

1. 查看第一阶段十条结果。
2. 提高型号精确匹配或覆盖权重，比较新旧名次。
3. 更换召回方式，观察重排能操作的候选范围。

怎样看结果

表中规则分按旧排名、词法覆盖率和标题型号命中计算。重排只改变这十条的顺序。

企业项目里怎么用

先把召回率提高到可接受水平，再用重排精炼进入提示词的少量证据，并记录额外 P95。

售前面试

Embedding 已有相似度，为何还加 Rerank？

Embedding 分开编码，适合全库快速查找。重排对少量候选逐对判断查询与文档的关系，能把关键条件考虑得更细。

返回目录对应教材

实验 10 · 完整 RAG 知识问答

真实检索 · 证据模板答案

学习目标

看清从问题到召回、上下文、提示词和引用的完整路径。

大白话原理

先查资料，再把查到的原文放在桌上。回答时只把桌上的证据编号和内容交给读者。

动手操作

1. 选显存问题，检查上下文和引用对应关系。
2. 选天气问题、LAB-210 旧规和审计日志，观察三种处理。
3. 修改上下文片段数，看看回答依据如何变化。

怎样看结果

答案是程序依照选取证据生成的模板。没有材料时拒答，归档材料不用于现行结论，冲突时列出双方。

企业项目里怎么用

真实企业 RAG 需要证据 ACL、版本管理、引用可追踪和拒答评估。模板便于先验证检索链再接生成模型。

售前面试

RAG 能不能解决所有幻觉？

它能把检索证据提供给模型。召回、时效、权限和证据使用都可能出错，必须分别验收。

返回目录对应教材

实验 11 · Agent 与只读工具调用

教学模拟 · 可复算的工具执行

学习目标

观察固定工作流与动态挑工具的执行链，以及权限、故障和重试的区别。

大白话原理

巡检员照固定清单查全部设备，调度员根据任务挑几项。门禁检查由执行系统完成。

动手操作

1. 输入负载和告警任务，切换固定巡检和 Agent。
2. 切为普通查看者，查看哪些调用被拒绝。
3. 注入一次或持续超时，比较重试、缺失与报告。

怎样看结果

规则选择调用路径，工具返回的是虚构设备数据。拒绝与失败均进入执行轨迹，报告只引用成功结果。

企业项目里怎么用

用 schema 限制参数，工具端按用户授权校验，再设置调用限额、超时、重试与审计。

售前面试

模型调用工具就等于拥有系统权限吗？

模型提出结构化请求。应用验证身份、允许工具和资源范围，执行成功后把结果回给模型。

返回目录对应教材

实验 12 · Prefill、Decode 与推理排队

教学性能模型

学习目标

把首字、逐词延迟、吞吐与排队拆开估算。

大白话原理

厨房先备料再逐道出餐。多人一起下单可共享灶台，但等到下一轮的客人先要排队。

动手操作

1. 增大输入长度，观察首批 TTFT。
2. 增大输出长度，观察末批排队与总耗时。
3. 改变批上限和速率，分开看个人时延与整批吞吐。

怎样看结果

TTFT 从提交到首词元，TPOT 是后续词元的平均步长。吞吐把整个队列输出总量除以墙钟时间。

企业项目里怎么用

PoC 用同一请求长度分布测并发 1、2、4 和峰值，记录 P50/P95、失败率及显存峰值。

售前面试

Token/s 很高，为什么用户仍觉得慢？

聚合吞吐可很高，但排队、长输入 Prefill 和大批次仍可能拉高首字或每用户等待时间。

返回目录对应教材

实验 13 · InfiniBand 与 AI 集群网络规划

端口整数规划 · Ring 理论下限

学习目标

用 8 节点算清 Leaf、Spine、实际端口、点对点链路和故障后的收敛比。

大白话原理

服务器端口像小区的车道，Leaf 汇流后经 Spine 跨区。下联车道比上联多时，同时跨区会排队。给断路留余量要重新数剩余车道。

动手操作

1. 用默认 8 节点、每节点 8 口、400 Gb/s，核对 4 Leaf、4 Spine 和 128 条链路。
2. 尝试 200 Gb/s 与更高超售，比较每节点可用上限。
3. 切换 Spine 故障余量或独立双平面，下载规划表。

怎样看结果

200 Gb/s 对应 25 GB/s 标称，400 对应 50 GB/s。用等速端口近似时，收敛比用最大 Leaf 下联除以上联。每条层间链路占两台交换机的口。

企业项目里怎么用

把 GPU/NIC PCIe 槽位、链路介质、端口分拆、供电、管理网和布线表一起核对。8 卡服务器的端口数由并行策略与目标有效带宽决定。

售前面试

普通推理是否一定需要 InfiniBand？

单机副本主要承载请求和存储流量，先测业务以太网。训练和跨机张量并行有频繁集体通信，按目标带宽与尾延迟考虑专用网络。

返回目录对应教材

实验 14 · 存储与多节点加载

理论计算 · 冷热路径

学习目标

估算节点同时加载权重时最窄链路，并观察本地缓存的效果。

大白话原理

八个人从同一水管灌满水桶，水管总流量要分给所有人。各家有本地水箱时，慢点可能变成自己家出水口。

动手操作

1. 增加加载节点，观察共享出口怎样分摊。
2. 调网络速率和读取速度，找到瓶颈切换点。
3. 切换到热缓存，比较加载下限。

怎样看结果

冷路径由共享读、网络和各节点盘速率的最小值决定。热路径从本地读，模型初始化和 GPU 拷贝还要另测。

企业项目里怎么用

模型滚动发布应测集中启动和故障恢复。训练要按真实文件大小、并发读取、解码和检查点负载验证。

售前面试

GPU 很贵，训练时为什么仍然空闲？

数据集小文件、读带宽、解码和 CPU 预处理都可能让输入队列见底。分阶段记录等待与 GPU 利用率。

返回目录对应教材

实验 15 · API、租赁、托管与自建成本

理论计算 · 所有金额是假设

学习目标

用同一负载比较四种账单口径，观察自建折旧与现金回收的区别。

大白话原理

按次打车、按小时租车、包月租和自己买车的费用结构不同。自己买还要算停车、维护和闲置。

动手操作

1. 用客户报价替换所有假设单价。
2. 改变活跃比例和通电时间，观察电费与月成本。
3. 改变业务 Token 量，查看持平量和现金回收期。

怎样看结果

自建月成本含折旧，回收期用设备现金投入和经常性费用差额。PUE 用于将 IT 耗电换成设施总耗电。

企业项目里怎么用

比较前先统一模型质量、SLO、数据安全、GPU 规格和峰值容量，补入存储、网络、维保和人力。

售前面试

利用率低时怎样比较租赁与自建？

先量实际计费小时与业务利用率。租赁空闲可能仍收费，自建仍承担固定投入。用多个流量情景算敏感性。

返回目录对应教材

实验 16 · 3000 人企业知识库方案

教学方案生成器

学习目标

按业务、安全、技术资源和验收三步形成一份可讨论的售前草稿。

大白话原理

先问大楼用途和人数，再画水电图和设备清单，最后安排验收。人数只是起点，真正配置取决于使用峰值。

动手操作

1. 选择业务、安全范围和峰值假设。
2. 选择部署、检索、GPU、存储、网络与可用性。
3. 填写验收门槛，查看风险并下载方案。

怎样看结果

草稿把每种选型的收益、约束和 PoC 指标放在一起。出现冲突时列出待核查条件。

企业项目里怎么用

访谈阶段冻结高峰、数据规模、权限和更新频率。试点阶段以样本与真实请求测量，交付补监控、灰度、回退和运维。

售前面试

3000 名员工需要多少 GPU？

先估峰值并发、输入输出分布和 SLO，再根据模型权重、KV、吞吐和容灾算资源。先单卡实测再扩容。

返回目录对应教材

Windows 本地实测报告

下面的报告来自 Windows 上的实验脚本。你也可以选择自己导出的 JSON 文件，在当前浏览器查看。

返回目录