- 分组
- AI · 文本怎样被切成 token
- 组件
TokenStream·#token-stream- 交互
- build 模式下每按一次 → 出现一组 token 和它的说明
适合
- 讲分词、计费单位、上下文怎么被占用
- 想让观众看到“一句话 = 多少 token”
不适合
- 没有真实分词结果又不标示意：切分要么来自真实分词器，要么在 label 写“示意”
- 超过 40 个 token：拆页或换 ContextWindow
内容上限
| 1 | groups 2–5 组，合计 6–40 个 token，每个 ≤ 8 个字符 |
| 2 | label ≤ 16 字 |
| 3 | notes 与组数相同，每条 ≤ 22 字 |
| 4 | 空格显示为中点 |
字段
| 字段 | 类型 | |
|---|---|---|
kicker · 必填 | string | 标题上方的小节名，2–8 字 |
title · 必填 | string | string[] | 页面标题；传数组可手动断行，每项一行 |
lead | string | 一到两句导语，≤ 60 字 |
source | string | 事实出处；页面上有任何数据或事实时必填 |
hint | ReactNode | 页眉中间的操作提示，可用 <kbd> |
groups · 必填 | string[][] | 按组排列的 token，每组一个 build 步骤 |
label | string | 上方说明，例如“示意：切分方式仅作演示” |
notes | string[] | 每组一句说明 |
示例代码
<TokenStream kicker="计费单位" title="按 token 计价" label="示意" groups={[['你是', '一名', '助手'], ['请', '检查']]} notes={['可命中缓存', '新输入']} />