Token 流 <TokenStream />
一句话被切成带序号的 token 小块,按组逐步出现,右上角显示总数;每组一种底色,下方一句说明。
Template and style descriptions are currently available in Chinese only.
- Group
- AI · 文本怎样被切成 token
- Component
TokenStream·#token-stream- Interaction
- build 模式下每按一次 → 出现一组 token 和它的说明
Good for
- 讲分词、计费单位、上下文怎么被占用
- 想让观众看到“一句话 = 多少 token”
Avoid when
- 没有真实分词结果又不标示意:切分要么来自真实分词器,要么在 label 写“示意”
- 超过 40 个 token:拆页或换 ContextWindow
Content limits
| 1 | groups 2–5 组,合计 6–40 个 token,每个 ≤ 8 个字符 |
| 2 | label ≤ 16 字 |
| 3 | notes 与组数相同,每条 ≤ 22 字 |
| 4 | 空格显示为中点 |
Fields
| Field | Type | |
|---|---|---|
kicker · required | string | 标题上方的小节名,2–8 字 |
title · required | string | string[] | 页面标题;传数组可手动断行,每项一行 |
lead | string | 一到两句导语,≤ 60 字 |
source | string | 事实出处;页面上有任何数据或事实时必填 |
hint | ReactNode | 页眉中间的操作提示,可用 <kbd> |
groups · required | string[][] | 按组排列的 token,每组一个 build 步骤 |
label | string | 上方说明,例如“示意:切分方式仅作演示” |
notes | string[] | 每组一句说明 |
Example
<TokenStream kicker="计费单位" title="按 token 计价" label="示意" groups={[['你是', '一名', '助手'], ['请', '检查']]} notes={['可命中缓存', '新输入']} />