一种通过“减少 HBM 访问次数”来加速计算的算法。它不改变计算量(FLOPS),但极大地减少了数据搬运的时间(IO)
简单一句话总结 FlashAttention 的核心思想:
它是一种通过“减少 HBM 访问次数”来加速计算的算法。它不改变计算量(FLOPS),但极大地减少了数据搬运的时间(IO)。
在大模型领域,IO(搬运数据)往往比计算更慢,所以“少跑几趟仓库”就能带来巨大的速度提升。
1. 传统 Attention 的痛点:HBM 的“反复折返跑”
2025/12/7大约 5 分钟
一种通过“减少 HBM 访问次数”来加速计算的算法。它不改变计算量(FLOPS),但极大地减少了数据搬运的时间(IO)
简单一句话总结 FlashAttention 的核心思想:
它是一种通过“减少 HBM 访问次数”来加速计算的算法。它不改变计算量(FLOPS),但极大地减少了数据搬运的时间(IO)。
在大模型领域,IO(搬运数据)往往比计算更慢,所以“少跑几趟仓库”就能带来巨大的速度提升。
关键点:定义意图槽位 + 每个意图和槽位的 Few-Shot + CoT + 结构化格式JSON输出识别结果 + qwen3-max
优点:简单
缺点:意图数量增多时,提示词长度膨胀,3s以上
优点:各意图分离,单独进行抽槽
缺点:AI调用次数增多,qwen3-max,慢
切换下载来源
conda activate vllm_env
conda activate train_lora
切换下载来源
export USE_MODELSCOPE_HUB=1
持久化配置
echo 'export USE_MODELSCOPE_HUB=1' >> ~/.bashrc
source ~/.bashrc
自定义下载目录
export MODELSCOPE_CACHE="/autodl-tmp/cache/modelscope/"
export MODELSCOPE_MODULES_CACHE="/autodl-tmp/cache/modelscope_modules/"
您好!很高兴为您解答关于我的工作流程和结构的问题。作为京东京言智能导购助手,我的核心使命是帮助用户更轻松、更高效地完成购物决策。我的工作流程和结构可以简单概括如下:
我的工作流主要由以下几个模块组成,它们协同工作,确保为用户提供精准、专业的导购服务:
上下文工程 vs 提示工程:
| 维度 | 提示工程 | 上下文工程 |
|---|---|---|
| 焦点 | 单次查询的指令优化 | 整个对话状态管理 |
| 使用者 | 普通用户、开发者 | AI智能体开发人员 |
| 范围 | 当前输入 | 系统指令+工具+外部数据+历史消息 |
上下文指的是从大型语言模型(LLM)中采样时包含的标记集。当前的工程问题是优化这些标记的效用,以克服 LLM 的固有约束,从而持续实现期望的结果。有效管理 LLM 通常需要从上下文角度思考——换句话说:考虑在任何给定时间 LLM 可用的整体状态以及该状态可能产生的潜在行为。
1)恰当的提示:有效的系统提示应避免过于复杂或过于模糊两个极端。建议使用XML标签或Markdown标题等技术,将提示语划分为不同的部分(如背景信息、指令、工具指导等),清晰地描述预期行为