LLM 大语言模型 LLM 大语言模型 基础概念 Transformer、自注意力、位置编码 Multi-Head 绝对/相对位置、RoPE 预训练 微调 提示学习 MLM、CLM、指令微调 Learning 上下文长度、token 与词表 长上下文、滑动窗口、外推 代表模型 GPT 系列：生成、对话、插件 GLM、Qwen、通义、文心等国产 开源：Llama、Mistral、DeepSeek 能力与应用 文本生成、续写、摘要 对话、问答、推理与 CoT 代码生成与解释、多语言 推理与部署 量化：INT8/INT4、GGUF、AWQ 权重量化、激活量化 微调 本地部署：Ollama、vLLM、llama.cpp 连续批处理、PagedAttention 推理 API 调用与 Agent 框架 OpenAI 兼容 API