# ActiveLLM：让大语言模型选择需要标注的32个样本

解析ActiveLLM如何分离样本选择与分类器训练，并结合少样本收益、反例和实验条件理解其技术贡献。

Source: https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection

首页 / 新闻与洞见 新闻与洞见 ActiveLLM：让大语言模型选择需要标注的32个样本 解析ActiveLLM如何分离样本选择与分类器训练，并结合少样本收益、反例和实验条件理解其技术贡献。 人工智能 2026.11.12 已出版 IPLEX 阅读约13分钟 标注预算很少时，选择哪些样本可能与样本数量同样重要。ActiveLLM将选择任务交给大语言模型，再用所选样本的标签训练独立分类器。它讨论的是学习流程的分工，而不是让大模型承担以后每一次预测。 冷启动问题与独立的选择模型 主动学习旨在把标注投入集中到更有训练价值的样本上。传统不确定性策略在初期可能遇到困难：标签太少，分类器本身尚不能可靠判断哪些样本最不确定；选择过程中反复训练也会产生等待。ActiveLLM使用遵循指令的LLM作为查询模型，不依赖后续分类器的内部参数或预测概率。 Figure 1：LLM选择、人工标注与BERT训练的分离 — Bayer, Lutz & Reuter (2026), CC BY 4.0. 论文由达姆施塔特工业大学PEASEC的Markus Bayer、Justin Lutz和Christian Reuter撰写，2026年1月发表于TACL第14卷第1—22页，DOI为10.1162/TACL.a.63。这里的少样本是指用少量带标签数据训练后续模型，应与仅在推理提示词中放入几个示例区分。 从候选文本到分类器训练 LLM接收有限的候选列表、选择任务说明、所需样本数和输出格式，并返回样本编号。之后为这些样本提供标签，训练BERT类分类器，再在独立评估数据上测量表现。后续每次分类不必继续调用选择用的LLM。 200个候选与最终选取32个样本是不同概念。主要实验向LLM提供100或200个候选，而非一次输入整个大数据集。实验使用数据集已有的正确标签模拟人工标注，因此检验的是选择质量，不能证明自动标注比人工更准确，也不能证明人工标注错误已经消除。 提示词越详细，选择就越好吗 在CTI中从300个候选选32个样本时，随机选择的F1为0.6781，使用简洁分步思考指令的B2为0.7214，要求逐例说明理由的B3降至0.6271；加入标注指南的C2达到0.7329。这些是改变提示词组成的对照，并非将所有说明同时加入一个提示词。 Figure 2：指定角色、候选、选择数量及输出格式的提示词 — Bayer, Lutz & Reuter (2026), CC BY 4.0. 由于公开数据集往往没有可用的标注指南，后续通用评估采用不含额外选择建议和指南的B2。选择数量、任务目标及输出要求需要明确，但较长的回答并不等于更好的选择。模型生成的解释也不能直接视为其内部决策过程的真实记录。 实验预算、数据划分与指标 提示词开发使用CTI，通用文本分类和句对判断使用GLUE；CTI与AG News在测试集评估，GLUE在验证集评估。提示词对比取五种数据顺序和五种模型初始化的25次平均，后续主要实验使用一种顺序和五种初始化。Table 3给出32个样本训练BERT-base后的准确率，其中CoLA也按准确率报告，不能混同CTI的F1或其他资料中的CoLA指标。 候选数量为50、100、200、300、400时，CTI的F1依次为0.7120、0.7438、0.7695、0.7214、0.6632，最终均选32例。200只是该实验中的最佳值。传统主动学习可访问整个候选池并反复训练，而ActiveLLM从子集中一次选取一批样本。因此比较对象是完整配置，并非其他条件完全一致、只替换一个算法的实验。 明显改善与必须保留的反例 SST-2中，随机选择的准确率为56.03%，200候选的ActiveGPT4为73.14%，相差17.11个百分点，不是相对提高17.11%。WNLI中Mistral Large为52.96%，比35.77%高17.19个百分点。但GPT-4o的RTE为48.88%，低于随机的50.83%；Gemini Ultra的SST-2为49.08%，低于56.03%；GPT-3.5的QNLI则同为55.11%。 Table 3：32个所选样本训练BERT-base后的GLUE准确率 — Bayer, Lutz & Reuter (2026), CC BY 4.0. Figure 5中，CTI上的ActiveGPT4、ADAPET及组合分别为76.95、59.31、75.95（F1乘100）；SST-2上的ActiveGPT4、PERFECT及组合准确率分别为73.14%、48.85%、53.10%。单独选择方式相对对应方法的差值是17.64个F1点和24.29个百分点。AG News中，SetFit从79.57%提高到组合后的81.09%，而ActiveGPT4单独为67.33%。ADAPET、SetFit使用BERT-base，PERFECT使用RoBERTa-Large，不同任务、指标和架构不能合并为统一排名。 Figure 5：单独选择、少样本方法及组合的分任务比较 — Bayer, Lutz & Reuter (2026), CC BY 4.0. 选择耗时与仍然存在的成本 Table 4以分钟列出传统策略经过六轮主动学习选择32例所需的时间。BALD在QQP上运行48小时仍未得到结果，因此该项缺失，并不代表准确率为零。ActiveLLM省去选择阶段的反复训练，只检查部分候选，论文报告其查询耗时可达数秒级。 但这不是在相同条件下逐一列出各LLM端到端延迟和API费用的完整成本表，不能据此计算确切的提速或降本倍数。实际部署还需考虑调用收费、输入长度、数据传输条件及后续分类器的使用量。 样本增加后的表现及适用边界 每轮选择25例、累计到300例的实验中，优势主要出现在约100例以下，之后逐渐接近随机选择。再次提供已选样本编号，可以在不重复全文的情况下保留历史。用ActiveGPT4选择最初50例有助于LC和PE，但EKM与BALD没有重现同样收益。 Figure 7：使用ActiveGPT4初选50例时LC、PE、EKM和BALD的比较 — Bayer, Lutz & Reuter (2026), CC BY 4.0. 实验主要针对BERT类分类器，不能推广到所有生成模型训练。提示词主要围绕GPT-4设计，并非对每个LLM分别优化；也不能完全排除公开基准进入预训练数据的可能。长候选文本、服务隐藏指令、模型版本和设置影响可复现性。即使后续分类器独立运行，向选择LLM传输原文仍涉及保密问题。 从专利分析角度理解技术结构 技术问题是在缺少可靠标注集的初始阶段选出高价值样本。信息流包括向指令型LLM提供候选批次和选择条件、接收样本标识，再连接标注与后续训练。选择器与训练对象的分离是核心，候选规模、编号格式及历史提示则是相关设计要素。 观察到的效果取决于模型、提示词、数据和标注预算的组合。研究支持在特定少样本任务中利用大模型选择数据，同时必须保留性能下降的组合和样本增多后收益缩小的结果。该结构分析不等于认定技术具有专利新颖性或可专利性，SST-2的改进也不是普遍性能承诺。 图中保留原始标注与形态，相关内容在正文中说明。 分析论文：ActiveLLM（TACL 2026） 了解金容德专利代理师的AI专业经验 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 冷启动问题与独立的选择模型 从候选文本到分类器训练 提示词越详细，选择就越好吗 实验预算、数据划分与指标 明显改善与必须保留的反例 选择耗时与仍然存在的成本 样本增加后的表现及适用边界 从专利分析角度理解技术结构 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 职务发明补偿请求的诉讼时效从何时起算？ ↗ 较早文章 读懂Lost in the Middle：答案文档放在什么位置也会影响结果 ↗ 相关解读 人工智能 2026.11.19 Matryoshka嵌入与图像检索：用向量前缀筛选，再用完整向量重排 解读NeurIPS 2022的Matryoshka Representation Learning、不同长度的联合训练及ImageNet-1K检索实验。 ↗ 阅读全文 人工智能 2026.11.18 字节跳动自动字幕专利：分轨识别语音，再调整字幕重叠时间 解读US11837234B2的音轨选择与字幕时间调整，并区分专利公开内容和CapCut的公开操作说明。 ↗ 阅读全文 人工智能 2026.11.17 苹果文字识别专利：把照片中的电话号码与网址连接到操作 解析US12001642B2中识别文本、图像坐标、文本类型和用户输入如何共同决定菜单与操作。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://aclanthology.org/2026.tacl-1.1/
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://www.iplexlaw.co.kr/ko/blog/activellm-few-shot-example-selection
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-0
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-1
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-2
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-3
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-4
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-5
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-6
- https://www.iplexlaw.co.kr/zh/blog/activellm-few-shot-example-selection#article-1954-en-7
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1955
- https://www.iplexlaw.co.kr/zh/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/zh/blog/apple-recognized-text-contextual-actions
