本文将会介绍如何使用HuggingFace的Optimum，来对微调后的BERT模型进行量化（Quantization）。   在文章NLP（六十七）BERT模型训练后动态量化（PTDQ）中，我们使用PyTorch自带的PTDQ&…

Pipeline pipeline() 的作用是使用预训练模型进行推断。 不同类型的任务所下载的默认预训练模型可以在 Transformers 库的源码 [transformers/__init__.py at main huggingface/transformers GitHub]中的 SUPPORTED_TASKS 定义。 参数Parameters Batch size 推理时没必…

Hugging Face系列2：详细剖析Hugging Face网站资源——实战六类开源库 前言本篇摘要2. Hugging Face开源库2.1 transformers2.1.1 简介2.1.2 实战1. 文本分类2. 图像识别3. 在Pytorch和TensorFlow中使用pipeline 2.2 diffusers2.2.1 简介2.2.2 实战1. 管线2. 模型和调…