SegFormerImageSegmenter 类keras_hub.models.SegFormerImageSegmenter(
backbone, num_classes, preprocessor=None, **kwargs
)
一个实现 SegFormer 进行语义分割的 Keras 模型。
此类实现了 [SegFormer: 简单高效的带 Transformer 的语义分割设计] (https://arxiv.org/abs/2105.15203) 中描述的 SegFormer 架构的分割头，并 [基于 DeepVision 的 TensorFlow 实现] (https://github.com/DavidLandup0/deepvision/tree/main/deepvision/models/segmentation/segformer)。
SegFormer 旨在与 MixTransformer (MiT) 编码器系列配合使用，并使用一个非常轻量级的全 MLP 解码器头。
MiT 编码器使用分层 Transformer，以多尺度输出特征，类似于 CNN 通常 associated 的分层输出。
参数
keras.Model。用于 SegFormer 编码器的特征提取器模型的主干网络。它旨在仅与专为 SegFormer 创建的 MiT 主干模型（keras_hub.models.MiTBackbone）一起使用。或者，可以是 keras_hub.models.Backbone，一个子类化 keras_hub.models.FeaturePyramidBackbone 的模型，或者一个具有 pyramid_outputs 属性的 keras.Model，该属性是一个字典，键为 "P2"、"P3"、"P4" 和 "P5"，值为层名称。示例
使用预设
segmenter = keras_hub.models.SegFormerImageSegmenter.from_preset(
"segformer_b0_ade20k_512"
)
images = np.random.rand(1, 512, 512, 3)
segformer(images)
使用 SegFormer 主干
encoder = keras_hub.models.MiTBackbone.from_preset(
"mit_b0_ade20k_512"
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
使用带自定义编码器的 SegFormer 主干
images = np.ones(shape=(1, 96, 96, 3))
labels = np.zeros(shape=(1, 96, 96, 1))
encoder = keras_hub.models.MiTBackbone(
depths=[2, 2, 2, 2],
image_shape=(96, 96, 3),
hidden_dims=[32, 64, 160, 256],
num_layers=4,
blockwise_num_heads=[1, 2, 5, 8],
blockwise_sr_ratios=[8, 4, 2, 1],
max_drop_path_rate=0.1,
patch_sizes=[7, 3, 3, 3],
strides=[4, 2, 2, 2],
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
segformer = keras_hub.models.SegFormerImageSegmenter(
backbone=backbone,
num_classes=4,
)
segformer(images
使用带有预设主干的分割器类
image_encoder = keras_hub.models.MiTBackbone.from_preset(
"mit_b0_ade20k_512"
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
segformer = keras_hub.models.SegFormerImageSegmenter(
backbone=backbone,
num_classes=4,
)
from_preset 方法SegFormerImageSegmenter.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您都可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过两种方式调用。可以从特定任务的基类（如 keras_hub.models.CausalLM.from_preset()）调用，也可以从模型类（如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，返回对象的子类将根据预设目录中的配置推断。
参数
True，已保存的权重将被加载到模型架构中。如果为 False，所有权重将被随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| segformer_b0_ade20k_512 | 3.72M | 在 512x512 分辨率下，使用 MiTB0 主干并在 ADE20k 上微调的 SegFormer 模型。 |
| segformer_b0_cityscapes_1024 | 3.72M | 在 1024x1024 分辨率下，使用 MiTB0 主干并在 Cityscapes 上微调的 SegFormer 模型。 |
| segformer_b1_ade20k_512 | 13.68M | 在 512x512 分辨率下，使用 MiTB1 主干并在 ADE20k 上微调的 SegFormer 模型。 |
| segformer_b1_cityscapes_1024 | 13.68M | 在 1024x1024 分辨率下，使用 MiTB1 主干并在 Cityscapes 上微调的 SegFormer 模型。 |
| segformer_b2_ade20k_512 | 24.73M | 在 512x512 分辨率下，使用 MiTB2 主干并在 ADE20k 上微调的 SegFormer 模型。 |
| segformer_b2_cityscapes_1024 | 24.73M | 在 1024x1024 分辨率下，使用 MiTB2 主干并在 Cityscapes 上微调的 SegFormer 模型。 |
| segformer_b3_ade20k_512 | 44.60M | 在 512x512 分辨率下，使用 MiTB3 主干并在 ADE20k 上微调的 SegFormer 模型。 |
| segformer_b3_cityscapes_1024 | 44.60M | 在 1024x1024 分辨率下，使用 MiTB3 主干并在 Cityscapes 上微调的 SegFormer 模型。 |
| segformer_b4_ade20k_512 | 61.37M | 在 512x512 分辨率下，使用 MiTB4 主干并在 ADE20k 上微调的 SegFormer 模型。 |
| segformer_b4_cityscapes_1024 | 61.37M | 在 1024x1024 分辨率下，使用 MiTB4 主干并在 Cityscapes 上微调的 SegFormer 模型。 |
| segformer_b5_ade20k_640 | 81.97M | 在 640x640 分辨率下，使用 MiTB5 主干并在 ADE20k 上微调的 SegFormer 模型。 |
| segformer_b5_cityscapes_1024 | 81.97M | 在 1024x1024 分辨率下，使用 MiTB5 主干并在 Cityscapes 上微调的 SegFormer 模型。 |
backbone 属性keras_hub.models.SegFormerImageSegmenter.backbone
一个具有核心架构的 keras_hub.models.Backbone 模型。
preprocessor 属性keras_hub.models.SegFormerImageSegmenter.preprocessor
用于预处理输入的 keras_hub.models.Preprocessor 层。