► KerasHub：预训练模型 / API 文档 / 预处理层 / MultiSegmentPacker 层

MultiSegmentPacker 层

`MultiSegmentPacker` 类

keras_hub.layers.MultiSegmentPacker(
    sequence_length,
    start_value,
    end_value,
    sep_value=None,
    pad_value=None,
    truncate="round_robin",
    **kwargs
)

将多个序列打包成单个固定宽度的模型输入。

此层将多个输入序列打包成单个固定宽度的序列，其中包含起始和结束分隔符，形成适合 BERT 和类似 BERT 模型分类任务的密集输入。

接受一个分词片段的元组作为输入。每个元组元素应包含作为张量、tf.RaggedTensor 或列表传递的片段分词。对于批处理输入，片段元组中的每个元素都应该是一个列表的列表或一个二维张量。对于非批处理输入，每个元素都应该是一个列表或一个一维张量。

该层将按以下方式处理输入： - 根据 truncate 策略截断所有输入片段以适应 sequence_length。 - 连接所有输入片段，在整个序列的开头添加一个 start_value，并在每个片段的末尾添加多个 end_value。 - 使用 pad_tokens 将结果序列填充到 sequence_length。 - 计算一个独立的“片段 ID”张量，其整数类型和形状与打包的分词输出相同，其中每个整数索引都表示分词来源的片段。start_value 的片段 ID 始终为 0，每个 end_value 的片段 ID 是其前面的片段。

参数

sequence_length：int。所需的输出长度。
start_value：int/str/list/tuple。要放置在每个序列开头的 ID 或分词（BERT 中称为“[CLS]”）。数据类型必须与层输入张量的数据类型匹配。
end_value：int/str/list/tuple。要放置在最后一个输入片段末尾的 ID 或分词（BERT 中称为“[SEP]”）。数据类型必须与层输入张量的数据类型匹配。
sep_value：int/str/list/tuple。要放置在除最后一个片段之外的每个片段末尾的 ID 或分词（BERT 中称为“[SEP]”）。如果为 None，则使用 end_value。数据类型必须与层输入张量的数据类型匹配。
pad_value：int/str。要放置在序列中最后一个片段之后未使用的位置的 ID 或分词（BERT 中称为“[PAD]”）。
truncate：str。截断一批片段以适应每个示例长度限制的算法。值可以是 "round_robin" 或 "waterfall"
- "round_robin"：可用空间以循环方式一次分配一个标记给仍需要标记的输入，直到达到限制。
- "waterfall"：“瀑布”算法用于分配预算，该算法从左到右分配配额，并填充桶，直到预算用尽。它支持任意数量的片段。

一个包含两个元素的元组。第一个是密集、打包的分词序列。第二个是相同形状的整数张量，包含片段 ID。

示例

打包单个输入进行分类。

>>> seq1 = [1, 2, 3, 4]
>>> packer = keras_hub.layers.MultiSegmentPacker(
...     sequence_length=8, start_value=101, end_value=102
... )
>>> token_ids, segment_ids = packer((seq1,))
>>> np.array(token_ids)
array([101, 1, 2, 3, 4, 102, 0, 0], dtype=int32)
>>> np.array(segment_ids)
array([0, 0, 0, 0, 0, 0, 0, 0], dtype=int32)

打包多个输入进行分类。

>>> seq1 = [1, 2, 3, 4]
>>> seq2 = [11, 12, 13, 14]
>>> packer = keras_hub.layers.MultiSegmentPacker(
...     sequence_length=8, start_value=101, end_value=102
... )
>>> token_ids, segment_ids = packer((seq1, seq2))
>>> np.array(token_ids)
array([101, 1, 2, 3, 102,  11,  12, 102], dtype=int32)
>>> np.array(segment_ids)
array([0, 0, 0, 0, 0, 1, 1, 1], dtype=int32)

使用不同的分隔符打包多个输入进行分类。

>>> seq1 = [1, 2, 3, 4]
>>> seq2 = [11, 12, 13, 14]
>>> packer = keras_hub.layers.MultiSegmentPacker(
...     sequence_length=8,
...     start_value=101,
...     end_value=102,
...     sep_value=[102, 102],
... )
>>> token_ids, segment_ids = packer((seq1, seq2))
>>> np.array(token_ids)
array([101,   1,   2, 102, 102,  11,  12, 102], dtype=int32)
>>> np.array(segment_ids)
array([0, 0, 0, 0, 0, 1, 1, 1], dtype=int32)

参考

Devlin 等人，2018 年.

MultiSegmentPacker 层

MultiSegmentPacker 类

MultiSegmentPacker 层

MultiSegmentPacker 类

`MultiSegmentPacker` 类