模型类型

顶层参数 model_type 用于指定要使用的模型类型。

支持以下模型类型：

• ecd (默认): 编码器-组合器-解码器神经网络模型。
• llm: 用于文本生成的大型语言模型。
• gbm: 基于树的梯度提升机模型。

model_type: ecd

每种模型类型都关联有相应的训练器。有关每种模型类型支持的训练算法的详细信息，请参阅训练器部分。

模型类型：ECD

有关编码器-组合器-解码器深度学习架构的详细信息，请参阅 ECD 文档。

注意

ecd 模型类型支持 Ludwig 的所有功能。

模型类型：LLM

LLM 模型类型是用于文本生成的大型语言模型。Llama-2 等大型语言模型也可以在 ECD 模型类型中用作 文本编码器，但在 ECD 中，语言模型头部会被移除，以便将隐藏状态（嵌入）用作输出。相比之下，LLM 模型类型保留了 LM 头部，该头部用于生成 token。

LLM 模型类型支持 HuggingFace Hub 中的所有预训练 HuggingFace 因果语言模型。

注意

选择 llm 模型类型会引入以下限制：

• （目前）仅支持单个文本输入和文本输出特征
• combiner 部分将被忽略

模型类型：GBM

GBM 模型类型是梯度提升机 (GBM) 树模型。它是使用受支持的树学习器训练的树模型。目前，唯一受支持的树学习器是 LightGBM。

注意

选择 gbm 模型类型会引入以下限制：

• 仅支持二元、类别和数值特征
• 仅支持单个输出特征
• combiner 部分将被忽略