恒银科技申请多模态语言模型训练和使用方法专利，多模态语言模型可以同时精确识别自然语言和多媒体语言

2024-10-04 次浏览

金融界 2024 年 8 月 14 日新闻，天眼查常识产权信息显示，恒银金融科技株式会社申请一项名为“多模态语言模子的训练办法和使用办法“，公开号 CN202410916790.1，申请日期为 2024 年 7 月。

专利择要显示，本创造提供一种多模态语言模子的训练办法和使用办法，包含：将预先采集的样本数据集基于种别进行编码与拼接，获得模子辞书和拼接文本；依据模子辞书、拼接文本获得辞书索引矩阵 B；将 B 与当前语言模子中的嵌入矩阵 E 相乘，获得嵌入向量；基于嵌入向量的上下文信息对当前语言模子的嵌入层、暗藏层和输出层的参数权重进行修正，获得修正后语言模子；将嵌入向量输入至修正后语言模子，获得猜测 tokens 及其概率；计算猜测 tokens 和样本谜底的 tokens 之间损失 L；若 L 年夜于预设的损失阈值，则反复以上步调；不然，则将修正后语言模子作为训练好的多模态语言模子。