news 2026/9/2 14:48:56

前期工作总结

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
前期工作总结

任务:各自把前期工作总结,包括主要使用的模型或技术介绍,附上博客链接。

1. BERT模型的改进

使用模型为bge-large模型替换bert。

bge模型(M3)以及BGE模型使用的预训练方法RetroMAE的具体技术介绍见:《M3-Embedding》汇报-CSDN博客

将BERT模型替换为BGE模型之后,由另一位同学在此基础上加入rerank模型进行重排序。

之后将large+rerank模型与有数据库版本的心法系统进行整合。

测试主要包含以下的不足:

  1. rerank模型会出现多线程错误:由于模型比较大,计算速度很慢,当带搜索框输入一条问题,并删除,再接着输入问题时,会因为前端快速连续搜索导致多个请求同时到达,导致多线程并发问题。但是只要删掉问题,等过一会模型就会自动恢复。(但是测试的结果展示,rerank加入确实有助于问答对的匹配)
  2. 关于速度的问题:模型加载缓慢,代码运行启动时,可能需要半小时。搜索框搜索稳定时,可以需要5分钟时间。
  3. 关于代码部分:进行整合的过程中发现,其实代码里面有一些逻辑问题。比如关于阈值问题,由于rerank模型控制输出5条结果,那么阈值的作用就显得没那么重要了,那么就需要考虑删除的问题。还有一些比较细节的问题,但是由于时间和测试比较麻烦(因为启动时间很长)的原因,没有进行一一排除。但是总体来说,代码是可以跑通的。

2. 标签预测

目前暂时使用利于语义来匹配标签预测:将新添加的问答对进行一个相似度计算,计算出最相似的问答对,将最相似的问答对的标签赋给新进来的问答对。

具体使用的逻辑如下:

  1. 计算问题与知识库中所有问题的相似度,取最相似的5个问题。
  2. 统计这5个问题中每个一级标签的权重(权重为所有属于该一级标签的问题的相似度之和)。
  3. 选择权重最高的一级标签。
  4. 然后,针对该一级标签,统计这5个问题中属于该一级标签的问题的二级标签,每个二级标签的权重为包含它的问题的相似度之和。
  5. 选择权重最高的1-3个二级标签(如果不足3个,则全部选择;如果超过3个,选前3个)。

利用上面逻辑来保证一级标签和二级标签的从属关系。

上面方法的不足如下:

  1. 如果数据集中没有与新问题相似的问题,那么预测可能不准确。

  2. 如果数据集中存在错误标签,也会影响预测结果。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/2 2:11:12

ComfyUI-SeedVR2视频超分辨率技术全面指南

项目亮点速览 【免费下载链接】ComfyUI-SeedVR2_VideoUpscaler Non-Official SeedVR2 Vudeo Upscaler for ComfyUI 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-SeedVR2_VideoUpscaler 🔥 核心优势:基于SeedVR2算法的专业级视频放大解决…

作者头像 李华
网站建设 2026/9/2 6:42:00

Qt关闭主窗体与quit()的深度解析

在Qt框架中,关闭主窗体(通过close()方法)和调用QApplication::quit()都是退出程序的方式,但它们在触发机制、资源管理、事件流程等方面存在显著差异。以下从技术实现和实际影响两个维度详细分析:1. 触发机制与事件循环…

作者头像 李华
网站建设 2026/9/2 11:38:09

Ubuntu进程终止全解析

在Ubuntu中,使用pkill -f 应用程序名终止应用程序的过程涉及信号传递、进程管理、资源回收等多个系统级操作。以下是详细的技术解析:1. 命令执行与信号发送pkill -f的工作原理pkill通过遍历系统进程列表(如/proc文件系统)&#xf…

作者头像 李华
网站建设 2026/9/1 5:50:49

5步掌握深空摄影堆栈神器:DeepSkyStacker让宇宙之美触手可及

想要拍摄出令人惊叹的深空星图却总是被噪点和模糊困扰?DeepSkyStacker这款专业的深空摄影堆栈工具能够帮你轻松解决这些问题。作为一款完全免费的开源软件,它通过智能的图像对齐和堆栈处理,让业余天文爱好者也能创作出专业级的宇宙影像。 【免…

作者头像 李华
网站建设 2026/9/2 15:47:14

17、RAC 环境下的应用开发技术解析

RAC 环境下的应用开发技术解析 在 RAC(Real Application Clusters)环境中进行应用开发,需要考虑诸多特定的开发概念和技术。本文将详细介绍 RAC 环境下应用开发的相关要点,包括实例与服务识别、多 SGA 应用、存储考虑、节点亲和性,以及一些高级编程技术,如透明应用故障转…

作者头像 李华
网站建设 2026/9/2 3:37:21

34、Python 数据持久化:简单与关系序列化方法详解

Python 数据持久化:简单与关系序列化方法详解 在 Python 编程中,数据持久化是一个重要的话题,它允许我们将数据保存到磁盘,以便后续使用。本文将介绍几种常见的数据持久化方法,包括简单序列化和关系序列化,并通过具体的代码示例进行详细说明。 简单序列化 简单序列化主…

作者头像 李华