论文选题、课程设计题库和科研项目库经常会遇到“字面不同但方向接近”的问题：一个题目写作“论文题目相似度检测”，另一个题目写作“学术论文语义检索与选题推荐”，关键词并不完全一致，但技术路线可能都落在文本向量、相似度排序和推荐生成上。本文围绕一个可运行项目，演示如何用真实论文题库搭建论文题目相似检索与选题推荐系统。
本次博客包和资源包通过 OpenAlex Works API 获取与 paper recommendation、semantic textual similarity、sentence embeddings 等主题相关的真实论文条目，并保留source与source_url字段。系统默认支持 SentenceTransformer 权重；在没有配置本地权重或不允许联网下载时，会自动回退到 TF-IDF 字符 n-gram 引擎，保证资源包拿到后仍能离线跑通。
关键词：论文题目相似度，语义检索，选题推荐，OpenAlex，SentenceTransformer，TF-IDF，余弦相似度，Streamlit
项目背景与真实素材来源
论文题目相似检索不是简单的关键词搜索。教师或学生往往关心的是“这个题目和已有题库是不是同一类方向”“是否需要换应用场景或技术路线”“能不能基于相似结果生成更有差异的新选题”。如果只靠人工翻 Excel，容易遗漏语义接近但表述不同的条目。
真实使用场景通常是多篇论文、多个题库和多个系统窗口同时打开，人工需要快速判断题目、摘要、关键词之间的关系。下面这张真实学术资料审阅图片来自 Wikimedia Commons，原文件名为Scholarly journals on screens.jpg，作者标注为 Andrepach，许可证为 CC BY-SA 4.0，适合用来说明学术资料集中审阅的业务背景。
为了让后面的检索截图更可信，项目新增了真实论文题库：
demo_data/real_openalex_semantic_search_titles.csv这份 CSV 通过 OpenAlex Works API 检索生成，共保留 72 条论文记录，字段包括id、title、abstract、field、keywords、year、difficulty、source和source_url。其中source是 OpenAlex work id，source_url指向 DOI、论文页面或 OpenAlex 条目。这样博客中的结果图可以追溯到真实论文，而不是临时编造的中文标题。
本文参考资料：
- OpenAlex API 文档：https://docs.openalex.org/how-to-use-the-api/api-overview
- OpenAlex Works 搜索说明：https://docs.openalex.org/api-entities/works/search-works
- SentenceTransformers 语义搜索文档：https://www.sbert.net/examples/sentence_transformer/applications/semantic-search/README.html
- SentenceTransformers 文本相似度文档：https://www.sbert.net/docs/sentence_transformer/usage/semantic_textual_similarity.html
- text2vec 中文句向量模型：https://huggingface.co/shibing624/text2vec-base-chinese
- Wikimedia Commons 图片来源：https://commons.wikimedia.org/wiki/File:Scholarly_journals_on_screens.jpg
系统设计与关键代码
项目的核心目标是：输入一个待检测论文题目，系统自动在题库中检索相似论文，计算相似度，给出重复风险标签，并生成可继续修改的新选题建议。为了方便资源包交付，目录被拆成入口程序、核心模块、配置、真实题库、模型权重说明、输出结果和文档几部分。
paper_title_semantic_recommender/ ├── main.py 命令行入口 ├── app.py Streamlit 页面 ├── configs/config.json 模型、数据和阈值配置 ├── demo_data/ │ ├── real_openalex_semantic_search_titles.csv │ └── paper_titles.csv 保留的中文示例题库 ├── src/ │ ├── data_loader.py 数据读取与字段校验 │ ├── embedding_engine.py SentenceTransformer/TF-IDF 双引擎 │ ├── recommender.py 相似检索与风险判断 │ ├── idea_generator.py 新选题生成 │ └── visualization.py 图表和截图保存 ├── images/figures/ 流程图 ├── images/results/ 真实运行截图和结果图 └── outputs/ CSV 与 Markdown 报告下面的流程图按实际模块整理了系统处理链路。图中不放标题，只保留和项目运行一致的六个阶段：真实题库、文本清洗、向量编码、相似检索、风险判断、推荐导出。
代码中最关键的是双引擎设计。SentenceTransformerEngine会优先尝试加载本地weights/text2vec-base-chinese/模型；如果本地没有权重，也没有设置ALLOW_MODEL_DOWNLOAD=1，系统不会卡死，而是切换到TfidfFallbackEngine。这个备选引擎使用字符级 n-gram，更适合中文和英文短标题混合检索，也让资源包在 CPU 和离线环境下仍然可运行。
相似度检索逻辑位于src/recommender.py。程序会把title、abstract、keywords、field拼接成检索文本，然后把查询题目和题库语料编码为向量，使用余弦相似度排序。结果中不仅输出分数，还会根据当前引擎采用不同阈值，标记“高度相似”“中度相似”“低度相似”等风险提示。
用真实论文题库跑通项目
本次验证使用已有 Python 环境完成，核心依赖包括pandas、scikit-learn、matplotlib、Pillow和tabulate。由于本地没有配置 SentenceTransformer 权重，运行时自动进入 TF-IDF 字符 n-gram 离线检索引擎。这个状态正好验证了资源包在无权重、无 GPU 场景下的可运行能力。
实际运行命令如下：
python main.py--query"sentence embedding based scientific paper recommendation and semantic similarity search"--top_k8命令行真实输出被程序保存为截图。可以看到返回结果不是占位文本，而是来自 OpenAlex 真实论文题库的英文论文题名，例如 semantic search、sentence embedding、scientific paper recommendation 等相关条目。
项目同时提供 Streamlit 页面。页面运行命令如下：
streamlit run app.py我在本地启动页面后输入同一个查询题目，并点击“开始检索与推荐”。下图是浏览器中的真实运行截图，表格中同样显示 OpenAlex 论文编号、相似度、风险标签、论文标题、方向和题库标记。
运行完成后，项目会同步生成结构化结果文件：
outputs/search_results.csv outputs/topic_ideas.csv outputs/run_report.md images/results/search_results.png images/results/similarity_heatmap.png images/results/recommendation_cards.png images/results/console_run_result.png images/results/streamlit_app_real_run.png结果图表解读
第一张结果图是 TopK 相似论文柱状图。它适合回答“哪些论文题目最接近当前查询”。在这次真实数据运行中，排名靠前的结果集中在 sentence embedding、semantic search、scientific paper recommendation 等方向，说明查询语义和题库主题匹配。
第二张图是 Top 结果之间的相似度热力图。它不只看查询题目和每条论文的相似度，还能观察返回结果内部是否形成同一主题簇。如果热力图中多个条目彼此也比较接近，说明这个查询可能落在一个相对明确的研究方向上。
第三张图是推荐新选题卡片。项目不会直接把相似论文标题照搬成新题目，而是根据 TopK 结果中的方向和关键词，生成“同方向强化、差异化降重、应用场景扩展、工程系统扩展、评价维度扩展、轻量部署扩展”等建议。它的作用不是替代人工选题，而是给学生或教师一个可继续修改的起点。
从工程角度看，CSV 适合继续做数据分析，Markdown 报告适合写课程设计或项目报告，PNG 图表适合放入博客、答辩 PPT 或资源说明页。博客中每张图都对应一个明确解释点，避免只堆截图。
替换数据与二次开发
如果要把项目换成自己的毕业论文题库，只需要准备一个 CSV，并在configs/config.json中修改data.default_csv。推荐保留以下字段：
id,title,abstract,field,keywords,year,difficulty,source,source_url其中title是必须字段，abstract和keywords强烈建议填写。论文题目通常很短，只靠标题会丢失上下文；加入摘要和关键词后，向量表示更稳定，推荐模块也能生成更有依据的新选题。
如果希望提升语义检索效果，可以下载中文 SentenceTransformer 权重并放到：
weights/text2vec-base-chinese/也可以设置环境变量允许程序联网下载：
set ALLOW_MODEL_DOWNLOAD=1 python main.py后续二次开发可以从四个方向展开。第一，接入 Faiss、Milvus 或 Qdrant，把内存相似度计算升级为向量索引。第二，用 Flask/FastAPI 加数据库，做成完整选题管理后台。第三，加入人工标注的相似题目对，计算 Precision@K、Recall@K、MRR 等指标。第四，接入大模型，在相似论文和风险标签基础上生成更自然的改题建议。
常见问题与总结
没有 GPU 能不能运行？可以。TF-IDF fallback 不需要 GPU；SentenceTransformer 在 CPU 上也能跑，只是大题库编码速度会慢一些。
没有下载模型权重会不会报错？不会。当前运行截图就是在未配置本地 SentenceTransformer 权重的离线模式下完成的，系统自动回退到 TF-IDF 字符 n-gram 引擎。
TF-IDF 结果能不能代表最终语义效果？它适合离线演示和基础短文本匹配，但不等同于深度语义模型。下载text2vec-base-chinese或其他 SentenceTransformer 权重后，检索结果会切换到真实句向量模式。
这个项目是不是正式论文查重系统？不是。它更适合题目级相似检索、选题重复风险提示和选题扩展建议。正式论文查重需要正文比对、引用识别、改写检测和更复杂的规则。
总体来看，这个项目的重点不是单独展示一个算法名词，而是把真实论文数据、可运行代码、结果图表、页面截图和资源包交付串成一条完整链路。拿到源码后，用户可以先用 TF-IDF 模式离线跑通，再根据需要换成 SentenceTransformer 权重、自己的论文题库或完整 Web 管理系统。
