Skip to content

Feature/lld ir - #453

Merged
e06084 merged 2 commits into
MigoXLab:devfrom
pekopoke:feature/lld-IR
Jul 30, 2026
Merged

Feature/lld ir#453
e06084 merged 2 commits into
MigoXLab:devfrom
pekopoke:feature/lld-IR

Conversation

@pekopoke

Copy link
Copy Markdown
Contributor

本次更新完善了检索结果质量评测流程,支持从 query 输入开始,自动请求检索后端并完成相关性、有效性和权威性三项评测。
主要更新:

  • 支持 TXT、CSV、JSON、JSONL 格式的 query 输入,并自动去重。
  • 支持端到端直接调用 SciVerse Meta Search 和 OpenAlex,也兼容已有检索结果 JSONL。
  • 增加检索接口地址、Token、并发数、超时、重试及 top-k 参数配置。
  • 对 OpenAlex 返回字段进行统一映射,补充作者、关键词、期刊来源、出版社、DOI、引用量等评测字段。
  • 三项指标按排名折扣加权汇总到 query 级,前排结果权重更高。
  • 移除 overall 加权总分,三项指标统一使用 0.15 阈值。
  • 综合评测的 bad/good 目录只保存 query 级结果,每行包含 query、三项聚合分和完整检索结果。
  • 空结果 query 同时标记为相关性、有效性和权威性低分。
  • 保存可复跑的检索结果和请求日志,记录响应时间、结果数量和请求错误。
  • 支持通过环境变量和本地 .env 管理检索 Token 与 LLM 配置。
  • 增加端到端流程、字段映射、query 去重、排名加权和分类目录测试。

@gemini-code-assist

Copy link
Copy Markdown
Contributor

Caution

The consumer version of Gemini Code Assist on GitHub has been sunset. All code review activity has officially ceased.

@e06084
e06084 merged commit b7be72a into MigoXLab:dev Jul 30, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants