LLM4uVis：基于LLM的历史人物不确定性推理可视分析系统

1.简介

这是一篇将“LLM多路径推理综合可视分析”通用方法运用在“历史人物不确定性”专业领域的解决方案，核心思想是利用 RAG + CoT_Prompt + SimCSE + 动态聚类 + 桑基图的方法对LLM推理结果文本逻辑可视化。

主要技术栈为前端Vue.js + 后端Flask + 图数据库Neo4j。

1.将数据库以知识图谱的形式存储，方便在检索时提取链式路径信息，对其进行翻译，然后将提取的信息按规则定义的重要性进行排序，以RAG的形式提供给LLM，作为参考知识库；

2.定义CoT式Prompt，让LLM可以按链式逻辑思考并按规定的格式回答，比如“回答x-路径y-节点z”，每一轮回答“相同位置”的节点都按相同规则，有可能给出相似的逻辑；

3.利用SimCSE将回答文本转化为句向量，通过计算余弦相似度找到在向量空间中彼此靠近的句子，对其按轮廓系数进行动态聚类，得到该“位置”下各种回答逻辑；

4.最后，利用桑基图的载体，将每一条推理逻辑转化成一个个具体的桑基图流向，通过流向来展示回答链式逻辑链条，然后再补充一些交互展示信息+搜索高亮+具体逻辑选择等功能。

2.摘要

对历史人物的研究不仅有助于理解人物生平轨迹与社会关系网络，也能推动对历史事件、思想文化发展的深入解读。在数字人文领域中，历史人物研究常因史料残缺、记载分歧等原因，面临大量缺失或冲突的数据，这就是历史人物数据的不确定性，这些不确定性数据的存在使历史学家在分析时难以获得准确的信息。传统不确定性推理方法不仅高度依赖专家的历史知识与推理经验，而且在面对大规模史料数据时效率低下。为应对这一问题，本文提出基于LLM的不确定性推理方法，通过检索CBDB知识图谱增强LLM的生成结果，并通过多轮推理为专家提供启发式结果。然而，目前仍缺乏能够对LLM多轮推理过程进行可视化和交互式分析的有效工具。为此，本文开发了历史人物不确定性推理可视分析系统LLM4uVis，针对时间、地点、人物和事件四类核心不确定性数据，对LLM各轮回答之间的相似推理逻辑进行语义聚类，并支持以桑基图形式展现多条推理路径及其逻辑差异，专家可以对推理过程与结果进行交叉验证与标注。通过两个不确定性推理案例与专家访谈，验证了该系统的可理解性和有效性。

3.技术路线

4.核心贡献

• 设计了针对LLM推理过程通用领域的可视分析方法，支持针对多轮LLM回答的综合可视分析，覆盖潜在的多样化解释；

• 基于CBDB数据对LLM解决历史人物不确定性问题的专业领域提供支持，并提供推理路径交互与推理结果标注功能，支持专家与结果进行深入交叉验证。

5.系统界面视图

• (A)控制面板，(B)基础信息，(C) LLM多路径推理桑基图，(D)回答/链条统计信息可视化，(E)推理链条综合分析

- 桑基图意义说明

- 桑基图流向展示

- 添加链条预览

- 单选链条预览

- 多选链条预览

- 桑基图分析示例

6.链条对比分析和标注示例

7.作者于大会上作长文报告