我国地方志事业正处在新旧范式转型的奇点之上。奇点的两端，一端是全国第三轮修志工作的全面启动，另一端是人工智能技术特别是大语言模型的快速迭代。两者在当下的不期交会，意味着颠覆性技术浪潮与制度性修志周期的历史性碰撞。这一碰撞之于方志界，既带来始料未及的挑战，亦孕育不容错失的机遇。在这场深刻变革中，高质量的语料库建设是撬动地方志从信息化、数字化成功走向智能化的关键支点。作为近代以来中国最重要的城市之一，上海留存了体系完整、脉络清晰、门类齐全的地方志资料体系，其存量规模之大、时空跨度之长、语料价值之高，为构建高质量语料库和垂直大模型提供了得天独厚的禀赋条件。构建高质量地方志语料库，必须立足全面性、准确性、规范化、安全性四大原则，配套建设好分层分域的语料库专业管理体系，确立全史覆盖、全域拓展、全息保真的底本选择标准，建立“人物—事件—关系—时空”四维标注本体与人机协同的细粒度治理机制，并明确UGC（用户生成内容）入志与AI辅助编纂的合理边界。
一、系统设计：
方志行业语料库的建设原则
构建高质量语料库是推进地方志数智化转型的基础支撑，必须坚持全面性、准确性、规范化、安全性原则，通过人机协同标注、多源语料融合、领域本体构建等方法，形成可持续、可扩展的地方志行业语料资源库。
（一）
准则定调：全面性、准确性、规范化、安全性
行业语料是训练地方志领域垂直大模型的核心基础。构建高质量语料库，必须遵循一套完整的原则体系。综合行业通用标准、相邻学科经验，以及方志编纂工作的特殊性，可将地方志语料库的建设原则初步确立为全面性、准确性、规范化、安全性四项核心准则。
全面性准则要求语料库必须横向覆盖上海地方志的全部门类与地域层级。上海地方志资源体系十分庞大，涵盖市志、区志、专志、部门志、行业志、乡镇志、村志等多个层级，横跨政治、经济、文化、社会、地理、人物、艺文等诸多门类。随着第三轮修志工作的全面启动，各类新增资料的数量必将急剧攀升，上海地方志语料规模也势必进一步膨胀。如果语料库的全面性不足，甚至在某些门类选择上有所偏废，那么，后续大模型训练就会产生比较严重的数据偏差，导致大模型在处理有些边缘领域的查询请求时，其输出质量大幅下降甚至无法应答。所以，上海地方志语料库建设必须覆盖16个区的全部地情资料，确保从中心城区到远郊新城的语料分布相对均衡。此外，面对第三轮修志可能带来的知识纵深拓展，语料库建设还应重视两个方面的工作推进：一是专志方面，既要对现有专业志进行增量数据的持续补充与版本迭代，避免因长期断更而沦为静态库，也要格外注意智慧城市志、自贸区志、进博会志等新兴领域专志的系统规划与动态更新；二是旧志方面，虽然前期数字化工作已完成基础入库，但仍需进一步推进深层次整理，尤其要加大对历代府志、县志、卫志、镇志中隐性知识关系的抽取力度，为后续的语义检索与知识推理储备高质量的结构化语料。
准确性准则主要是指语料的内容真实性与语义一致性。以往地方志语料常出现一些低级问题，如OCR识别错误、繁简字转换错漏、异体字与通假字的标准不一致、数字与字母的混淆、表格数据的结构化提取失真等。在早期方志数字化过程中，不同批次、不同机构扫描生成的文本质量良莠不齐，有些文本甚至存在整页漏扫、段落顺序错乱、页码标注错误等严重问题。如果任由这些瑕疵文本入库，大语言模型在训练时就会学习到错误的知识关联，导致大模型生成的志书条目存在事实性差错。因此，在第三轮修志的数智化进程中，必须同步建立多层次的语料校验机制，包括规则引擎驱动的确定性错误修复、大语言模型辅助的语义合理性校验、以及人工专家团队的终审确认三级联动的质量控制体系。
规范化准则强调语料库在格式标准、元数据定义、标注规范、接口协议等层面必须实现统一。目前，上海市各层级方志资源的数字化成果在数据格式上还未统一，有些采用较为规范的XML标注格式，有些以PDF和扫描图像为主，有些则还在使用纯文本TXT格式。此外，现行数字方志库大多只有篇、章、节等结构标签，缺少实体级的语义标注，人物、地名、机构、事件、时间等关键信息仍隐没在大量非结构化文本中。因此，必须加强底层语料库的规范化标注体系建设，建议参照上海市人工智能行业协会2025年发布《科学智能语料库建设导则》（T/SAIAS 031-2025）的相关标准，制定统一的方志语料元数据规范，明确方志语料的格式编码、字段定义与标注层级，从而避免后续数据迁移与再整合的重复投入。
安全性准则主要涉及数据存储安全、内容安全、合规使用等问题。在数据存储层面，上海地方志语料中包含大量尚未公开的原始档案资料，有些区的志稿编纂也还处在阶段性修订状态，语料库建设必须有完善的权限管理机制和数据备份方案。在内容安全层面，因为地方志涉及历史事件的叙述、敏感人物的评价和特定历史时期的制度表述等内容，故语料标注过程必须建立敏感词库和人工审核流程，以防止因标注工具或模型训练的自动处理而产生不恰当的语义联想。在合规使用层面，建成语料库的开放共享必须严格遵循相关法律条例的规定，区分内部研究用途与公众服务用途的访问权限，特别是对第三轮修志可能采集的口述史料、民间文献、网络资料等来源相对特殊的语料，其使用范围和使用方式的界定，必须建立专项的合规审查机制。
（二）架构筑基：面向方志特征的语料库专业管理体系
上海地方志语料库建议采用分层分域的架构设计：第一层是数据源层，汇集来自上海市方志办、各区方志机构、各专业志编纂单位、各相关馆藏单位等不同数据源的语料资源；第二层是数据治理层，执行语料清洗、格式转换、元数据标引、实体标注等功能；第三层是知识表征层，将数据治理后的方志语料，映射为本体定义的语义网络，形成支撑上层各种智能应用的结构化知识库；第四层是服务接口层，提供API调用、SPARQL查询、语义检索等服务通道。
该语料库还应配套建设专业管理体系，建议包含以下五个必须部署的环节：
一是语料采集规范管理。从传统纸质志书的高精度扫描起步，扫描分辨率建议不低于600dpi，以保证图像质量满足后续OCR识别需求；同时，建立采集批次编号规则，每页扫描图像需关联志书名称、卷号、版本、页码等元信息。从数据库批量导入的结构化数据，必须记录数据来源系统、导出时间、数据版本等信息，以确保语料来源的可溯性。
二是语料清洗流水线管理。借鉴PaddleOCR的PP-Structure等成熟的表格识别技术，将复杂表格无损转换为结构化数据；利用规则引擎对固定模式的数据错误进行批量修复；借助大语言模型对语义层面的可疑内容进行标注，并推送给人工复核。上述清洗过程必须记录每步操作的时间戳、操作人员、修改内容，形成完整的数据治理日志。
三是语义标注体系管理。标注体系以地方志核心概念本体为语义骨架，向下扩展细粒度的标注标签集，主要涵盖人物、地名、机构、事件、时间、艺文、职官、科举、物候等方志特有的实体类型。采用“机器预标注+AI多轮校验+人工终审”相结合的人机协同模式，由大语言模型完成初步的实体抽取与关系识别，再由方志专家团队对标注结果进行抽样审核与修正。建议标注操作通过可视化标注平台完成，支持实体边界的高亮选择、关系类型的下拉框输入、属性字段的自动补全等必要功能。
四是语料版本与生命周期管理。地方志语料具有明显的迭代性特征，新一轮修志完成后，旧版志书的相关描述可能被修正或更新，部分概念的指代范围可能发生变化，因此，必须在体系层面彻底解决跨版本数据的一致性维护。建议建立语料库的快照机制与版本差异比对功能，每当有新语料入库或现有语料内容修订时，系统生成新的版本号并保留历史版本的访问入口。
五是语料质量评估管理。跟通用语料库相比，地方志语料库还有一个不同特征，那就是它需要同时处理明清旧志的文言文本、近代以来的半文白文本和现当代新志的现代汉语文本。这三类文本在词法句法结构、术语体系、语体风格上差异显著，因此，标注策略必须根据文体制定不同的规则模板。建议建立定期的语料质量抽检机制，从准确性、一致性、完备性、时效性四个维度设置量化评估指标，每季度出具语料质量报告，评估结果作为后续清洗策略调整和标注规则优化的依据。
（三）运维固本：提升方志数据存储、更新与维护水平
与政务服务、金融基建和城市治理等热门领域相比，当前上海方志数据存储、更新和维护的整体水平仍处于起步阶段。在存储上，各级方志机构的数字化成果分散存放，以静态文件为主，缺少统一的元数据管理体系，跨机构的语料共享主要依赖人工传输或其他离线方式；在更新上，正在建设中的数字方志项目尚未与历史存量数据形成自动化的同步机制，新采录的方志文献或已勘误的错误信息无法及时反映到现有语料中；在维护上，各级方志机构均缺少专职的语料库运维团队和标准化的维护流程，普遍依靠服务采购和外包，运维工作随项目验收而中断，日常巡检和故障响应缺乏持续性保障，诸如问题反馈、批量修复、版本发布等专业环节也尚未建立相应制度体系。
当然，方志数据有其特殊性，如语料时间跨度大、来源庞杂、体例规范严格，且修志周期往往以数十年计，因而数据一旦丢失或失真就很难补救。有鉴于此，建议从以下五个方面协同推进，着力提升上海方志数据运维水平。
第一，按志书使用频次，建立分级存储架构。将现有数字方志中检索频次最高的常用门类作为热数据，存放于SSD高速存储阵列，支撑编纂人员的日常查考与专题研究；将已出版但查阅需求较低的专志、部门志作为温数据，存放于普通存储节点；将年代久远的旧志影像与数字化底本作为冷数据，迁移至云归档存储长期保存。此三级存储体系须建立异地容灾备份机制，以确保旧志孤本、手稿扫描件等不可再生数据，不会因单点故障而永久灭失。
第二，对接修志流程，构建增量更新机制。方志编纂本身是一个长周期的增补过程，在第三轮修志期间，各承编单位必定会分批提交初稿、补充资料和勘误修正。语料库的更新方式，应当同这一修志节奏互相匹配，参照CDC（变化数据捕获）技术思路，建立新增、修订、删除三类动态日志。各源端的数据变更，也应定期拉取至治理层，经方志体例校核、条目去重、跨源融合后归入主库，避免每逢资料汇交就执行全量替换所带来的高昂传输与处理成本。
第三，嵌入志书审校环节，部署数据质量巡检。针对显性错误，应当编写运维脚本，定期扫描语料健康度，自动检测空字段、断链文件、图文错配、格式异常等问题并生成告警清单，将常见错误向前拦截在编纂环节。针对隐性错误，应当在方志编纂平台中嵌入问题反馈入口，允许修志专家和方志研究人员在线提交勘误建议，经责任编辑审核后，纳入语料库的待修正任务队列，从而实现质量巡检与志书审校同步推进。
第四，组建“技术+修志+治理”的混合型运维团队。技术工程师负责数据库与存储设施的稳定运行，保障大规模旧志数据的存取性能和灾备切换的可靠性；方志编纂者负责语料内容的体例合规性与史实准确度把控，并在数据清洗过程中对异体字、避讳字、地名沿革等志书常见的文本异常现象做出专业判断；质量控制专员则负责方志数据运维全流程的合规监督，从语料入库的审核签批，到版本发布前的质量核查，都要确保每个环节可追溯、可审计。
第五，依据地方志工作法规，制定标准化的运维工作手册。该手册应当围绕地方志语料的全生命周期展开，明确规定志书底本扫描件的著录与入库操作流程、新旧志书数据的清洗对齐与审核标准、语料版本的命名规则与发布审批权限，以及旧志影像文件损坏或数据库异常宕机等典型事件的处理预案。总体而言，在将来的数智化建设新阶段，方志数据运维应当从以往依靠个别技术人员的操作经验，逐渐转向依靠AI深度融合与标准化制度流程的智能化运转。
（四）标准赋能：支撑大模型训练与知识发现的可持续语料生态
构建地方志领域的可持续语料生态，归根到底就是把地方志语料库建设成为一个能够长期动态演进、自我完善和能力不断积累的活态系统。要实现这一目标，必须从语料采集来源的持续拓展、标注规则的迭代优化、语料质量的追踪监控，以及语料与应用场景间的实时反馈等方面着力推进。
建设可持续语料生态，离不开标准化框架的支撑。从目前人工智能行业的普遍经验来看，语料标准体系通常覆盖三个层面的内容：首先是格式层面，需要统一规定字符编码为UTF-8，存储格式以JSON Lines为主、Parquet为辅，前者的明文结构便于人工抽查和版本比对，后者以列式存储和高效压缩支撑大模型训练时的吞吐需求；其次是内容层面，需要针对地方志语料特点制定细粒度标注规范，如明确人物实体的人名要素提取规则、地名实体的古今对齐标准、事件实体的时间属性标注格式等；最后是接口层面，需要定义标准化的语料服务API，使上层的大模型训练管道能够以统一方式接入数据源，无须每次适配不同的数据格式。
这些标准化赋能，对地方志语料库建设至关重要。一方面，它能够赋能地方志领域垂直大模型训练，这是因为格式统一、语义对齐的语料可以直接输入训练管道，大幅削减数据预处理与格式转换的重复劳动；同时，规范化的地方志语料还将支撑命名实体识别、关系抽取、文本分类等NLP（自然语言处理）任务的大模型训练从零样本或少样本起步，显著提升训练效率。另一方面，它能够赋能地方志领域大模型驱动的知识发现，因为结构化的语义语料与知识图谱查询语言协同工作，可使方志研究者在大规模语料中快速锁定特定类型实体和复杂关联关系，从而挖掘出传统人力阅读难以捕捉的深层知识规律。
不过，要达成这些效果，仍有多道关卡需要突破：一是语料标准尚未形成行业共识。上海地方志语料在组织方式、标注粒度、命名规范上差异明显，且缺乏跨区域、跨机构的数据交换标准。二是语料价值评估体系缺失。到目前为止，上海地方志语料的采集成本、标注质量、使用效率依然缺乏量化评估方法，语料库建设的效果难以衡量，这不利于方志系统持续争取项目经费支持。三是语料生态的开放共享机制不完善。各机构出于保密或数据产权保护的考虑，普遍存在不愿开放、不敢开放的心态，高质量标注语料成为稀缺资源，制约整个地方志行业垂直大模型研发的数据基础。因此，建议尽快由上海市方志办牵头，联合上海通志馆、上海图书馆、相关高校科研院所及资深方志编纂专家共同编制《地方志语料库建设技术规范》团体标准，报请上海市人工智能行业协会立项备案。该标准应当涵盖地方志语料的分类体系、元数据规范、存储格式、标注规则、质量评估、安全要求等核心内容，从而为上海乃至全国的地方志语料库建设提供可示范可复制的规范蓝本。
二、底本选择：
萃取高质量语料的“源头活水”
获取高质量语料，必须以方志底本的审慎遴选为前提。不同方志版本的文字差异、漏记，甚至增删，都有可能改变若干关键历史事件的释读。因此，选择底本应当兼顾新旧方志、综合志与专志、前两轮方志与正在推进的第三轮方志成果的吸纳选取，将时间、地域、书品、版刻等因素作为主要选择依据，做到范围宽、覆盖全、不断代、不漏地、不损品。
（一）全史覆盖：新旧志书与三轮修志稿的无缝衔接
要做到全史覆盖，就必须保证地方志语料的时间连续性与空间完整性。目前全国第三轮方志编纂的上限设定为各地前志下限，原则上以20年为一期，各地根据情况弹性确定下限年份，一般不出2020—2025年区间。在如此长周期、大体量的编纂工程下，保证新、旧志书语料的无缝衔接，其目的即在于消除史料断层。众所周知，两轮修志往往间隔二十年甚至更长时间，编纂人员更替与资料散失极易导致失记或误记，一旦出现记载断裂，后续补正将付出巨大的时间成本与考证代价。
通过构建统一的语料时间轴，可将明清旧志中记载的水利兴废、政区沿革、人口迁徙等事项，与当代新修专志中的勘测数据、统计资料纵向贯通，从而使跨越数百年的零散记录聚合成首尾连贯的知识链。当大语言模型在处理这些沿革类提问时，亟需这样一条完整的时间脉络作为素材支撑。此外，各级方志机构的数字化成果目前大多被隔离在各自独立的系统中，同一历史事件在不同志书中的记载彼此割裂，缺乏跨朝代的横向知识关联。由于高质量的时间贯通与空间关联语料，是训练大语言模型具备长期记忆与逻辑推理能力的基本前提，因此，只有打破“记载断代”与“数据孤岛”的时空双重困境，地方志语料才能真正从零散的文本集合升华为可计算、可推理的结构化知识体系。
从操作层面来看，要达成无缝衔接，可分两个步骤来走：第一步是建立修志断代的时间标尺嵌入方案，即在语料库元数据层面，为每一条语料注册其对应的起始年代与终止年代，并将其编码为AI可读的时间标准化数据。第二步是对以往存留下来的方志纸质初稿和散页材料进行抢救性整理。这些过程稿与正式出版的志书定本有不小差别，其中往往保存着原始采集档案和审稿环节的临时批注与修改痕迹，是追溯新、旧志书史料取舍和记述演进脉络的关键依据，建议对这些手稿进行高精度扫描并纳入多模态语料库，利用多模态模型对手写注记进行语义提取，从而还原志书从初始采信到定本成文之间的完整流转过程。
（二）全域拓展：海外数据库与网络原生数字资源的采集
所谓全域拓展，就是要突破现有方志馆藏的地理边界，将流失海外的珍稀方志刻本，以及记录当代城市风貌的网络原生数字资源系统纳入地方志语料库。根据方志界的相关综述性研究估计，美国国会图书馆收藏中国地方志约3000种，哈佛燕京图书馆藏约4000种，普林斯顿大学葛思德东方图书馆藏约1100种，哥伦比亚大学东亚图书馆藏约250种。另据新闻报道，2025年哈佛燕京图书馆正式向中国国家图书馆捐赠4000余种中文善本古籍数字资源，其中包含大量明清地方志，部分方志版本在国内已十分罕见。如果上海地方志语料库建设忽视了这些海外馆藏，就可能在语料完整性和版本稀缺性上面临难以弥补的缺口。
在网络原生数字资源方面，随着城市精细化管理水平的提升，上海正在加速建设量子城市时空智能体系，同步推进“15分钟社区生活圈”等城市更新行动。这些行动必将带来大量以非结构化文本呈现的社区规划师报告、市长信箱答复、城运中心事件工单、上海发布政务新媒体互动评论等网络原生数据。这些数据生动记录了城市宏观政策在基层末端的真实投射，是传统志书难以囊括的社会细节，若不能实现规模化自动入库，将在第三轮地方志语料采集中被遗憾舍弃。
针对上述问题，建议加快构建双轨并行的采集通道：在海外资源采集方面，利用国际Open Archives Initiative协议框架与分布式爬虫技术，将哈佛燕京捐赠资源、美国国会图书馆等线上方志平台统一接入地方志语料预处理管线，通过接口将METS/ALTO封装的XML结构映射为可解析的知识图谱接口；在网络资源采集方面，则部署基于深度学习的主题爬虫，针对上海发布、一网通办、上海城运中心等核心站点与社交媒体话题设置种子URL和关键词规则，利用Scrapy框架与Playwright浏览器自动化库进行动态抓取，利用BERTopic（主题建模）等模型进行动态聚类去重，再通过大语言模型完成方志数据的脱敏与标准化清洗，将带有明确时空戳的事件描述转化为标准化的结构化条目。
（三）全息保真：确保语料积累不断代、不漏地、不损品
“不断代”是指地方志语料在时间序列上不能出现明显断裂。上海现存旧志（1949年前）约130多种，部分孤本可能保存于海外或图书馆善本库中，尚未实现数字化，例如青浦、南汇（2009年撤销）等区域在特定时期的地方志记载就极为稀有，这非常容易造成大模型训练的偏移。
“不漏地”指的是市域范围内的全覆盖。上海目前拥有16个区（历史上区县合并情况也应充分考虑进来），地方志语料库建设必须确保每个区的地情特征均有扎实资料支撑，避免大模型仅能回答市中心业务而无法回答远郊诉求的知识偏差。
“不损品”则是要求地方志语料经过数字化后不能对物理原件造成损害，同时在数字复制品（指数字化的初始产物）和流通品（指正式提供给社会查阅和利用的电子版本）之间，必须保证内容不发生不可恢复的错误。
要确保地方志语料的全息保真，在技术路径上应当部署至少三层校验：一是源头版本控制。在OCR扫描前必须进行版刻校勘，最高限度保证入厂的纸质底本或缩微胶片为质量最佳的善本。二是数字化安全操作。采用非接触式扫描，并利用数字光源检测纸张残损部位。三是利用图神经网络对每个生成的图版和文本字符进行哈希校验，确保每个版本生成唯一的数字摘要，当大模型调用时，系统平台可以回溯图像原件确认字形，打消编辑对文字录入偏差的后顾之忧。此外，建设地方志语料库还可借鉴区块链技术的“去中心化”存证思路，在数据层引入链式结构，将每条语料的上链时间、采集批次、编修权限等作为元数据上链存证。未来面向公众开放时，读者不仅能检索到条目内容，还能查询“是谁”“在何时”“基于何版本”将此条语料纳入语料库中，从而为数智方志的公信力提供最终的技术担保。
三、标注体系：
确立机器可读的“方志语法”
数据标注，是地方志语料库建设的难点与核心。传统数字方志的呈现方式，主要以篇、章、节为结构单元，人物、地名、事件、时间等关键知识单元淹没在大量非结构化的方志文本中，机器无法直接理解之。为此，本文提出以“人物—事件—关系—时空”四维为本体框架的标注体系，在这个框架下，采用“机器预标注+多轮AI校验+人工终审”相融合的人机协同标注模式，通过迭代优化逐步提升实体识别、关系抽取与属性标注的细粒度与一致性。
（一）本体框架：“人物—事件—关系—时空”四维标注模型
这里提出的标注模型，由“人物、事件、关系、时空”四个核心维度所构成。其中，“人物”维度，涵盖地方志中出现的各类主体，包括志书编纂者、官员、士绅、商贾、工匠、僧道等实体，每个实体需要关联其姓名、字号、生卒年、籍贯、仕宦履历、著述等属性信息；“事件”维度，记录地方志所叙的各类活动，包括政治事件、经济活动、社会运动、文化盛事、自然灾害、工程建设、战争冲突等，每个事件需要标注其发生时间、发生地点、参与人物、事件经过、影响后果等要素；“关系”维度，主要刻画人物与人物、人物与事件、事件与事件之间的联结类型，例如父子姻亲、师生同年、从属隶属、因果关系、时序关系、地缘关系等；“时空”维度，则为上述所有实体提供精确的时间和空间参照系，其中，时间标注必须更加智能地支持干支、年号、公历等多种纪年体系的自动转换，而空间标注则必须自动支持古今地名的映射与坐标对齐。
构建上述四维本体框架，需要遵循一定的技术路线。首先，要界定地方志领域的核心概念集合，厘清各概念之间的语义边界与继承关系，一方面自上向下从高层概念（如制度、经济、文化）出发逐层细化子类，另一方面自下向上从方志文本中的具体描述（如职官任免、水利兴修、祠庙祭祀、风俗物产）抽象归纳出通用概念。随后，通过网络本体语言（OWL）对概念体系进行形式化编码，定义类层次、对象属性与数据属性，生成机器可解析的规范模型。最终，从地方志语料中抽取实体实例（如识别某历史人物及其关联事件），并执行规则校验（如时空逻辑一致性）和跨实例检测，保障知识单元的准确性与完整性。
这种四维本体框架能够精准对应地方志知识组织的底层逻辑。地方志一般以“人物”为叙事主体，以“事件”为叙事线索，以“关系”为叙事结构，以“时空”为叙事背景，故这四者共同构成了地方志知识图谱的基本骨架。如果脱离这个本体框架，地方志知识单元就有可能失去内在的语义联结，退化为孤立节点的无序堆叠。因此，只有确立了“人物、事件、关系、时空”四维互嵌的锚点连接，下游的大语言模型推理与智能问答才能拥有坚实的语义坐标。
（二）人机协同：机器预标注与人工终审的迭代优化机制
以往方志数据标注普遍依赖人工操作，技术人员从志书文本中逐字逐句手动标注实体边界和关系类型，每条语料标注往往耗时不少。面对第三轮修志预计产生的数亿字级语料洪流，再用这种纯人工方式进行标注，其时间成本与经济成本都是难以承受的。而且在标注同一文本时，不同人员对实体边界的判断、关系类型的认定也常常存在分歧，标注一致性难以保障。这种分歧将直接导致下游大模型训练数据含噪过高，严重影响知识抽取质量。
人机协同的标注模式由此应运而生。该模式包含了机器预标注、多轮AI校验、人工终审三个环环相扣的环节：在机器预标注环节，深度神经网络模型（DNN）从已分词方志文本中提取上下文特征；预训练语言模型（GPT）以双向注意力同时扫描目标实体两侧语境，消除一词多义；序列标注模块据此为每个字符判定实体类别与边界；关系抽取与实体识别（RE&NER）以联合学习方式共享底层编码，使实体边界优化与关系分类同步完成；解码阶段通过实体对交互判别语义联结类型，从机制上保障边界与关系标签的逻辑一致性；实体消歧引入知识图谱增强，调用外部知识库中的链接记录与语境特征，逐级筛选归并候选实体，将异称统一映射至图谱中的同一节点，以防止节点分裂。
经过多轮迭代训练，机器预标注的识别准确率将逐步提升至可接受范围，随即便可进入多轮AI校验环节。AI将自动扫描预标注结果，从中筛选出置信度偏低的可疑样本，以及存在明显冲突的标注片段，并按照错误类型和严重程度进行优先级排序。每一批次推送的高冲突样本都会附带详细的上下文证据和模型置信度分布，供后续人工复核时快速定位问题。
最后一道防线就是专家终审。方志编纂者将对AI校验推送的高价值样本进行逐条人工核验，修正实体边界偏差，调整误判的关系类型，补充模型遗漏的属性信息。整个核验过程不仅会校正错误，还会对识别模糊之处提出修订建议，反向优化标注规则。每一批终审反馈的数据都将重新回流至大模型的参数更新流程，由此形成“标注—训练—校验—修正—再训练”的闭环迭代。这种“人在回路”（Human-in-the-loop）的模式设计，就是为了让AI大模型能够持续吸收方志编纂者的专业判断，通过每次闭合运行，推动识别误差进一步收窄，同时逐步沉淀出更加成熟的、可复用的标注规则库。
（三）细粒度治理：实体识别、关系抽取与属性标注规范
细粒度治理，指的是在保证标注效率的前提下，尽可能提升知识单元的语义拆解深度与标签精度。在传统扁平化的实体标注体系中，方志人物只有一个笼统的人名标签，方志事件只有一个模糊的事例标签，其他层级细节往往不甚明了。细粒度治理则要求将每个方志人物拆解为人名、字号、生卒年、籍贯、官职、著述、师承等子属性，将每个方志事件拆解为时间、地点、主体、动因、过程、结果等子要素，将每个方志地名拆解为古今对照、行政层级、经纬坐标、历史沿革等子维度……最终将方志中粗粒度的叙事单元，降解为可独立标注、可灵活关联的最小语义颗粒。
在细粒度治理中，实体识别、关系抽取与属性标注规范三个层面各有侧重，共同保障语义标注的精度与一致性。在实体识别层面，细粒度治理采用层次化标签结构，顶层标签覆盖人物、事件、关系、时空等大类，下层逐级展开为更细的子类型，形成多级分类体系。在关系抽取层面，细粒度治理要求大模型自动检测实体之间多种维度的语义联结，并通过联合学习框架（Federated Learning）与实体识别模块协同工作，强制实体边界与关系类型的逻辑一致性，避免两者脱节。在属性标注规范层面，细粒度治理通过统一的数据格式保障标注的一致性，包括将所有日期编码为标准化时间戳，将中外计量单位统一转换为公制，将地名与行政区划关联最新的行政代码等。
四、治理规范：
确保语料库质量的“实现路径”
除了语料提炼、标注模式、系统架构等技术问题之外，如何对未来智能化的上海地方志语料库开展规范治理，是方志界亟需前瞻性思考的重要议题。生成式人工智能生成的内容能否入志？AI在方志编纂中的辅助边界划在哪里？安全底线又该如何守住？2025年10月，中央网信办、国家发改委印发《政务领域人工智能大模型部署应用指引》，从国家层面为人工智能在智能问答、辅助起草、资料检索等政务应用场景的落地推进提供了政策遵循。地方志作为经世致用、存史育人的官方文献，其语料库建设同样必须建立清晰、明确的治理规范与合规框架。
（一）众智成志：UGC入志与用户共创的知识生产新模式
UGC是用户生成内容（User-Generated Content）的英文缩写。在数智时代，UGC意味着每一个人都可以成为信息的发布者，用户不再是被动的信息接收者，而是主动的内容生产者。在微博、抖音、小红书、豆瓣等平台上，每天都有数以亿计的用户生产着海量的文字、图片、视频等数据。这些内容记录了当下最真实的社会生态，其中，市民对城市治理的期许、对旧区改造的企盼、对非遗技艺的惊叹、对本地美食的推荐，无一不是城市文化最鲜活的注脚。
对此，方志界已不得不直面一个尖锐的问题：作为数智时代司空见惯的数据来源，UGC（用户生成内容）能否迈过几千年传承至今的方志编纂行业门槛，实现登堂入室？换言之，UGC到底能否入志呢？当下，人工智能正在促成知识生产方式的深刻转型。传统方志的知识生产是单向度的，编纂者从官方渠道采集资料，经过筛选、核实、加工后输出为志书，用户则处于知识传导链的最末端，不参与生产，只负责消费。但数智时代改变了这一格局，用户既是消费者也是生产者，知识生产的权力正从机构向公众扩散。这种转型对地方志的冲击是巨大的，志书还能不能继续充当权威记录者？如果地方志只收录官方文件、统计年鉴、报刊报道，而将千万市民创造的文化内容拒之门外，那么志书所记录的历史必将是不完整的，至少遗漏了民间记忆这一重要拼图。
当然，现行政策法规对这一问题并没有给出明确的开放态度。《地方志工作条例》第六条规定，编纂地方志应当“存真求实”，全面客观地记述本行政区域的历史与现状；第十一条规定，地方志工作机构可以向机关、社会团体、企事业单位、其他组织以及个人征集有关地方志资料。《地方志书质量规定》则要求志书资料“真实、准确”，虽未明确排除UGC类资料，但资料来源必须“经过鉴别、考证、核实”。因此，由于社交媒体帖子、论坛评论、短视频等UGC内容缺乏权威认证、内容碎片化、真实性难以核实，一般还是不被视为合格的入志史料。但第二轮修志的实践表明，事情也并非绝对。二轮修志覆盖了互联网在中国的快速普及期（20世纪90年代末至21世纪初），这一时期UGC概念虽未形成，但地方志编纂实践中实际采纳了一些具有“用户生成”属性的内容，如在“民俗”“社会生活”等章节中，编纂者可能引用了具有代表性的民间口述、群众来信、网络资料等。当然，这些内容可能是经权威媒体转引后间接采纳的，而且仍要经过编辑部核实并注明来源。虽然这种做法不属于直接采用，但至少说明UGC被“间接转化”后，还是可以进入方志的。
“UGC入志”是地方志数智化转型中一个绕不过去的问题，市民理应成为历史的见证者、城市的记录者，方志编纂不应绝对化地将他们排斥在外。当然，UGC入志需要辨伪和求证，但这不应成为方志拒绝UGC的理由。两者如何“两全其美”，关键在于解决好三个问题——如何合理动员市民参与内容生产？如何规范采集和筛选UGC？如何确保UGC的可信度和可回溯性？为此，本文提出以下建议，供地方志工作主管部门参考：
一是明确UGC入志的定位与边界，将其作为志书资料的补充来源而非取代官方文献，在《地方志工作条例》框架下向市民征集照片、视频、口述记录等资料并经核实后入志，建议在第三轮修志试点单位开展实验性收录以明确准入标准与标注规范。
二是构建采集、审查、入库的全链条机制，搭建UGC智能采集平台，支持市民自主上传图文及音视频资料，以AI图像识别、文本分析等技术初步筛选后由专家核实验证，所有采纳内容须标注来源与核实结论以确保可追溯，并制定相关工作指南。
三是发挥数智化技术赋能作用，利用自然语言处理对文本类UGC进行主题分类与信息抽取，借助图像识别对影像类UGC自动提取标签与定位，以降低人工筛选工作量，同时运用区块链技术“上链存证”，确保内容不可篡改。
四是建立激励与反馈机制，参照《地方志工作条例》对高质量UGC提供者给予奖励并定期评选“上海方志文化市民记录者”，同时建立采纳反馈通道让市民知晓内容去向，并通过数字方志平台开放检索增强归属感。
五是严守质量与安全底线，坚持“存真求实”原则，实行“首筛＋复审＋专家终审”三道防线，坚持“从众、从信、从优”选录原则，严禁虚假、侵权、涉密涉敏内容入志。
六是分步推进试点先行，在第三轮修志中尝试设立“市民记忆”专卷，选取民俗风情、社会生活等门类优先突破，在若干区先行试点，并与上海市方志办统筹建设的数字方志一体化平台对接，形成“线上征集＋线下核验＋志书收录＋数字展陈”的完整闭环。
让市民成为地方志的书写者，不仅是为了丰富志书的资料来源，更是为了培育市民的文化主体性。试想一下，当一位普通市民有一天发现自己发在抖音上的城市奋斗足迹被收录进某级某类方志时，他/她与上海这座城市的情感连接，便不再只是居住与被服务的关系，而是共同创造、共同存在的共生有机体关系，这恰恰是地方志数智化转型中最具人性温度的一幕。
（二）人机共生：AI辅助下的方志史料甄别与语料清洗
大语言模型介入方志编纂，正在将传统修志工作推向一个人机共生的全新阶段。当前，AI初筛、专家精修的人机协同模式，已经在方志编纂领域从概念演示走向具体实操层面。许多方志编纂者已逐渐掌握通过AI技术辅助编修生成志书初稿或完成智能纠错的基本操作方法，熟练者还能进一步基于大语言模型的智能引擎，实现史实一致性核查、数据逻辑校验、文字润色或规范审查，这大大减轻了编纂人员负担，提高了工作效率。但必须指出的是，方志系统不应过度依赖人工智能而忽视自身职责，一定要切实加强方志工作人员对人工智能应用结果的审核把关。
从技术逻辑来看，AI辅助地方志资料甄别，主要是通过多智能体协作和证据链交叉验证这条路径予以实现。多智能体事实核查框架设置有多个专业智能体分工协作，如“检索智能体”负责从海量地方志语料中抽取与待核实声明最相关的文档证据；“提取智能体”利用关键词注意力机制精准定位关键段落；“验证智能体”基于大语言模型的逻辑推理能力对证据链进行交叉验证与置信度评级。而AI辅助地方志语料清洗的底层逻辑则是AI根据预先设定的地方志术语规范与体例规则，对OCR识别文本进行智能修正；序列模型捕捉方志文本中的时序依赖关系，自动识别并标记异常句读、语序颠倒、计量单位错乱等结构性问题，将清洗后的语料按置信度分层推送至人工核验队列。
随着AI介入方志编纂的范围扩大和程度加深，划定AI辅助的边界已比初时推广AI技术应用要变得更加复杂。当前地方志领域学术期刊及正规方志论坛已明确将运用生成式人工智能工具生成文章主体架构、虚构工具信息或隐瞒使用情况、伪造或捏造文献等行为列为学术不端，人工智能工具在方志类论文投稿时的应用，仅限于辅助研究环节。这说明，在现阶段方志编纂过程中，AI的地位仍被锁定在辅助角色而非替代者角色。具体来说，在地方志资料整理阶段，AI可承担初步的实体标注、关系抽取和时空坐标对齐等机械性劳动；在校对审核阶段，AI可基于知识图谱进行跨章节文本史实比对与数据逻辑校验；在志书生成阶段，AI生成的草稿必须经由专业编纂人员逐条复核、修正并确认后方可纳入正稿。总言之，方志编纂者应当在智能算法面前始终保持主体自觉与专业定力，绝不能轻易擅离或缺席内容评判的职责岗位。
（三）安全底线：方志语料的合规性审查与隐私保护机制
地方志语料的安全治理，远比普通数据管理更为敏感。这是因为地方志作为传世信史，承载着国家叙事与地域记忆，地方志语料库建设中的任何疏漏都可能被放大为历史性失误。因此，在地方志语料采集、加工、标注、存储等流程中，必须严格落实意识形态工作责任制与网络安全工作责任制，对入库内容执行严格的政治把关与内容审核，确保地方志语料始终弘扬主旋律、传播正能量，从源头上筑牢安全审查与隐私保护的制度护栏。
一般来说，地方志语料风险主要来自三个方面：
一是数据来源的合规性风险。地方志原始语料的采集渠道通常为国内外馆藏数字志书或纸质志书数字化扫描件，小部分来自相关单位或部门提供专业数据或网络公开资源，这些不同来源的地方志语料在法律授权、版权归属、内容安全性上差异很大。因此，对开源语料的采集，应当核查其开源许可协议或授权文件；对自采语料应当保留完整的采集记录，对使用者输入信息当作语料的情形，必须有明确的使用者授权记录；对含有违法、敏感，或其他不良信息的语料，则不应采集使用。
二是大模型训练中的内容安全风险。当前技术条件还无法彻底杜绝大语言模型在学习训练中对地方志语料的偏差解读与错误输出，主要表现为事实失真、逻辑矛盾与价值扭曲，比如杜撰人物言论、混淆事件因果、得出前后不一的结论等。对地方志大模型而言，语料审查的关键是建立价值对齐机制，必须将正确价值观嵌入语料筛选和大模型训练各环节，确保模型输出内容始终契合主流价值导向与社会伦理底线。
三是隐私保护与个人敏感信息脱敏。在处理地方志语料采集涉及的个人信息时，应当严格遵循相关法律要求和地方志工作规范，部署多层级隐私过滤机制。例如，利用正则表达式匹配身份证号、手机号码、家庭住址等结构化敏感信息；基于命名实体识别模型对非结构化文本中的个人姓名进行脱敏替换；构建敏感词库对涉及个人隐私的内容进行批量遮蔽。在技术环境更加成熟后，可逐步引入大语言模型驱动的敏感信息自动检测与脱敏管道，对大规模语料进行批量化隐私清洗，从根本上降低人工作业可能泄露隐私的风险。
就上海而言，要想守牢地方志语料的安全底线，还必须建立与超大城市治理定位相匹配的语料安全治理体系。建议将地方志语料安全审查纳入上海市城市数字化转型的整体安全框架中，率先制定地方志语料采集、标注、存储、使用的全流程安全规范；同时，针对人工智能应用中的安全风险，从安全管理制度建设、安全管控机制建设、防范数据失泄密风险等方面强化安全支撑与管理保障。方志界必须认识到，地方志语料库建设不能贪大求快；干净、合规、稳定、可控，才是地方志语料库高质量发展的根本前提。
本文系2025年上海市哲学社会科学规划“地方志研究”专项课题“地方志数智化转型研究”（批准号：2025VFZ004）阶段性成果。
作者简介：吴超，上海工程技术大学教授
文章详见于即将见刊的 《上海地方志》2026年第3期
特别声明：本文经上观新闻客户端的“上观号”入驻单位授权发布，仅代表该入驻单位观点，“上观新闻”仅为信息发布平台，如您认为发布内容侵犯您的相关权益，请联系删除!
