姚镇东：手术图文记录智能体SurgStudio——医生主导的低成本自研与应用

手术记录要求术者说清这台手术看到了什么、做了什么、发生了哪些变化。可手术进行时，医生必须专注操作，记录只能留到术后凭记忆补写：套用模板最省事，却容易写成千篇一律的通用步骤，漏掉本台的细节；需要配图时还得另翻录像。口述、画面与文字分散在不同地方，核对也就多了几番来回。

单一的语音转写能减轻录入负担，却还要处理术语和语境；直接生成文本，也仍可能遗漏事实或补写未经证实的内容。如果图文关联、医生核对和电子病历（EMR）衔接没有一并安排，医生仍需在多个工具间补齐流程。医生关注的，正是单一生成环节尚未覆盖的这些工作（图1）。

图1 问题示意：传统记录痛点与AI辅助的待补环节

为此，改变了过去由模型先撰写完整病历、医生再通读审核的做法，而是反过来做：科室定稿的模板决定记录的结构，模型只按术中口述去填模板里的空，每填一处都要指明依据的是哪一句口述，医生逐处确认后才能签字。这套系统由临床医生担任项目经理，借助AI编程（vibe coding）自主研发。项目周期：2026年3月至今。实施地点为宜兴市人民医院手术室；参与科室包括泌尿外科、心胸外科、甲状腺乳腺外科、肝胆胰外科。

实施路径

1.团队分工与实施步骤

SurgStudio的需求、界面、代码和测试均由临床医师主导、AI编程工具辅助完成；临床科室审定模板，工程师负责院内部署。项目按“先跑通、再做细”推进：2026年3月先做语音转写，4月完成内网部署调整，8月接入录像抽帧，9月以后把重心放在模板填空和医生核对上。

2.技术选型与部署管理

技术选型只守一条原则：规则留在医院，模型可以替换。项目未外购成品软件，未新增应用服务器与GPU，初期复用院内已有模型服务。模板、依据校验和确认规则写在本院程序里，模型只经统一网关接入，语音识别与对话生成也分开配置。

数据安全与业务功能同步建设，而不是事后补课。生产环境使用MySQL 8.4，敏感字段加密保存，登录、权限与审计随业务一起上线；音频、文本、图像的出站路径也已逐一核查。

3.临床工作流与AI落地

以一台腔镜手术为例（图2）：术前从医院信息系统（HIS）调出患者信息、选好模板；术中每到关键步骤踩下脚踏，口述看到了什么、做了什么，录像同时留存；术后系统依据口述生成手术经过草稿，并从录像中抽出候选画面，医生核对文字、挑图配注后一键导入EMR。

图2 临床场景示意：从一台手术到一份图文记录

全程在同一病例下完成，技术路线见图3。选图交给医生判断。系统按区间抽帧、去掉相似画面，并附上时间邻近的口述，帮医生快速找到片段；哪张图合适、图文是否对应，仍由医生决定。画面里可能烧录有患者姓名和住院号，文字脱敏对图像内嵌的患者信息无效，图像入病历前必须经人工审核。

图3 临床流程与系统技术路线

4.模型编排与人工确认

模型能否帮上忙，很大程度上取决于周围的程序怎样安排任务。在模型外面加了一层编排程序（Harness），由它决定模型看什么、能改哪里、出了错怎样交还医生（图4）。

图4 Harness编排、人工确认与工程验证

模板中需要按本台情况填写的红字被拆成一个小句一个框，每个框都有编号。模型拿到脱敏后的口述和编号，只能回答“某号框填什么、依据是哪句口述”，改不了模板的固定文字。程序再回到口述原文，核对这句依据是否存在、改写幅度是否合理，不合格的直接丢弃。

通过核对的建议以蓝底填入框中，悬停可见口述依据；口述没提到的框保留模板原文，显示为粉底，留给医生判断。医生点√或按Enter认可，框变为淡紫色；直接改写则变为绿色；确认过的内容不会被重新生成覆盖。只要还有蓝底或粉底的框，就不能签字确认（以下简称“确签”）。确签前，系统还会列出已确认但“口述没提到、沿用模板原文”的几处，只提醒、不拦截。

落地成效

SurgStudio上线时间不长：4个科室的主要手术模板已全部配置完成，项目已进入为期6个月的试运行期，目前在各科室内部开展小范围试点，耗时、质控等结果指标尚无足够样本。按人工智能早期临床评估的通行做法，这一阶段应先回答三个问题：系统能否稳定运行、安全底线能否守住、医生是否愿意使用。

截至2026年9月，项目投入3.9万元。在项目启动至今的7个月内，4个科室74份模板完成结构化，231段整块红字拆成835个可逐一核对的小框，从口述、生成、核对、选图到导入EMR已经打通（图5）。代码库配有1400余项自动化测试用例，所有已修复问题均已补充了相应的测试用例。

图5 测试信息下的界面示例

在安全底线保障方面，不取决于模型某次表现，而由程序规定、由测试锁定：模型无权修改模板的固定文字，拿不出口述依据的建议写不进框里，未核对的框无法确签。自动化偏倚（automation bias）研究发现，强调使用者责任、让使用者看到系统依据，能减少盲从。本系统把这两点落在每个框上：依据可查，确认逐框完成，签字责任始终在医生。

截至2026年10月初，5名医生在15台手术中试用。参与模板审核的医生反馈，新版本比初版顺手，常用操作3步内完成；他们的意见也能很快变成功能：2026年10月7日中午提出“确认后整框变色”，当天下午代码修改和回归测试就已完成。

试运行结束时，将用三组数据回答“值不值得推广”：建档到确签的时长与医生改写的框数；无口述依据却沿用模板原文的处数与病案质控退回数；医生的系统可用性量表（SUS）评分。前两组主要来自系统记录和病案质控。这样的评价安排，也与国卫办规划发〔2025〕30号文“开展应用监测评估”的方向一致。

实践心得

1.核对粒度与状态设计

最初，把一整段红字当作一个空：医生只口述了其中一件事，模型却可能顺带改写其余几件，医生一点确认，就把没核对过的内容一并认可了。改成一个小句一个框后，每次确认的只是一件事。9月版本用边框虚实区分是否确认，屏幕上很难看出差别，10月版本改为确认后整框变色。核对设计的关键不在于提醒多，而在于让医生一眼看清哪些已核、哪些未核；确签前也只点名真正缺少依据的几处，否则提醒会流于形式。

2.真实流程验收与回归测试

2026年8月沿真实流程走查时，发现了两个自动测试没拦住的问题：导出文档的纸张是Letter而非A4；一个患者标识字段的键名写错，程序没有报错，而是悄悄降级。修复后补上了检查文档尺寸和接口报错的测试。AI可以帮着写代码和测试，但医生最后看到的页面、拿到的文档，还得由人沿实际流程走一遍。

3.可复用的模式与推广条件

对其他医院来说，值得借鉴的不是某个模型，而是一种分工：模板由科室定，填空由模型做，确认由医生签。这种分工不绑定具体模型：新增术式只需审定模板、补充几条回归样例，换模型只需调整网关。研发方式也可复制：最了解问题的医生提需求，借助AI编程快速试改，再由人沿真实流程验收，适合需求琐碎、变化快的临床文书。推广宜从少量术式起步，前提是科室愿意审模板、信息部门能保障接口与运维。

不足与后续完善

系统仍存在一些亟待改善的地方，体现为：多段录音与视频还没有统一时间轴，逐框的依据与确认记录尚未落库。这些将在试运行期内补齐，再根据评价结果决定是否扩大范围。

SurgStudio以服务医患为出发点，坚持以人为本的理念，尊重医生的习惯与判断，让医生参与设计，并始终掌握最终确认权。

（项目共同参与研发人员：宜兴市人民医院 陈翔、李鹏、顾胤杰、朱铭浩、陈杰）

作者简介

姚镇东，宜兴市人民医院信息数据中心AI研发负责人，消化内科主治医师，博士研究生，长期从事医学人工智能研发、医工交叉研究。