指南

一套真正的 AI 危机升级协议长什么样

AI for Inner Explorers.

一套真正的 AI 危机升级协议:三级级联在任何回复之前筛查每一条消息,随后 fail-closed 转交给一位具名的真人咨询师

Hamo AI 的危机协议是 fail-closed 且可测量的:一条三级检测级联筛查每一条消息(关键词预筛实测通常低于 5 毫秒,分类器 0.8–2.0 秒),然后彻底跳过 AI —— 发送一条固定的安全话术、一条无法永久关闭的紧急横幅,以及一条发给该来访者具名咨询师的告警。

每一个 AI 陪伴产品,迟早都会收到那条消息。大多数对它没有任何有文档的预案。以下是我们的,完整版 —— 包括它刻意什么都不做的地方。

先说边界

Hamo AI 不是医疗器械、不是持证心理健康照护的替代品、也不是紧急服务。 它无法代替任何人拨打电话。下面的协议是为了增强人类安全网 —— 绝不是替代它。

如果你或你身边的人正处于即时危险中:请拨打 911 或致电/发短信至 988(加拿大/美国);在中国大陆请拨打 120,或致电 010-82951332(北京心理危机研究与干预中心)。

第 1–3 级:检测跑在回复之前,而不是之后

最关键的设计决定是顺序。危机筛查发生在治疗性回复被组织出来之前 —— 而不是作为一道过滤器,去筛模型已经写好的东西。

第 1 级 —— 确定性关键词预筛。 纯代码,不用模型。目标 ≤50 毫秒;实测通常低于 5 毫秒。快到足以挡在每一条消息前面,而不带来延迟代价。

第 2 级 —— 零温度分类器。 一个温度为零的 Gemini 分类器 —— 由配置保证确定性,所以同一条消息每次都得到同样的判定。目标 ≤3 秒;实测 0.8–2.0 秒

第 3 级 —— 持续再评估。 风险不是评估一次就归档。它随着对话推进被持续重新评估。

什么会触发它 —— 以及什么被刻意排除

这里精确度比灵敏度更重要。一个动辄触发的协议会被无视;一个对隐喻都开火的协议,会教会用户不再说真话。

在范围内 —— 明确、无歧义的急性自伤风险信号:

  • 自杀意念 —— 「我想自杀」、「我要结束自己的生命」
  • 自伤意图 —— 「我想割腕」、「我想伤害自己」
  • 危险药物使用 —— 表明过量意图,或当前正在使用高风险物质、提示即时危险的陈述

刻意排除在外:

  • 隐喻与夸张 —— 「笑死我了」、「在工作上杀疯了」
  • 反思性地谈论过去事件 —— 「我 2019 年尝试过」
  • 一般性的悲伤、无望、疲惫、倦怠或哀伤,且不含明确的伤害意图
  • 朝外的愤怒 —— 「我想弄死我老板」

立场是明确的:误报侵蚀信任的速度,快过漏报被后续捕捉的速度。 当不确定时,系统偏向不触发,让真人咨询师在审阅对话后做出临床判断。一个见到哀伤就惊慌的 AI,是一个人们会停止对其说真话的 AI。

触发的那一刻会发生什么

AI 退场。 常规生成被跳过。Avatar 不再即兴使用技术,而是发送一条承认自身局限的固定消息:

「我听到了,此刻我真的很担心你的安全。作为 AI,这已经超出了我能安全支持的范围 —— 你正在经历的事,需要一个真实的人在你身边。你的咨询师已经收到通知,会尽快联系你。你并不孤单。」

那条消息是刻意固定的。急性风险恰恰是你最不希望语言模型开始发挥创意的时刻。

一条无法关闭的横幅出现。 一条高可见度的红色横幅出现在对话顶部,包含一键紧急拨号按钮、紧急服务链接(911 / 120)、区域资源(988、Talk Suicide Canada、Kids Help Phone、北京心理危机研究与干预中心),以及「你的咨询师已收到通知」的确认。它会在此后每一条危机消息时重新出现,且无法被永久关闭。

来访者状态被强制抬升。 每一次触发都会强制抬升 PSVS 画像,使咨询师的控制台立即反映出严重程度 —— 即使底层的压力分析器在那条消息上被安全机制拦截了。

Tier 1:一个具名真人,两条通道,一行审计

升级发送给那位被指派给该来访者的特定持证咨询师 —— 而不是一个通用队列:

  • 邮件告警(经 Amazon SES)—— 来访者姓名、告警类型、匿名化的消息摘录、会话 ID、时间戳
  • 实时推送(经 Server-Sent Events)—— 推送到该咨询师任何活跃的 Pro 控制台会话

同时向 crisis_alerts 表写入一行不可变记录,包含告警元数据与一个 acknowledged 字段。按会话去重防止收件箱被刷屏 —— 但面向用户的横幅仍会在每一条新的危机陈述时重新出现。告警疲劳是为临床人员管理的;面向来访者的安全面从不因此削减。

为什么「fail-closed」才是重点

一个 fail-open 的系统,在不确定时会继续说话。一个 fail-closed 的系统会停下来,去找一个真人。

大多数 AI 陪伴产品在结构上是 fail-open 的:没有独立的安全层,所以一秒钟前还在温暖附和的那个模型,正是此刻决定如何处理自杀披露的那个模型 —— 而它的训练正把它推向附和。这就是一个 AI 会赞同灾难化结论的原因。

Hamo 的危机网坐在模型外面,在确定性代码里,并且凌驾于九种治疗方法中的每一种之上。没有任何方法、任何提示词、任何巧妙话术能绕过它。安全史同样不衰减:一个风险信号不会因为过了几天好日子就悄悄过期。

诚实的局限

这套协议能快速捕捉明确的披露,并可靠地把它们路由给一个真人。它检测不到有人刻意隐藏的风险,也无法进行物理干预。它买到的是几分钟时间和一位具名临床人员 —— 仅此而已,我们也不会声称更多。

这正是完整的危机协议被全文公开的原因:让机构合作方能够审计它,而不是选择相信它。

一个人说出「我想死」的那一刻,AI 应该变得更小,而不是更自信。我们把这件事硬编码进去了:生成停止、AI 承认局限、一位真实临床人员的手机亮起。除此之外的任何做法,都是聊天机器人在最糟糕的时刻即兴发挥。
Chris Cheng,Hamo AI 创始人兼 CEO

Grounded in code, not slideware.

Hamo AI — making minds aware, and awake.


关于 Hamo AI

Hamo AI Technology Ltd. 是一家位于加拿大的人工智能公司,正在打造下一代 AI 咨询师 Avatar 系统。我们开发的 AI 疗愈平台「Hamo」通过 AI 疗愈 Avatar 连接心理健康专业人士与来访者,由三个相互连接的应用组成:Hamo Pro(咨询师控制台,用于创建与管理 AI Avatar)、Hamo Client(来访者端,用于与疗愈 Avatar 对话)以及 Hamo-UME(统一心智引擎, 后端 API)。平台的目标是让心理健康支持更可及,同时通过创建并监督这些 AI Avatar 的持证咨询师,始终保持专业把关。

媒体联系

上海合莫科技有限公司
邮箱:socialmedia@hamo.ai
网站:www.hamoai.tech
地址:中国上海市闵行区新闵路 481 弄 15 号 402 室,200240

常见问题

当有人告诉 AI 自己想伤害自己时会发生什么?

在 Hamo AI 上,一条三级检测级联会在任何治疗性回复被组织出来之前筛查该消息。一旦确认危机,常规生成被跳过,发送固定的安全话术,出现紧急横幅,并告警该来访者的督导咨询师。

AI 危机检测需要多快?

Hamo AI 的确定性关键词预筛目标 ≤50 毫秒,实测通常低于 5 毫秒;LLM 分类器阶段目标 ≤3 秒,实测 0.8–2.0 秒 —— 快到足以让检测跑在每一条回复之前,而不是之后。

危机协议里的「fail-closed」是什么意思?

意思是危机层触发时,AI 会彻底停止尝试治疗技术,而不是试图自己处理。生成被跳过,AI 陈述自身局限,并引入真人 —— 失败时默认倒向安全,而不是倒向即兴发挥。

AI 会试图把人从危机中劝出来吗?

不会。Hamo AI 发送一条固定的安全话术,说明这已超出 AI 能安全支持的范围、其咨询师已收到通知、以及「你并不孤单」。在急性风险中即兴使用临床技术,恰恰是它拒绝做的事。

AI 检测到危机时会通知谁?

通知被指派给该来访者的持证咨询师,通过两条并行通道:一封含来访者姓名、告警类型、消息摘录、会话 ID 与时间戳的邮件告警;以及一条推送到其任何活跃 Pro 控制台会话的实时通知。

AI 危机系统会误报吗?

Hamo AI 的协议刻意保守,排除隐喻(「笑死我了」)、反思性谈论的过去事件、不含意图的一般性悲伤或倦怠,以及朝外的愤怒。不确定时它偏向不触发,让真人咨询师做临床判断。

用户可以关闭危机横幅吗?

无法永久关闭。横幅会在该会话中此后每一条危机消息时重新出现。它带有一键紧急拨号按钮、紧急服务链接,以及区域危机资源,如 988 或北京心理危机研究与干预中心。