林辰洋

返回首页

Talky:2025 年 2 月,用语音做一个 Agentic AI 助手

2025 年 2 月,我用 Cursor 做了一个语音助理 App,叫 Talky。

做这个项目时,我正在关注 AI Builder 和 AI Agent。那段时间,大家已经不只是讨论大语言模型本身,也开始讨论 Agent:一个 AI 不只是回答问题,还可以调用工具、做任务分发、根据反馈调整自己的行为。

我想把这个想法放进一个具体的生活场景里试一试。

这个场景就是语音备忘。

为什么想做

我当时有一个很直接的需求:很多想法和小事情,打字记录太麻烦。

比如下班路上突然想到一个点子,或者临时想到一个 todo,又或者想记录药品、食品的保质期。打开一个 App、选分类、输入内容、保存,这一套流程太重,很容易让人放弃记录。

语音是一个更自然的入口。

我希望自己可以直接说一句话,然后让 AI 判断这句话到底是什么:

这就是 Talky 的起点:我想做一个能听懂语音,并把语音分发到不同记录场景里的个人助手。

我想探索的 Agent 能力

Talky 不只是一个语音转文字工具。

我更想探索的是:语音输入之后,AI 能不能继续往后走一步,理解用户真正想让它做什么。

当时我对 Agent 的理解主要有几件事:

放到 Talky 里,这意味着 AI 需要先理解语音内容,再决定它应该进入哪个路径。

如果用户说的是“明天下午提醒我去医院”,它应该更像日程或 todo。

如果用户说的是“雀巢黑巧克力保质期 12 个月,生产日期 2024 年 9 月 23 日”,它应该识别成物品记录,并计算或保存保质期相关信息。

核心设计

Talky 的核心设计有两层。

第一层是任务分发。

用户说一段语音后,系统先把语音转成文字,再让大语言模型判断这段内容属于什么类型。不同类型会进入不同记录路径,比如语音备忘、物品记录、日程或其他工具。

第二层是用户反馈。

语音识别和大模型判断都可能出错。比如用户说“知味观绿豆酥”,系统可能识别成“知味罐绿豆酥”。如果用户在确认界面里手动修改,或者通过语音表达“刚刚识别错了”,这些纠错信息会被记录下来。

下一次再处理类似内容时,系统会把这些历史纠错作为上下文一起提供给模型。

我当时想做的不是一个固定规则的备忘录,而是一个能通过反馈慢慢更懂用户的语音助手。

做到了什么

Talky 当时已经做到一个基本能用的版本。

它可以真实语音输入,可以做分类,可以保存记录,也可以做 AI 反思纠错。它不是只有概念,而是有可操作的 demo。

为了测试和内测,我还花了大概 700 元开了 Apple Developer 账号。

最后它没有正式上线。主要原因是工作比较忙,没有足够时间继续维护。这个项目的很多优化点,都需要下班后或周末继续改。等到有优化点但没有及时处理,项目就慢慢停下来了。

这个项目的价值

Talky 对我来说,不只是一个语音备忘 App。

它更像是一次 Agentic AI 的早期产品探索。

我通过这个项目,把几个抽象概念放进了一个具体产品里:

它让我更具体地理解:一个 AI 助手如果想真正有用,不能只停留在“把语音转成文字”。它需要知道这句话应该进入哪个流程,也需要从用户的修改和反馈里学习。

Talky 当时已经能用,但用户体验还有很大优化空间。

对我来说,它最重要的意义是:我开始把 Agentic AI 从一个概念,放进一个自己真实会用的产品场景里。

相关内容