跳至正文
MakerGain
← 返回案例列表

当 AI 把退款规则答错,Langfuse 想让你看见它查了什么

编辑:MakerGain发布:文章更新:

Langfuse 把一次 LLM 应用交互记成可展开的 trace,让团队回看检索内容、prompt 版本、并行步骤与 token/成本,再把评估挂回数据集和 prompt 实验。团队从 Finto 转向开源 LLM 开发者工具,早期客户推动其补上 prompt 管理,最终在 2026 年 1 月被 ClickHouse 收购。

设想一个 LLM 客服应用把退款规则答错:用户问“用了半年的会员还能不能退”,它答能退,实际政策是不行。开发者这时要查的是它凭什么这么答,而不是它答了什么——检索到了哪段政策、用了哪版 prompt、中间哪几个步骤在并行跑、这一问花了多少 token。Langfuse 接的就是这段“出错之后”的麻烦:把一次应用交互记成一条可展开的 trace——一次请求从进到出的完整记录,让团队回看、评估、改下一版 prompt。这是示意场景,不是某个客户的故事。

官网把 Langfuse 定义为开源 AI 工程平台,覆盖 tracing、prompt 管理、评估和实验,可云托管或自托管。Langfuse 官网[1] 它 2026 年 1 月加入 ClickHouse,YC 档案状态列为 Acquired。YC 公司页[2] 这是后话,先看产品怎么工作。

先记录,再谈评估

接入方式有三种:埋 SDK、用 OpenTelemetry,或把模型调用路由到 Langfuse AI Gateway。前两种是异步的,数据在后台批量发送,不阻塞应用;Gateway 则是把应用里的 base URL 和 API key 换成它的,调用经过它的请求路径,用 Rust 构建并优化低延迟。官网 FAQ 说,SDK 里的 prompt 首次拉取后会缓存在客户端,之后不再增加延迟;对走 AI Gateway 的调用,官网称其可用性保证让应用在 Langfuse 不可达时继续工作。官网 FAQ[1] 想完全不碰请求路径,就用前两种;选 Gateway,等于在你和模型供应商之间多了一段要自己配置和照看的路由,官方用低延迟和可用性保证来对冲这部分代价。

点开一条答错的 trace,能看到这次请求的完整执行流:调了哪些模型 API、检索回哪几段上下文、system prompt 是哪一版、哪些步骤并行、每一步各花了多少 token 和多少钱。复杂调用用嵌套 trace 表示;成本和延迟可以按用户、会话、功能、模型和 prompt 版本拆开。YC 公司页[2] 如果只想知道“哪里贵、哪里慢”,到这一层就够了;要追“为什么答错”,还得把检索到的政策原文和 prompt 版本对起来看。

图:Langfuse 官方展示[1],2026-11-10 取得,保留原始界面。

评估接进来的位置也在这里:把出错的输入和期望输出放进数据集,改一版 prompt,再跑一次实验,比较两版在同样输入上的得分。输出质量可以用用户反馈、LLM-as-a-judge(让另一个模型按标准打分)和人工标注来评估。YC 公司页[2] 产品接手的是记录和对照,不替团队决定什么算好。评估标准、人工标注、改哪版 prompt 仍要人做;自托管的话,基础设施和权限策略也得自己管。我最欣赏它把评估挂回 trace 和 prompt 版本,而不是只给一个漂亮分数——分数离开“当时查了什么、用了哪版 prompt”就很难解释。

客户把 prompt 管理推出来

Langfuse 不是先画好平台架构图再找客户。团队 2022 年开始,先做用量计费产品 Finto,2022 年 11 月进入 YC W23;到旧金山后,客户喜欢 Finto,但团队不愿在成熟小市场里做又一代产品。他们用 YC batch 的大部分时间试做 LLM 应用,大多数点子不到两周就换,最后一个做多文件编辑的做了更久。这段试错让他们认定:LLM 应用难做,需要方法化评估。于是转向开源 LLM 开发者工具。[3]

初版完成后,第一批客户来自 YC batch。早期客户在产品里花大量时间迭代测试,给反馈、也把团队转介绍给别人,团队因此决定开源并发布 repo,2023 年 7/8 月以 LLM App 产品分析公开上线。最初几个月他们只专注 tracing/observability;跨新年决定做 prompt management,原因是早期客户要求,而且 prompt 和 tracing 紧耦合有额外价值,初版几天内上线。这个顺序很重要:不是“平台愿景”先行,是客户把 prompt 管理推出来的。

公开上线后,他们完成 约 CN¥26,681,291.24($4M) seed,投资方包括 Lightspeed Venture Partners、La Famiglia、Y Combinator 和天使投资人。这是融资,不是订阅收入;公开可见的材料里没有 ARR/MRR、毛利率、基础设施成本或客户集中度,营收和利润都算不出来。[3]

按数据点收费,账单跟着调试走

Langfuse 面向 LLM 应用开发者和做评估的团队;付费云计划按发送到平台的数据点计费,账单归账户所属团队或公司;自托管则由使用它的团队自己承担基础设施。自托管在 MIT 许可下免费,核心功能(可观测、评估、prompt 管理、数据集)不限量;自托管 Enterprise 另加项目级 RBAC、审计日志、数据保留策略、管理 API 和 SLA 支持。官网[1] 云托管的账单不按人头,按 tracing 数据点:trace(完整应用交互)、observations(trace 内 spans/events/generations)和 scores。[4]

两条轴要分开看。容量轴:免费 Hobby 档含 50k units/月;付费计划含前 100k units/月,超出按量递减。保留轴:Hobby 30 天访问,Core 90 天,Pro 和 Enterprise 3 年,Pro 和 Enterprise 还带 Data retention management。[4]

多付钱买到的不只是更多 units,也是更长访问。比如一个小团队刚上线,50k units/月可能够抓最近一次事故;要把三个月前一次 prompt 改动翻出来,得选 90 天窗口的 Core;要翻半年前,就得 Pro 或 Enterprise 的 3 年窗口。官网只列访问窗口和 Data retention management 功能,没把删除窗口讲全;如果合规上要确认数据什么时候被删,还得直接问。

如果你要比托管 tracing,LangSmith 也把“记多少”和“留多久”拆开:它按座位加 trace 量计价,基础 trace 保留 14 天,延长到 180 天要另收费。LangSmith 价格页[5] 两边拆法不同。要比,就比同一个任务下你每月发多少 trace、要留多久,而不是一句“谁更便宜”。

不打算卖,却卖给 ClickHouse

收购公告写得很坦:公司原不打算出售,已经拿到很好的 Series A term sheets,并期待圣诞假期;改变主意是因为认为和 ClickHouse 一起能更快,同时保持开源、自托管和面向生产负载。现有开源/自托管承诺和 Cloud 产品、端点、合同不变,团队全部加入 ClickHouse 继续构建 Langfuse。[6]

技术原因也不绕:第一版为快速交付跑在 Postgres;采用量增长后,高吞吐写入和快速分析读成了瓶颈,v3 把核心数据层迁到 ClickHouse。Langfuse Cloud 是 ClickHouse Cloud 的大客户,ClickHouse 团队也用 Langfuse;v2→v3 升级把数千团队引入 ClickHouse。收购金额、支付方式没披露。

这桩收购像产品自己写出的注脚:一个记录 LLM 应用数据的工具,最终和数据库公司绑在一起;但公司原不打算出售,已有很好的 Series A term sheets,改选 ClickHouse 是因为认为一起能更快。我觉得 Langfuse 最值钱的地方,不是那个评估分数,而是把 LLM 应用的执行过程变成可查询的数据。

继续阅读

AI 开发
一次五个 credits 的抽取,只读正文时它劝你花一个就够了

ScrapeGraphAI 的 Extract 把网址、HTML 或 Markdown 加一句说明抽成 JSON,单次 5 credits,启用 stealth 再加 5,失败或报错不收费,PDF 按处理页每页 1 credit。文档建议只需可读 Markdown 时改用 1 credit 的 scrape,并提示缓存不常变网址。

AI 开发AI 效率
AI2SQL:AI 写完 SQL,你按下只读连接上的运行键

AI2SQL 把自然语言写成基于真实表结构的 SQL,并在只读连接上执行;创始人 Mustafa Ergisi 选择 bootstrap,靠逐个联系免费用户、SEO 与口碑增长,也承认为留存和定价交过学费。产品以 sqlGuard 与 MCP 的只读边界为卖点,三档收费 约 CN¥60.03($9)、约 CN¥126.74($19)、约 CN¥260.14($39),但 TrustMRR 页面字段与创始人留言给出两套 MRR。

AI 开发AI 搜索AI 效率
顾客不会用产品,差评来了:PDF.ai 把说明书做成按页计费的接口

Damon 在 Cisco 任职时用6个月无薪假做副项目,前四个零收入,第五个 Testimonial 跑出收入。电商顾客不会用产品、留下差评,促使他探索让顾客与 PDF 说明书对话,形成 PDF.ai 的 Parse、Extract、Ask API:按页计费,缓存 docId 免重复解析,但抽取仍按页、提问按总页数计费。

AI 游戏AI 开发AI 图片
约十个原型,只留一个:25年游戏老兵用 Rosebud 独自把游戏送上 Steam

25年游戏从业者 Damian 用 Rosebud 做了约十个原型,经亲友试玩后只保留《Hollow Signal》,7月14日以 Dev Solo Studio 名义独自把它送上 Steam。这款 roguelike 射击从自动瞄准改为方向射击,并补齐八语言、手柄与无障碍支持,显示他把原型推进到完整发行的取舍。