OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

前言

在上一章节中,我们完成了 slidev mcp 的环境搭建和基本的测试,但是这还不够,为了测试验证 MCP 的真实性能,我们需要放到大模型的环境下进行交互测试,并根据测试结果不断优化和完善 Agent 的能力。

交互测试 MCP

自检程序完成后说明你的 mcp 工具没问题了,这个时候就可以直接在「交互测试」中测试一下我们的 mcp 接入大模型后组装成的 Agent 效果如何了!

我们新建一个空白测试,然后选择「交互测试」,这个时候你就会进入一个很眼熟的对话框,这个对话框和你平时使用的大模型的别无二致,通过这个功能,我们可以在不进行 mcp 安装的情况下就测试我们开发的 agent 效果如何。

我们在对话框中粘贴我们事先准备好的一个草拟好的演讲提纲

你可以直接把任意大段文本丢给大模型,让大模型帮你生成类似这样的提纲,这里就涉及到一个可以将网站链接转换成 markdown 的项目 crawl4ai 了,此处不做赘述了,网上关于 crawl4ai 也有对应的 mcp,大家可以把它作为额外的服务器载入 openmcp 中。在 openmcp 中连接多个服务器的教程可以看 这里 .

“`markdown

讲演提纲:从大模型的幻觉现象剖析开发 AI Agent 的技术瓶颈和解决思路

封面页

  • 标题:从大模型的幻觉现象剖析开发 AI Agent 的技术瓶颈和解决思路|到底谁的幻觉更大?
  • 作者:锦恢 (LSTM-Kirigaya)
  • 背景图:使用文章中的首张配图(链接)
  • 副标题:探讨 AI Agent 开发中的核心挑战与解决之道

1. 前言

  • 讲演者背景:Blender MCP 开发者OpenMCP 项目作者
  • 核心问题:AI 领域 Demo 多但实用产品少两大关键问题:大模型的幻觉开发者的幻觉

2. 大模型的幻觉

定义

  • 大模型不知道自己不知道什么,遇到未知问题时会胡编乱造。
  • 核心表现:盲目假设(如数据库查询案例)虚构答案

案例展示

  • 问题场景:开发数据库查询 MCP 工具
  • 现象:AI 回复“我不知道”,但工具实际支持查询错误调用过程:直接使用 Comment 类型查询未先确认“评论对应的节点类型”
  • 配图:错误回复截图错误调用过程截图

3. 解决大模型幻觉的方法

前提条件

  • 明确 应用场景设计边界:AI Agent 能做什么?不能做什么?

具体方法

  1. 系统提示词:明确告知 AI 能力边界提供清晰的指令模板
  2. MCP 工具原子化拓展:细化查询能力(如先查询“评论节点类型”)

效果展示

  • 优化后结果:AI 正确识别节点类型返回结构化数据
  • 配图:优化结果截图

4. 开发者的幻觉

核心问题

  • 开发者对大模型能力边界的不切实际期望
  • 现实背景:Pretrain Scaling Law 已接近极限大模型能力边界逐渐清晰

具体表现

  • 在不适合的领域强行开发 AI Agent
  • 失败后归咎于“大模型太垃圾”
  • 忽视设计边界和方法论

警示

  • 开发者需:学习 AI 底层技术理性认识大模型局限避免“饭圈化”思维

5. 结论与 OpenMCP 介绍

核心总结

  1. 大模型幻觉:不知道自己不知道什么
  2. 开发者幻觉:对能力边界的不切实际期望
  3. 两者均为 AI Agent 开发的核心障碍

OpenMCP 项目

  • 定位:一体化 MCP 开发与部署解决方案
  • 资源:官方站点GitHub
  • 呼吁:“AI 时代不要抛弃自己的大脑”

附录(可选)

  • 参考文献:文中提到的 OpenMCP 教程链接相关技术术语解释(如 Pretrain Scaling Law)
  • Q&A 环节:预留观众提问时间 “`

然后我们询问:

“` 请帮我把下面的大纲做成 slidev ppt:

{{content}} “`

{{content}} 的地方就复制上面的大纲的文本内容。按下回车即可看到大模型会帮我们逐步进行执行:

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

注意了!如果你的大模型厂商不支持原生的「函数调用」(也就是询问的时候会报错,不过常见的 deepseek,qwen 等等 openmcp 内置的模型都是支持 函数调用),可以尝试把工具栏下面的「开启 XML 指令包裹」开起来:

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

更多关于 openmcp 「交互测试」的使用方法,可以移步 官方文档.

稍等片刻,就能看到 slidev mcp 生成的结果了:

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

我们进入这个文件夹,然后运行服务器:

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

你就可以看到我们生成的效果:

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

PPT 架子是生成了,但是效果嘛,就有点不尽如人意了。根本缘由在于大模型对于部分参数缺少了上下文,导致胡乱填写。列如大模型不知道封面图要放什么,所以它只会自己从大纲里面找到第一个。

下面这一页也有问题:

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

我们想要渲染出这张图,但是 agent 给出的渲染结果却是两个链接,这也是不对的。所以,在第一轮交互测试后,我们就有必要开始进行第一次的迭代了。

AI Agent 开发须知:永远不要认为你能一次性就开发出完美的 Agent,Agent 必定要在反复迭代和测试中不断改善。

根据交互测试结果反复迭代 mcp 工具

针对之前的问题,我们可以从如下两个角度出发,进行改善:

  1. 通过约束 mcp 工具的入口参数来规约调用工具的行为范式。参考.
  2. 增加 mcp 提词来注入额外的先验知识。参考.

我们在之前的代码中添加如下的代码:

“`python

“`

然后我们启动第二版本的 slidev mcp,点击交互测试,我们先按照下面的步骤来选中我们刚刚创建的 prompt

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

在正式启动之前,记得先删除之前生成的文件夹(由于 slidev mcp 实现了读取存在的 ppt 的功能,如果读取后再修改,那么本文后面案例的复现难度就会提升)

等待生成后,可以看到,此时的 PPT 就变成正常的双栏结构了,左侧文字,右侧图片。

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

当然,根据你的领域知识,可能生成的 ppt 还存在其他地方的问题,那么就需要进行下一轮迭代,直到迭代到让你满意为止。

导出 mcp 配置文件

如果你的测试已经让你满意,那么你就可以选择将你的结果导出,点击工具栏最右的「导出 mcpconfig」,然后会出现一个对话框:

OpenMCP 测试秘籍:让 PPT Agent 输出更精准的实用技巧

选择导出或者复制都行,复制出的配置文件,可以直接载入 Claude Desktop 或者 Cherry Studio 中,也可以根据此处的教程,使用 openmcp-sdk 直接部署到你的服务或者程序中。


结论

好啦!信任通过这篇教程,大家应该能够更加直观地了解到 AI Agent 的一个基本开发流程,以及 mcp 是什么,如何调试和部署了。

想要了解更多的 Agent 开发信息,可以浏览一下 OpenMCP 的官网,那里面提供了不少的使用教程和开发案例。

© 版权声明
THE END
如果内容对您有所帮助,就支持一下吧!
点赞0 分享
微爱书房的头像 - 鹿快
评论 抢沙发

请登录后发表评论

    暂无评论内容