______________________________________________________________________
title:转录生成器代理 作者:恩里克·卡多萨 sdk:毕业 sdk版本:5.33.0 app_file:app.py 固定:false short_description:一个由MCP服务器驱动的转录生成器代理 标签:
- 转录本
- 代理
- 代理演示轨道
- 人类
- groq
- 低语
- 烟雾剂
- 文本到语音
- 语音转文本
- 模态
demo_video:https://youtu.be/GL1jsfIGxXY
______________________________________________________________________
Claude 3.7 Sonnet聊天与转录工具
一个强大的会话代理,将Claude 3.7 Sonnet的功能与专门的音频转录工具相结合。专为Gradio Agents和MCP Hackathon 2025而打造,并在Hugging Face Spaces上举办。
演示视频

看看 演示视频 看特工在行动!
代理能力
该代理可以:
- 通过URL从音频或视频文件生成转录
- 使用Chatterbox模型从文本创建音频
- 处理音频和视频内容以进行转录
- 生成特定文本,然后将其转换为音频以供下载
- 在modal.com上托管的GPU实例上运行
概述
此应用程序将Claude 3.7 Sonnet与模型上下文协议(MCP)集成在一起,以便在聊天界面中直接进行音频转录。用户可以在对话中共享音频URL,代理将使用GROQ的转录功能自动转录内容。
特性
- 对话式AI:由Anthropic的Claude 3.7 Sonnet模型提供支持
- 音频转录:从聊天中共享的URL转录音频
- 智能工具选择:自动确定何时使用转录工具
- 流媒体响应:处理过程中的实时反馈
- API密钥管理:同时支持环境变量和用户提供的API密钥
运作原理
建筑
- Gradio界面:提供用户友好的聊天界面
- MCP集成:通过模型上下文协议连接到外部工具
- 工具决策逻辑:使用Claude来决定是否调用转录
- 多相响应:显示“思考”、工具使用和最终响应阶段
工艺流程
- 用户输入:用户发送带有音频URL的消息
- 决策:代理分析消息以确定是否需要转录
- 转录处理:如果合适,音频将发送到转录服务
- 响应生成:Claude对转录或原始查询做出回应
MCP集成
应用程序连接到MCP服务器 https://agents-mcp-hackathon-transcript-generator.hf.space/gradio_api/mcp/sse 它提供了对专用工具的访问。此实现使用 transcript_generator_transcribe_audio_from_url 用于处理音频内容的工具。
需求
- 无烟煤API密钥:需要Claude 3.7 Sonnet访问权限
- GREQ API密钥:音频转录功能所需
使用示例
音频转录
- 在聊天中共享音频URL
- 代理将自动检测URL并转录内容
- 你会收到转录和克劳德的分析
please, generate a transcription for this file: https://huggingface.co/spaces/anewryzm/transcript-generator-client/resolve/main/test_files/this%20people%203.m4a一般对话
只需像与克劳德一样与代理人聊天。代理人只会在适当的时候使用转录工具。
技术细节
组件
- Gradio用户界面:创建响应式聊天界面
- 拟人客户:处理与Claude API的通信
- MCP客户端:连接到模型上下文协议服务器
- 刀具加工逻辑:管理转录工作流程
环境变量
应用程序支持通过环境变量设置API键:
ANTHROPIC_API_KEY:您的Anthropic API密钥GROQ_API_KEY:您的GREQ API密钥
如果这些不是作为环境变量提供的,UI将提示输入它们。
工具决策
该代理使用Claude本身通过分析来确定是否使用转录工具:
- 消息是否包含音频URL
- 用户请求的上下文和意图
- 转录与当前对话的相关性
部署
该代理托管在Hugging Face Spaces上,无需任何安装要求即可通过web浏览器轻松访问。
局限性
- 仅处理来自可公开访问的URL的音频
- 需要Anthropic和GROQ的有效API密钥
- 转录质量取决于音频质量和GROQ的能力
未来改进
- 支持更多音频格式和来源
- 用于转录分析的其他文本处理工具
- 与更多LLM提供商集成
关于MCP(模型上下文协议)
MCP是语言模型访问外部工具和功能的标准化方式。它允许模型:
- 发现可用工具
- 了解刀具参数和要求
- 使用适当的输入调用工具
- 在上下文中处理工具输出
