Agentic AI Deployment Cookbook

TrueFoundry上的代理AI：部署指南

此存储库提供了一个最小的端到端模板，用于部署功能强大的工具驱动的 代理人工智能系统。我们演示了如何包装代理工作流（使用 CrewAI 或 LangGraph)通过可扩展的部署 TrueFoundry人工智能网关 通过：

1. 海关代理 快速API 端点以及
2. 习俗 模型上下文协议（MCP）服务器 和 FastMCP

安全注意事项： 我们演示一个场景 无MCP服务器身份验证 为了简单起见。对于生产部署， TrueFoundry 提供强大的安全功能。请参阅 TrueFoundry MCP网关身份验证指南 了解实施细节。

______________________________________________________________________

食谱步骤

本指南遵循开发单一用途代理并将其包装以供企业部署的过程。

1.入门

1a。安装并登录TrueFoundry

在开始之前，您需要安装TrueFoundry SDK并使用平台进行身份验证。

第一步：安装TrueFoundry

pip install -U "truefoundry"

第二步：登录TrueFoundry （通过提供给您的租户）

tfy login --host "https://demo.truefoundry.cloud"

重要：始终确保使用提供给您的正确租户（例如， https://demo.truefoundry.cloud)如上所述。

1b。代理流设计（Jupyter记事本）

代理系统旨在执行 实时研究并格式化输出供人类消费.

我们正在建设一个 双代理研究和报告生成器 使用 TavilySearchTool 查找最新信息，然后将最终输出格式化为干净的Markdown字符串（在这个简化版本中，我们不再保存到文件中）。

在笔记本中交互式查看设计并测试流程：

• With LangGraph
• With CrewAI

1c。TrueFoundry集成代码

您必须配置LLM框架，以便通过 TrueFoundry人工智能网关.

选项A：使用CrewAI

# Create an LLM instance with TrueFoundry AI Gateway
from crewai import LLM

truefoundry_llm = LLM(
    api_key="your_truefoundry_api_key",
    base_url="your_truefoundry_gateway_base_url",
    model="openai/openai/gpt-5",  # Format: 
/
)
# This format allows you to call any model (Anthropic, Gemini, etc.)
# configured on your TrueFoundry Gateway.

选项B：使用LangChain（如果使用LangGraph构建）

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    api_key="your_truefoundry_api_key",
    base_url="your_truefoundry_gateway_base_url/v1",
    model="openai/gpt-5"  # Format: 
)
# This format allows you to call any model (Anthropic, Gemini, etc.)
# configured on your TrueFoundry Gateway.

1d。Python环境管理(uv)

我们使用 uv 用于超快速、可重复和强大的依赖关系管理。您的存储库使用 pyproject.toml 用于声明直接依赖关系的文件和 uv.lock 文件以锁定整个环境。

要在本地设置项目，请执行以下操作：

1e。代理代码的Python脚本

最终的代理逻辑被隔离到一个可运行的Python脚本中，该脚本公开了核心 run_agent(query) FastAPI端点以及MCP服务器使用的函数。

• With LangGraph
• With CrewAI

2.在FastAPI端点后部署代理

对于传统的RESTful通信，例如服务 web用户界面 或与a集成 同步微服务，您应该通过标准的FastAPI端点公开代理逻辑。本节详细介绍REST服务的完整配置。

2a。FastAPI端点代码

此脚本定义了应用程序、输入结构和核心路由逻辑。

• With LangGraph
• With CrewAI

2b。核心组件说明

______________________________________________________________________

2c。执行命令

要运行用于web消费的独立FastAPI代理端点，请执行以下操作：

##Example with LangGraph
uv run uvicorn src.agents.langgraph.server:app --host 0.0.0.0 --port 8000

3.使用FastMCP部署自定义MCP服务器

3a。创建MCP服务器

这 agent_as_mcp_server.py 文件使用 FastMCP 转换单代理功能的框架(conduct_research_and_report)成为网络可访问的工具。

• With LangGraph
• With CrewAI

3b。FastMCP概述

• 初始化： 这 FastMCP 对象处理所有协议细节。

  mcp = FastMCP("research_report_generation", stateless_http=True)

• 工具定义： 我们定义了一个包装整个过程的单一工具。

  @mcp.tool()
  def conduct_research_and_report(query: str) -> str:
      # ... calls run_agent(query) ...
      # ... returns final Markdown report ...

3c。FastMCP关键组件

这 agent_as_mcp_server.py 文件用途 FastMCP 将代理逻辑打包到可部署的服务中，并添加必要的部署配置。

3d。执行命令

要运行用于web消费的独立FastMCP服务器端点，请执行以下操作：

##Example with LangGraph
uv run src.agents.langgraph.agent_as_mcp_server.py

______________________________________________________________________

3e。MCP检查员进行本地测试

部署前，使用验证服务器的功能 MCP检查员 CLI工具。此工具允许您直接通过HTTP确认服务器的功能和测试工具。

1. 启动MCP服务器： 在一个终端窗口中运行服务器脚本（如果尚未启动）：

   uv run src.agents.langgraph.agent_as_mcp_server.py

1. 测试服务器（在新终端中）： 使用 npx 检查功能并调用该工具。

   # Inspect the capabilities (tools, resources, prompts)
   npx @modelcontextprotocol/inspector

4.TrueFoundry上的部署（视频指南）

重要：仅在以下网址注册 https://demo.truefoundry.cloud/ （或提供给您的租户）并 非 使用任何其他租户/URL。

______________________________________________________________________

代码完成后，服务就可以进行容器化和部署了。

最后的部署步骤包括使用TrueFoundry平台将代码容器化，1）在FastAPI端点后部署代理，2）部署自定义MCP服务器。

4a。在TrueFoundry上的FastAPI端点后部署您的代理（约3分钟的观看时间）

观看本指南，了解Agent FastAPI端点的完整部署过程。


4b。在TrueFoundry上部署您的自定义MCP服务器（约3分钟的观看时间）

观看本指南，了解MCP服务器的完整部署过程。