Nova银行AI🏦 🤖
状态: 🚧 开发中（Alpha）
新星 是下一代语音优先的银行助理，旨在彻底改变客户服务。与只会升级问题的传统聊天机器人不同，Nova是一个 自主主体 能够解决复杂的银行问题，分析财务数据，并实时执行交易。
______________________________________________________________________
🌟 视觉
我们的目标是建立一个 完整的客户服务代理 即：
- 理解 具有人类水平细微差别的自然语言（语音和文本）。
- 解决 自主问题（例如，“为什么要向我收取这笔费用？”、“修复我的交易”）。
- 逐步扩大 只有在严格需要人为干预的情况下，才能明智地进行干预。
- 主动地 监控财务状况（欺诈检测、现金流警报）。
______________________________________________________________________
🚀 已实现的关键功能
1.🗣️ 实时语音接口
- 免提交互：具有“Barge in”功能的全双工语音聊天（自然中断AI）。
- 低延迟：用于近乎即时响应的流式架构。
- 视觉反馈：实时对音频做出反应的“圆形波”可视化工具。
- 文本转语音（TTS）：高品质、听起来自然的语音合成（Google Cloud TTS）。
2.🧠 高级AI大脑（顶点AI）
- 模型：技术支持 双子座2.0闪光灯 速度和推理能力。
- 角色：“Nova”-专业、热情、简洁的银行专家。
- 情境感知：记住对话历史和用户上下文。
3.🧪 人工智能技术与调优
我们采用先进技术确保生产级性能：
- 很少射击提示：系统提示包括精心策划的“语音优先”银行互动示例，以指导模型的风格和简洁性。
- 系统提示工程：一个强大的人物角色定义（“Nova”）对响应长度和音调实施了严格的限制，并针对音频输出进行了优化。
- 工具使用（函数调用）：该模型经过微调，可以检测何时调用外部工具（MCP），何时直接应答。
- 流媒体架构：我们实现了一个定制的流媒体管道，该管道对文本进行标记，并以实时块的形式合成音频，以最大限度地减少延迟。
4.🔌 模型上下文协议（MCP）集成
- 标准化工具：使用开放标准 主控程序 发现并执行工具。
- 动态扩展性：添加到MCP服务器的新工具可立即供代理使用。
- 已实施的工具:
- get_account_balance：实时余额检查。 - get_recent_transactions：具有过滤功能的交易历史记录。 - get_spending_analysis：按类别分列的支出。 - detect_anomalies：统计欺诈/异常检测。 - predict_cashflow：未来余额预测。 - transfer_funds：安全资金转账（带PIN验证）。 - pay_bill：票据付款执行。
4.📊 数据湖架构
- BigQuery：所有银行数据（用户、交易、报价）的集中数据仓库。
- 实时分析：基于SQL的即时洞察。
______________________________________________________________________
🛠️ 技术栈
- 前端：React、Vite、TailwindCSS、Web Audio API。
- 后端：Python、FastAPI、WebSockets。
- AI和ML：谷歌顶点AI（双子座）、谷歌云语音转文本、谷歌云文本转语音。
- 数据：谷歌BigQuery。
- 协议：模型上下文协议（MCP）。
______________________________________________________________________
🔮 路线图
- \[ \] 自主问题解决：可以调查纠纷和退款的代理人。
- \[ \] 多代理编排：贷款、抵押贷款和投资的专业代理。
- \[ \] 生物认证：用于安全交易的语音ID。
- \[ \] 移动应用集成：原生iOS/Android支持。
______________________________________________________________________
🏃♂️ 入门指南
先决条件
- Node.js和npm
- Python 3.10+
- 谷歌云平台帐户（Vertex AI，启用BigQuery）
安装
- 克隆仓库
git clone https://github.com/your-org/nova-banking-ai.git
cd nova-banking-ai- 后端设置
cd backend
pip install -r requirements.txt
export GCP_PROJECT_ID=your-project-id
python -m backend.main- 前端设置
cd frontend
npm install
npm run dev