企业级AI应用开发：从技术选型到生产落地

企业级 AI 应用开发：从技术选型到生产落地阿里云 Serverless AI 团队墨飏（洪晓龙）Contents目录01 企业级 AI 应用开发的真实面貌02 模型、工具和智能体生产实践03 总结企业级 AI 应用开发的真实面貌01New Future on Cloud New Future on Cloud New Future on Cloud实现快维护成本高模块化负载均衡服务管理RPC 技术高密度部署原子、自治按量使用极致弹性物理机容器虚拟机ServerlessServerless x AI？SOA架构微服务架构云原生架构AI 原生架构垂直架构单体架构?Serverless 是应用架构演进的必然趋势，也是当前最有可能演进为 AI Native Infra 的技术架构应用架构演进Kubernetes智能体正成为企业应用开发新范式，生产级 AI 系统远不止表面的智能对话，90% 工作在于底层的软件工程与基础设施企业 AI 应用开发的真实面貌ToolsAI Agent负责让大模型连接外部工具Memory负责管理大模型对话时的记忆Action负责管理大模型行动的基本流程Planning负责规划大模型的行动开发者看到的企业看到的模型大脑工具四肢智能体躯干企业的生产实践发现，除弹性外，模型选型关注效率 & 可靠；工具选型关注简单 & 经济；智能体选型关注安全 & 可扩展。企业 AI 应用开发的真实需求选型痛点：大模型、领域模型？参数规模 0.6/1.7B/4B/8B/14B/32B/235B？选型痛点：Function Call、MCP？工具类型 Code/RL/Browser Use/Sim Sandbox？选型痛点：零代码、低代码、高代码？开发范式 LLM Agent/Flow Agent/Code Agent?模型、工具和智能体生产实践New Future on Cloud New Future on Cloud New Future on Cloud02模型服务有2种技术选型：模型服务商（如OpenAI、百炼等）、开源自建（Qwen、DeepSeek等）模型服务 – 技术选型维度SaaS（模型服务商）PaaS（Serverless 自建）IaaS （VM/容器自建）安全❌ 数据风险高：• 数据在第三方，合规不可控✅ 数据风险低：• 数据在客户私网，厂商基础安全保障✅ 数据风险低：• 数据在客户私网，厂商基础安全保障效率✅ 开发效率最高：• 开箱即用，零配置❌ 几乎不可定制：• 无法修改底层框架，可选模型少✅ 开发效率高：• 开箱即用，无需管服务器及其环境依赖✅ 定制效率高：• 框架/模型自由，开源选择多❌ 开发效率低：• 需手动配置集群、网络、依赖❌ 定制效率低：•小规模效率高，大规模效率低可靠✅ 可靠性最高：• 服务商提供 SLA，自动容灾❌ 完全黑盒：• 故障依赖服务商修复✅ 可靠性高：• 3AZ 高可用，自动容灾✅ 黑盒+白盒：• 自带监控日志链路追踪等工具❌ 可靠性低：• 自主实现高可用架构✅ 完全白盒 ：• 需要自建监控日志，代价高弹性✅ 有限弹性：• 按请求弹性，配额受限则不可再弹❌ 成本不可控：• 按请求单价高，突发流量费用激增✅ 极致弹性：•按请求弹性，毫秒/秒级供给资源✅ 成本可控：• 按资源单价低，利用率高浪费少❌ 普通弹性：• 手动/自动扩展VM或Pod，分钟级❌ 成本可控：• 按资源单价低，利用率低浪费多业务成熟，有专业团队，PaaS/IaaS自建是追求自主可控的必然选择。生产上量，核心业务自建 & 创新，PaaS 是 ROI 最高的选择。PoC 阶段，快速验证，SaaS/PaaS的开箱即用是最简单的选择。初创公司规模扩大巨型企业函数计算 FC 提供 PaaS（Serverless 自建）方案，云上最快弹性、最小规格、最细计费粒度、自动 3AZ 高可用，ROI 最高函数计算 FC – Serverless AI 运行时0100倍50+冷启动速度：FC 毫秒~秒级，虚机数分钟，容器 30+秒~数分钟按请求调度，毫/秒计费，低峰自动缩 0虚机包月浪费多，容器为集群持续付费Python/Node/Java/PHP/Go/.NET 等50+ 内置运行时环境，支持自定义运行时和自定义镜像，方便开发者灵活定制5倍最小规格：FC 0.05C128MB，虚机 1C512MB，容器 0.25C512MB规格粒度启动效率不使用不计费内置环境Serverless平台底座异构算力CPU 算力（x86)GPU 算力（Tesla, Ada, Hopper, etc.)运行环境Python 3.6~3.11函数事件函数Web函数任务函数GPU 函数产品集成，事件驱动云产品 Serverless 化安全隔离，自动容灾沙箱容器 2.0高密部署，主动调度第四代神龙架构快速交付，极致弹性资源池化 2.0XPU 算力Node.js 17~22自定义镜像PHP/Go/.NET/…自定义运行时Java 8~21AI 应用Qwen, DeepSeek, etc.模型服务MCP SSE & 企业专属市场AI 工具ComfyUI, SD, etc.图像生成Serverless Dify，流程编排智能体 AgentFC 不为 3AZ 容灾额外付费，虚机/容器则需额外付费！Serverless x AI 运行时异构算力生态集成魔搭社区、HuggingFace 热门模型一键部署，内置 vLLM/SGLang/Ollama/Transformers 推理框架，OpenAI API 兼容模型服务 – 开箱即用图像生成 ComfyUI、Stable Diffusion 原生开发体验，专属开发空间，一键发布为企业级 Serverless API，易集成、易定制，TCO 最高模型服务 – 开发提效Serverless x AI，函数计算 FC 帮助企业跨越技术鸿沟，让模型服务兼具 SaaS 体验 和 自建优势模型服务 – 生产实践设计师定制个人工作助手开发者少儿阅读 App 创新功能初创公司智能家居领域的潮流引领大型企业灵活可定制，加速业务 AI 创新客户原声ComfyUI客户原声CosyVoice客户原声Qwen/DeepSeek客户原声Stable DiffusionMCP 是 AI 领域的 USB-C 接口，它统一了大模型和外部工具的交互规范，MCP 已成为 Agent 工具生态的主流协议MCP 工具 – 技术选型大模型决策是否使用工具Agent（Host + MCP Client）大模型发送请求+tools scheme拼装内容，返回响应发送上下文和工具结果Remote APIsRemote APIsLocal MCP ServerSSE MCP ServerHTTP MCP ServerRemote APIsRemote APIs远程调用调用工具返回结果STDIO 协议本地文件本地数据本地访问SSE/Streamable HTTP 协议调用工具返回结果外部依赖远程调用①②关键技术决策点：1. STDIO MCP 升级为 SSE MCP，统一开发和部署标准；2. MCP 冷热不均，Remote APIs 建议 Ser