出处：mp.weixin.qq.com
近日，随着阿里通义千问推出的 QwQ 系列深度思考模型爆火全球，以其令人赞叹的推理能力强、性价比突出等特点，一经发布就引发广泛关注，从资本市场与工业界走进大众视野中。
越来越多普罗大众开始了解与尝试 LLM 应用。但伴随着用户需求的激增，无论是基于官方模型服务还是自建部署大模型，在应用层调用大语言模型服务时，都可能面临响应超时或者不稳定等问题，从而影响用户的实际使用体验。相较于过往的云原生应用，LLM 应用可观测发生了翻天覆地的变化，不仅仅是资源类型、核心指标、数据特征的变化，故障模型、调试方式也发生了巨大改变。面对这一系列的稳定性挑战，本文给出了更符合业务特征的可观测解决方案。
发表评论 取消回复