一直以来都觉得，除非你对 LLM 请求所需的上下文和调用流程有非常清晰思考，并且希望它严格按照你的设想运作，否则就不要使用 API 客户端，而应该去用 App（例如 Gemini 和 ChatGPT）。
App 针对通用问题的调优和 edge case 的处理能力，是 API 客户端无法匹敌的。
比如一个最简单的场景：搜索概念并进行讲解。如果使用 API 客户端，你可能会遇到：
- Search 或 Fetch 工具调用失败（例如，返回结果过长）。
- 获取的信息太多，导致 Token 长度超出 LLM API 的限制。
- 缺少 RAG 技术的筛选或重排，导致结果不精确。
- 速度慢且不稳定。而在 App 中，请求一旦发出，后台任务便会保证对话持续运行，即使关闭 App 也不影响最终结果。
所以总的来说，对于一般的问题回答，使用 API 客户端不仅需要花费大量时间配置、调试，而且仍然难以保证稳定、快速地获得好结果。使用 App 才是最好的选择。
而对于那些需要控制执行过程、数据，以及使用自定义工具的特定需求，API 客户端才能发挥其优势。
App 针对通用问题的调优和 edge case 的处理能力，是 API 客户端无法匹敌的。
比如一个最简单的场景：搜索概念并进行讲解。如果使用 API 客户端，你可能会遇到：
- Search 或 Fetch 工具调用失败（例如，返回结果过长）。
- 获取的信息太多，导致 Token 长度超出 LLM API 的限制。
- 缺少 RAG 技术的筛选或重排，导致结果不精确。
- 速度慢且不稳定。而在 App 中，请求一旦发出，后台任务便会保证对话持续运行，即使关闭 App 也不影响最终结果。
所以总的来说，对于一般的问题回答，使用 API 客户端不仅需要花费大量时间配置、调试，而且仍然难以保证稳定、快速地获得好结果。使用 App 才是最好的选择。
而对于那些需要控制执行过程、数据，以及使用自定义工具的特定需求，API 客户端才能发挥其优势。