大模型应用设计与实现指南
· ☕ 9 分钟
1. 直接使用大模型面临的问题 输出不稳定性 生成式 AI 的特点之一,输出结果的多样性。同样一个问题,问大模型多次,可能会得到不同的答案。 这种输出的不确定性,在对话、创作场景下,会给用户带来惊喜。但在确定性要求比较高的场景下,大模型进入不了采纳阶段。 数

混沌工程与落地实践
· ☕ 7 分钟
两个月前,我在业务团队有过一次关于混沌工程实践的分享,这里主要整理下讲稿的内容。 点击查看演示文稿 1. 混沌产生 1.1 混沌学科的产生 在讲混沌之前,我们可以先思考一下混沌、混沌工程和我们线上服务之间的关联。 我们经常听到的故事是,一只在亚马逊河流中的蝴蝶

在中小型公司做 SRE 是怎样一种体验
· ☕ 6 分钟
1. 两年前选了一条不一样的路 现在回顾,2021 年应该是近些年武汉互联网打工人跳槽的黄金年份。疫情过去,我们对未来充满期待;货币政策宽松,公司对市场前景满怀信心。 在这个背景下,当时一批做 Kubernetes 开源产品的同事纷纷跳槽,去云厂商继续做云基础设施。凭借过

我的 Restful API 规范
· ☕ 2 分钟
主要用来规范自己写的 API,也是为了让 LLM 更好理解我的 API。 1. Domain 尽量单独使用一个域名,例如 api.example.com 。 2. Path 统一使用小写字母。 不用包含 /api 前缀。 不要包含扩展名。 / 不要出现在末尾。 对于 Restful API,/ 用来划分资源层级,末尾的 / 会导致混淆。 使用带版本的路径 /v1 。

OpenAI Vs Azure OpenAI API
· ☕ 2 分钟
由于定价和限制会随时间变化,本文仅供撰写当前时间参考。 1. 术语 RPM (requests per minute) 每分钟请求次数 RPD (requests per day) 每天请求次数 TPM (tokens per minute) 每分钟 Token 数 TPD (tokens per day), 每天 Token 数 在 https://platform.openai.com/tokenizer 可以根据文本查询对应的 token 数。在 https://github.com/openai/tiktoken/blob/main/tiktoken/model.py 可以发现 text-embedding-ada-002 与 gpt-3.5、gpt-4 的词表都是 cl100k_bas