1. 本地容器运行 启动 LLM 1 docker run --rm -p 8000:8000 shaowenchen/chinese-alpaca-2-7b-gguf:Q2_K 在 http://localhost:8000/docs 页面即可看到接口文档，如下图: 部署一个简单的 Chat UI 这里需要注意的是 OPENAI_API_HOST 参数，需要设置为你的宿主机 IP 地址，而不是 localhost 127.0.0.1，否则无法访问。 1 docker run -e OPENAI_API_HOST=http://{YOUR_HOST_IP}:8000 -e OPENAI_API_KEY=random -p 3000:3000 hubimage/chatbot-ui:main 页面效果如下: 2. K8s 快速部署 部署 LLM 应用 kubectl create

1. 大模型部署工具 llama.cpp 大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。 llama.cpp 主要解决的是推理过程

2024.06.26 已经下线 1. 申请到 GPT-4-32K API 了 之前在 Azure 上提交申请使用 GPT-4，前几天收到审核通过的邮件了。 价格收费如下: Context Length Prompt per 1,000 tokens (8k) Completion per 1,000 tokens (32k) 8k $0.03 $0.06 32k $0.06 $0.12 请求限速为 60K TPM，即每分钟最多能处理 60K 个 Tokens。 2. 使用方式 无需登录，直接访问 https://chatgpt.chenshaowen.com/ 点击设置 输入访问密

1. 配额限制 每种云上的资源，能用多少是有限制的。 这是云厂为了防止资源滥用，降低租户之间的相互影响。 比如，一个账户下的企业项目数、弹性主机的数量、弹性公网 IP 的数量、弹性公网 IP 带宽的大小等。 因配额不够导致的资源申请失败，很常见；但在弹性业务高峰期

1. 大模型与 Langchain 很多人可能没有机会训练、甚至微调大模型，但对大模型的使用却是未来趋势。那么，我们应该如何拥抱这一变化呢？答案就是 Langchain。 大模型提供的是一种泛而通用的基础能力，目前，我看到的有两种主要落地方式： 基于生成能力的 AIGC，