Transformer 学习笔记📅 2023年08月20日 · ☕ 4 分钟1. 为什么是 Transformer 全连接的自注意 以往的 RNN 模型,每个单词只能和邻近的单词产生联系,而 Transformer 模型中的 Attention 机制,单词可以和任意位置的单词产生联系,这样就可以捕捉到全局的上下文信息。 没有梯度消失问题 RNN 作用在同一个权值矩阵上,使得其最大的特征值小于 1 时,就会出现
影响使用大模型的技术因素📅 2023年08月19日 · ☕ 4 分钟1. 大模型到底是什么 先请两位大模型回答一下这个问题,看看他们的回答是什么。 Claude 说,大模型本质上是语言知识的概率表达,通过统计学习对语言各层次规律建模,表征语言生成的先验分布,从而具备语言预测生成能力。 ChatGPT 说,大模型本质是深度神经网络通过大量参数和
AI 基础知识点📅 2023年08月18日 · ☕ 6 分钟1. 关键字 机器学习(ML) 从数据中自动获取知识的技术 神经网络(NN) 模仿生物神经网络结构和学习机制的模型,是机器学习的分支之一 神经网络的结构包括,输入层、隐藏层、输出层 深度神经网络(DNN) 隐含层常常大于 2 层 DNN 的出众表现源于它使用统计学方法从
使用 OpenAI 和 Langchain 通过对话直接调用函数📅 2023年08月16日 · ☕ 5 分钟1. 大模型与 Langchain 很多人可能没有机会训练、甚至微调大模型,但对大模型的使用却是未来趋势。那么,我们应该如何拥抱这一变化呢?答案就是 Langchain。 大模型提供的是一种泛而通用的基础能力,目前,我看到的有两种主要落地方式: 基于生成能力的 AIGC,
GitHub Copilot Chat 使用📅 2023年07月04日 · ☕ 2 分钟1. 申请使用 GitHub Copilot Chat 申请链接 https://github.com/github-copilot/chat_waitlist_signup/join 申请通过之后,会收到一封邮件: 2. 什么是 VS Code insiders 什么是 VS Code insiders VS Code insiders 是 VS Code 的预览版本,提供一些最新的功能和改进,更新非常频繁。如果有更新强迫症,慎重使用,因为几乎每天都有更新。 VS Code 和 VS Code insiders 的区别 VS Code 的命令行是 code ,logo