在大语言模型 (LLM) 快速发展的今天，注意力机制 (Attention Mechanism) 始终是核心技…

cursor 是真的下一代编辑器，比什么 IDE 强太多了。下载地址 。默认使用 openai 的 api, …

1. 为什么使用 RAG 大语言模型 (LLM) 虽然在海量数据上训练，但并不包含我们的私有数据。为了让 LL…

昨晚，Qwen 团队正式开源了 Qwen2-VL 的 2B、7B 和 72B 模型，进一步增强了开源多模态大模…

这里简单记录 dynamically_quantize_per_channel 中对称量化实现。更详细的量化知…

源码来源于:meta-llama/llama3 1.RMSNorm RMSNorm（Root Mean Squ…

Baichuan ChatGLM ChatGLM1 ChatGLM2 ChatGLM3 LLama Qwen …

1. 构建数据集 toy_finetune_data.jsonl： 具体来说可以使用召回和寻找困难样本来构建训…

1. llama.cpp 量化 qwen-14b 到 int4 先安装 llama.cpp，编译安装会比较久。…

1. 介绍 论文地址：Direct Preference Optimization: Your Languag…