NLP - aigonna

深入理解注意力机制：MHA、MQA与GQA的演进与对比

NLP 深入理解注意力机制：MHA、MQA与GQA的演进与对比

在大语言模型 (LLM) 快速发展的今天，注意力机制 (Attention Mechanism) 始终是核心技…

cursor deepseek 配置使用

NLP cursor deepseek 配置使用

cursor 是真的下一代编辑器，比什么 IDE 强太多了。下载地址。默认使用 openai 的 api, …

GraphRAG 1 – 使用deepseek和embedding-2进行长文档问答

置顶 NLP GraphRAG 1 – 使用deepseek和embedding-2进行长文档问答

1. 为什么使用 RAG 大语言模型 (LLM) 虽然在海量数据上训练，但并不包含我们的私有数据。为了让 LL…

Reflection-Tuning 让开源模型（Llama 3.1 70B）超越Claude 3.5和GPT-4o

NLP Reflection-Tuning 让开源模型（Llama 3.1 70B）超越Claude 3.5和GPT-4o

最新更新，模型是 Llama 3.1 70B lora 微调，纯粹为了刷榜。实际使用上只是 reflectio…

MLOps 基础系列指南，附带Jupyter Notebook实验

NLP MLOps 基础系列指南，附带Jupyter Notebook实验

本系列旨在帮助您了解 MLOps 的基本概念和实践，包括模型构建、监控、配置、测试、打包、部署、CI/CD 等…

HivisionIDPhoto：智能证件照制作算法

NLP HivisionIDPhoto：智能证件照制作算法

HivisionIDPhoto 致力于开发一种实用的证件照智能制作算法，利用一套完善的模型工作流程，实现对多种…

Kotaemon：开源、可定制的RAG UI

NLP Kotaemon：开源、可定制的RAG UI

kotaemon rag UI 在 AI 和文档分析不断发展的世界中，拥有既强大又用户友好的工具至关重要。介绍…

开源Qwen2-VL模型发布：多模态大模型家族的新成员

NLP 开源Qwen2-VL模型发布：多模态大模型家族的新成员

昨晚，Qwen 团队正式开源了 Qwen2-VL 的 2B、7B 和 72B 模型，进一步增强了开源多模态大模…

torchchat中简单的对称量化实现

NLP torchchat中简单的对称量化实现

这里简单记录 dynamically_quantize_per_channel 中对称量化实现。更详细的量化知…

LLama3 model代码解析

NLP LLama3 model代码解析

源码来源于:meta-llama/llama3 1.RMSNorm RMSNorm（Root Mean Squ…