🗒️大模型问题随手记

type
status
date
slug
summary
tags
category
icon
password
👉
随手记录一些大模型的问题，方便后续进行回归

问题

  1. 大模型的scaling saw的计算逻辑，以及如何指导进行模型优化
  1. 大模型的tokens如何进行分词的，以及模型与词表的分离，不同模型适配不同的词表，或者扩展词表
  1. 大模型的context上下文窗口是怎么理解的？
  1. RAG从理论到实战，理论上的细节，例如分片，emb和检索
  1. Agent的原理与实战设计
  1. llama系列模型原理探索
  1. 大模型的RLHF以及后训练，dpo，ppo
  1. alpaca格式的数据集
  1. Axolotl微调框架
  1. 各种微调方式，qlora，lora等
  1. 模型量化与剪枝
  1. rope，flash attention，mhq
  1. 大模型评价指标用哪些
大模型中的Scaling LawLeetCode常用C++语法
  • Twikoo