张浩彬
(2024-05-31 07:31):
#paper doi：https://doi.org/10.48550/arXiv.2403.10131
RAFT: Adapting Language Model to Domain Specific RAG
简单但有效的思路。传统大模型变为领域 应用，我们可以微调也可以使用rag，但微软说，我们可以应该基于rag微调。RAFT 是一种将预训练的大型语言模型微调到特定领域 RAG 设置的通用方法。在特定领域 RAG 中，模型需要根据特定领域的一组文档回答问题，例如企业中的私有文件。这与通用 RAG 不同，因为通用 RAG 中的模型并不知道它将在哪个领域进行测试。简单来说，微调是闭卷考试，靠记忆回答。rag是开卷开始，虽然我没记忆，但是考试的时候可以翻书，那么raft就是开卷考试前，我还是先看了一下教科书，虽然没看全，但是大概知道考题长什么样子，但没关系，因为考试的时候我还可以翻书。