-
Notifications
You must be signed in to change notification settings - Fork 278
Open
Description
作者您好,
在阅读您的文章并复现实验时遇到了一些问题,想向您请教一下。文中 LLaMA-2-7B 在 Lambada 数据集上的准确率达到 0.88 以上,但我在相同模型的 baseline 设置下对 Lambada 进行评测时,准确率只有约 0.73。
想请问:
您在实验中是否对数据集做过额外的处理或采用了不同的评测方式?
如果方便的话,能否提供您使用的数据集链接?
另外,我注意到表格中写的是 “Lambda”,不确定是否与 Lambada 数据集相同。
我目前使用的数据集为:
https://huggingface.co/datasets/EleutherAI/lambada_openai
希望能够与您的实验设置对齐,非常感谢您的耐心指点!
祝好,
Haoren
Metadata
Metadata
Assignees
Labels
No labels