Skip to content

文章的lambada数据集 #310

@GuoHaoren

Description

@GuoHaoren

作者您好,

在阅读您的文章并复现实验时遇到了一些问题,想向您请教一下。文中 LLaMA-2-7B 在 Lambada 数据集上的准确率达到 0.88 以上,但我在相同模型的 baseline 设置下对 Lambada 进行评测时,准确率只有约 0.73。

想请问:

您在实验中是否对数据集做过额外的处理或采用了不同的评测方式?

如果方便的话,能否提供您使用的数据集链接?

另外,我注意到表格中写的是 “Lambda”,不确定是否与 Lambada 数据集相同。
我目前使用的数据集为:
https://huggingface.co/datasets/EleutherAI/lambada_openai

希望能够与您的实验设置对齐,非常感谢您的耐心指点!

祝好,
Haoren

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions