Skip to content

疑似classify类型数据有错误 #8

@wjfwzzc

Description

@wjfwzzc

以下现象在所有子集中都存在,以pCLUE_dev.json为例:

  1. 第9行的target是辅助工具,但answer_choices中没有该项;
  2. 第70行的target是电竞,但answer_choices中没有该项;
  3. 第150行的target是医疗服务,但answer_choices中没有该项;
  4. 第171行的target是休闲益智,但answer_choices中没有该项;
  5. ……

我简单统计了一下,在pCLUE_dev.json中,classify数据总共有44414条,其中5394条的target不在answer_choices中,占比约12%。
想问下这个问题官方能否修复一下?还是比较影响评测结果的。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions