lbpp

  • 説明：

Less Basic Python Programming は、単体テストを伴う 161 のプログラミング問題を集めたものです。これらは、新鮮であること (作成時に漏洩していないこと) と、同様のデータセット (HumanEval や MBPP など) よりも難しいことを目的として作成されました。これらのデータセットは同等の方法で構造化されているため、これらのデータセットのドロップイン置換または強化として機能します。

FeaturesDict({
    'categories': Sequence(Text(shape=(), dtype=string)),
    'completion': Text(shape=(), dtype=string),
    'instruction': Text(shape=(), dtype=string),
    'language': Text(shape=(), dtype=string),
    'signature': Text(shape=(), dtype=string),
    'task_id': Text(shape=(), dtype=string),
    'test_file': Text(shape=(), dtype=string),
    'test_list': Sequence(Text(shape=(), dtype=string)),
    'test_setup': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • 機能ドキュメント:
特徴クラス形Dタイプ説明
特徴辞書
カテゴリシーケンス(テキスト) （なし、）弦
完了文章弦
命令文章弦
言語文章弦
サイン文章弦
タスクID文章弦
テストファイル文章弦
テストリストシーケンス(テキスト) （なし、）弦
テストセットアップ文章弦
タイトル文章弦
@inproceedings{matton-etal-2024-leakage,
    title = "On Leakage of Code Generation Evaluation Datasets",
    author = "Matton, Alexandre  and
      Sherborne, Tom  and
      Aumiller, Dennis  and
      Tommasone, Elena  and
      Alizadeh, Milad  and
      He, Jingyi  and
      Ma, Raymond  and
      Voisin, Maxime  and
      Gilsenan-McMahon, Ellen  and
      Gall{\'e}, Matthias",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-emnlp.772/",
    doi = "10.18653/v1/2024.findings-emnlp.772",
    pages = "13215--13223",
}

lbpp/all (デフォルト設定)

  • 構成の説明: 多言語 LBPP

  • ダウンロードサイズ: 1.78 MiB

  • データセットのサイズ: 4.30 MiB

  • 分割:

スプリット例
'test' 944

lbpp/多言語対応

  • 構成の説明: 多言語 LBPP

  • ダウンロードサイズ: 1.78 MiB

  • データセットのサイズ: 4.30 MiB

  • 分割:

スプリット例
'test' 944

lbpp/デフォルト

  • 構成の説明: Python LBPP

  • ダウンロードサイズ: 279.90 KiB

  • データセットのサイズ: 627.04 KiB

  • 分割:

スプリット例
'test' 162

lbpp/Python

  • 構成の説明: Python LBPP

  • ダウンロードサイズ: 279.90 KiB

  • データセットのサイズ: 627.04 KiB

  • 分割:

スプリット例
'test' 162

lbpp/cpp

  • 構成の説明: C++ LBPP

  • ダウンロードサイズ: 314.45 KiB

  • データセットのサイズ: 761.87 KiB

  • 分割:

スプリット例
'test' 161

lbpp/号

  • 設定の説明: Go LBPP

  • ダウンロードサイズ: 317.09 KiB

  • データセットのサイズ: 687.23 KiB

  • 分割:

スプリット例
'test' 161

lbpp/java

  • 構成の説明: Java LBPP

  • ダウンロードサイズ: 337.90 KiB

  • データセットのサイズ: 887.40 KiB

  • 分割:

スプリット例
'test' 158

lbpp/js

  • 構成の説明: JavaScript LBPP

  • ダウンロードサイズ: 303.40 KiB

  • データセットのサイズ: 756.69 KiB

  • 分割:

スプリット例
'test' 153

lbpp/JavaScript

  • 構成の説明: JavaScript LBPP

  • ダウンロードサイズ: 303.40 KiB

  • データセットのサイズ: 756.69 KiB

  • 分割:

スプリット例
'test' 153

lbpp/錆

  • 構成の説明: JavaScript LBPP

  • ダウンロードサイズ: 272.61 KiB

  • データセットのサイズ: 684.31 KiB

  • 分割:

スプリット例
'test' 149