lbpp

  • Tanım :

Daha Az Temel Python Programlama, birim testlerle birlikte 161 programlama probleminin bir koleksiyonudur. Yeni olmaları (oluşturulma sırasında sızdırılmamaları) ve benzer veri kümelerinden (örn. HumanEval ve MBPP) daha zor olması amacıyla oluşturulmuştur. Eşdeğer bir şekilde yapılandırıldıkları için bu veri kümelerinin anında değiştirilmesi veya zenginleştirilmesi görevi görebilir.

FeaturesDict({
    'categories': Sequence(Text(shape=(), dtype=string)),
    'completion': Text(shape=(), dtype=string),
    'instruction': Text(shape=(), dtype=string),
    'language': Text(shape=(), dtype=string),
    'signature': Text(shape=(), dtype=string),
    'task_id': Text(shape=(), dtype=string),
    'test_file': Text(shape=(), dtype=string),
    'test_list': Sequence(Text(shape=(), dtype=string)),
    'test_setup': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
kategoriler Sıra(Metin) (Hiçbiri,) sicim
tamamlama Metin sicim
talimat Metin sicim
dil Metin sicim
imza Metin sicim
görev_id Metin sicim
test_dosyası Metin sicim
test_listesi Sıra(Metin) (Hiçbiri,) sicim
test_setup Metin sicim
başlık Metin sicim
@inproceedings{matton-etal-2024-leakage,
    title = "On Leakage of Code Generation Evaluation Datasets",
    author = "Matton, Alexandre  and
      Sherborne, Tom  and
      Aumiller, Dennis  and
      Tommasone, Elena  and
      Alizadeh, Milad  and
      He, Jingyi  and
      Ma, Raymond  and
      Voisin, Maxime  and
      Gilsenan-McMahon, Ellen  and
      Gall{\'e}, Matthias",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-emnlp.772/",
    doi = "10.18653/v1/2024.findings-emnlp.772",
    pages = "13215--13223",
}

lbpp/tümü (varsayılan yapılandırma)

  • Yapılandırma açıklaması : Çok dilli LBPP

  • İndirme boyutu : 1.78 MiB

  • Veri kümesi boyutu : 4.30 MiB

  • Bölünmeler :

Bölmek Örnekler
'test' 944

lbpp/çok dilli

  • Yapılandırma açıklaması : Çok dilli LBPP

  • İndirme boyutu : 1.78 MiB

  • Veri kümesi boyutu : 4.30 MiB

  • Bölünmeler :

Bölmek Örnekler
'test' 944

lbpp/varsayılan

  • Yapılandırma açıklaması : Python LBPP

  • İndirme boyutu : 279.90 KiB

  • Veri kümesi boyutu : 627.04 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 162

lbpp/python

  • Yapılandırma açıklaması : Python LBPP

  • İndirme boyutu : 279.90 KiB

  • Veri kümesi boyutu : 627.04 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 162

lbpp/cpp

  • Yapılandırma açıklaması : C++ LBPP

  • İndirme boyutu : 314.45 KiB

  • Veri kümesi boyutu : 761.87 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 161

lbpp/git

  • Yapılandırma açıklaması : LBPP'ye git

  • İndirme boyutu : 317.09 KiB

  • Veri kümesi boyutu : 687.23 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 161

lbpp/java

  • Yapılandırma açıklaması : Java LBPP

  • İndirme boyutu : 337.90 KiB

  • Veri kümesi boyutu : 887.40 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 158

lbpp/js

  • Yapılandırma açıklaması : JavaScript LBPP

  • İndirme boyutu : 303.40 KiB

  • Veri kümesi boyutu : 756.69 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 153

lbpp/javascript

  • Yapılandırma açıklaması : JavaScript LBPP

  • İndirme boyutu : 303.40 KiB

  • Veri kümesi boyutu : 756.69 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 153

lbpp/pas

  • Yapılandırma açıklaması : JavaScript LBPP

  • İndirme boyutu : 272.61 KiB

  • Veri kümesi boyutu : 684.31 KiB

  • Bölünmeler :

Bölmek Örnekler
'test' 149