Descrizione
Istella22 permette di confrontare metodi Learning to Rank basati su caratteristiche strutturate e approcci neurali basati su modelli linguistici preaddestrati. Comprende il testo delle query e dei documenti insieme ai vettori di caratteristiche query-documento utilizzati da un motore di ricerca industriale.
- 8,4 milioni di documenti web
- 220 caratteristiche per coppia query-documento
- 2.198 query testuali di test
- Giudizi di rilevanza su cinque livelli
Pubblicazione da citare
Se utilizzi questo dataset nella tua ricerca, riconosci il contributo di Istella SpA e cita la seguente pubblicazione:
Domenico Dato, Sean MacAvaney, Franco Maria Nardini, Raffaele Perego, Nicola Tonellotto. 2022. The Istella22 Dataset: Bridging Traditional and Neural Learning to Rank Evaluation. Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 10.1145/3477495.3531740.
BibTeX
@inproceedings{istella22,
author = {Domenico Dato and Sean MacAvaney and Franco Maria Nardini and Raffaele Perego and Nicola Tonellotto},
title = {The Istella22 Dataset: Bridging Traditional and Neural Learning to Rank Evaluation},
booktitle = {Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval},
year = {2022},
doi = {10.1145/3477495.3531740},
url = {https://doi.org/10.1145/3477495.3531740},
pages = {3099--3107},
}
Download
Il dataset è disponibile esclusivamente per uso non commerciale. Leggi e accetta la licenza prima di scaricare i file. Leggi la licenza.
Supplemento opzionale: identificativi dei documenti
Aggiunta di maggio 2023. Il file test-svm-docIds.gz (7,67 MB) contiene gli identificativi dei documenti delle coppie query-documento in test.svm, nello stesso ordine delle righe. Usalo insieme al dataset Istella22 per collegare gli esempi di test ai documenti del corpus.