Исследователи из Тель-Авивского университета создали NLP-бенчмарк для больших текстов

Это набор тестов для NLP-нейросетей, который содержит длинные последовательности текстов из разных источников.

Дмитрий Зверев

Любитель научной фантастики и технологического прогресса. Хорошо сочетает в себе заумного технаря и утончённого гуманитария. Пишет про IT и радуется этому.

Специалисты из университета Тель-Авива, Meta AI, IBM Research и Allen AI разработали Standardized CompaRison Over Long Language Sequences — SCROLLS. Эта система позволяет пользователям проверять корректность и эффективность работы их NLP-сетей на больших текстах.

Авторы провели множество экспериментов — например, вопросно-ответный формат и суммирование текста — на семи различных наборах данных, которые содержали текстовые строки длиной в тысячи символов. Результаты описаны в статье на arXiv.

Главная цель SCROLLS — расширять возможности NLP-нейросетей и позволить разработчикам обрабатывать тексты гораздо большего размера. SCROLLS содержит различные наборы данных, которые моделируют разнообразные ситуации — от отчётов правительства до сценариев телепрограмм. Авторы утверждают:

Мы надеемся, что SCROLLS вдохновит NLP-сообщество идти за границы в несколько предложений или параграфов, а также позволит справляться с задачами обработки более длинных текстов.

Набор данных для SCROLLS доступен на сайте бенчмарка, а код для воспроизведения экспериментов из статьи — на GitHub.

Читайте также: