Как это работает
SigPhi отвечает на основе первичных источников общественного достояния и сохраняет связь каждого ответа с найденными фрагментами.
Происхождение текстов
Корпус объединяет издания общественного достояния из Project Gutenberg, Wikisource, Internet Archive и других открытых хранилищ. В Библиотеке указаны автор, произведение, язык и доступные редакционные примечания. Биографии служат только контекстом и не цитируются. Сами тексты никогда не изменяются: очистка удаляет только следы печати, оставшиеся после сканирования, — номера страниц, колонтитулы, слова, разорванные переносом, — но ни единого слова текста, и разные издания никогда не сшиваются без указания на это.
Разбиение и индексирование
Тексты нормализуются и делятся на перекрывающиеся фрагменты, чтобы контекст не терялся на границах между ними. Каждый фрагмент хранит автора, произведение, язык и предупреждения об авторстве или полноте. Поиск сочетает семантическое сходство и совпадение слов, а затем отбирает фрагменты, которые получает модель.
Что означает «проверяемая цитата»
Цитата в чате публикуется, только если проходит проверки, не зависящие от модели: фраза, на которую она опирается, должна дословно присутствовать в найденном отрывке, автор и произведение в скобках должны быть теми же, что у этого отрывка, а всё, что читатель видит в кавычках, должно находиться в каком-либо отрывке. Второе, автоматическое прочтение проверяет, что утверждение из него следует, и может ошибаться. Глава или раздел определяются по реальному положению цитаты в издании и не показываются, если не указаны. Если часть ответа нельзя подкрепить, её цитата снимается, и об этом говорит примечание. Открыв источник, можно увидеть фрагмент с выделенным доказательством, контекст до и после и ссылку на отрывок в читалке. В проверке цитат отрывок самого автора и отрывки других авторов, приводящих фразу, показываются отдельно, каждый со своей ссылкой; «не найдено» не значит «ложно».
Языки и переводы
Ответ создаётся на языке вопроса и может переводить или пересказывать смысл фрагмента. В указателе цитат SigPhi предлагает созданный перевод на язык страницы, а непосредственно под ним показывает текст включённого издания. Созданный перевод не является опубликованным изданием; исторические переводы отмечены в каталоге.
Издания и повторяющиеся произведения
Одно произведение может присутствовать на разных языках, в переводах, томах или изданиях. SigPhi хранит их отдельно для прослеживаемости. При одинаковом переводном названии показываются оригинальное название и язык. Цитата всегда указывает на издание, которое действительно использовалось, — оригинал или перевод — и говорит об этом: без явного сопоставления двух текстов она не заменяется другим изданием. Приоритет оригинала — это правило о том, что входит в корпус, а не автоматическое перенаправление цитат.
Ограничения и исправления
Оцифрованные тексты могут содержать ошибки OCR, неполные метаданные или неточное деление. Ответ также может неверно истолковать фрагмент. Оценить ответ можно кнопками в чате, а под каждым ответом — или из фрагмента цитаты — сообщить о конкретной проблеме: причину, затронутую цитату и комментарий; перед отправкой видно, что именно будет отправлено. Состояние текста на странице каждого произведения указывает, получено ли оно автоматической оценкой — она находит мусор сканирования, но не ошибочно прочитанные слова, похожие на слова, — или ручной проверкой. Учебная тетрадь хранит фрагменты и заметки только в этом браузере: заметки принадлежат читателю, и SigPhi никогда не использует их как источник.
Нашли конкретную ошибку?