Программные продукты и системы

Существует большое количество коммерческих и открытых программных средств, позволяющих производить OCR для документов и книг. При этом большинство таких систем хорошо справляются с переводом языковых токенов (отдельных слов и фрагментов предложений) в редактируемый текст, но имеют большое количество ошибок при распознавании и воспроизведении структуры (таблиц, абзацев, колонок), связанных с особенностями типографской верстки. Причем большинство исследователей в качестве основного инструмента распознавания используют нейросетевые модели, применяемые с различной степенью качества. Например, в одной из работ приведена одна из возможных реализаций решения задачи автоматизированного распознавания сущностей, основанная на дообучении языковой модели на архитектуре BERT, подключенной к библиотеке Spacy с использованием Spacy Transformers. Подобные нейросетевые инструменты ограниченно применимы в ситуациях, когда требуется точное соответствие извлекаемых данных структуре документа, поскольку разрабатываемый портал должен отвечать требованиям энциклопедичности и академичности.

Подробное описание дается в статье "Гибридный подход к выделению структурированных данных из «Летописи жизни и творчества А.С. Пушкина»", авторы Кокорин П.П.,  Котов А.А., Кулешов С.В.,  Зайцева А.А. (Санкт-Петербургский федеральный исследовательский центр РАН, г. Санкт-Петербург).