Работа с файлами
Работа с файлами осуществляется с помощью блоков:
- Сформировать CSV
- Архивировать
- Распаковать
- Извлечь текст из PDF
- Извлечь данные
- Конвертация файлов в PNG
- Создать файл из шаблона
- Загрузить в каталог
- Получить список файлов
- Получить CSV
- Скачать содержимое файла
- Удалить файл
Эти блоки могут использовать как локальное хранилище, так и внешние подключения — например, SMB-подключения.
При работе с блоками из категории Хранилище для каждого пространства создается специальная папка с именем в виде GUID (уникальный идентификатор) в рабочем каталоге Proceset в подкаталоге filestorage %ProgramData%\Infomaximum на ОС Windows и /var/lib/infomaximum/data/ внутри контейнера на ОС Linux.

Сформировать CSV
Блок создает CSV-файл из данных, полученных из предыдущих блоков.
Параметры:
- Колонки CSV:
- Имя колонки
- Данные для колонки (добавляются через маппинг; принимает файловые переменные и массив файлов)
- Добавлять заголовки колонок — если включено, первая строка будет содержать названия колонок
- Разделитель:
- Точка с запятой
- Запятая
- Прямая черта
- Косая черта
- Табуляция
- Пробел
- Другой (появляется поле для указания разделителя)

Сформированный файл можно архивировать и загрузить в каталог.
Архивировать
Блок архивирует один или несколько файлов в формат .gzip.
Файлы, которые необходимо архивировать, передаются в поле Файлы с помощью маппинга. Блок принимает отдельные файловые переменные через кнопку Добавить или массив файлов через кнопку fx.

Полученный архив можно загрузить в каталог и распаковать.
Прежняя версия блока, принимавшая файл через поле Содержимое файла, помечена устаревшей. Существующие скрипты продолжают работать, но в интерфейсе отображается предупреждение об устаревании.
Распаковать
Блок распаковывает GZIP-архивы.
Единственный параметр — Файлы (обязательный). Блок принимает один или несколько архивов: по одному через кнопку Добавить или массивом через кнопку fx. Из одного архива блок получает один файл, порядок выходных файлов соответствует порядку входных.
Имя распакованного файла берется из поля file_name архива.

Блок возвращает массив объектов, у каждого объекта — поля file_name, file_content, file_size.
Тексты ошибок:
- Пустой массив или отсутствие файлов на входе — Файлы для распаковки не найдены
- Файл не в формате GZIP — Некорректный формат входящего файла: требуется файл формата gz
Прежняя версия блока, принимавшая архив через поле Содержимое файла с ручным указанием имени и расширения, помечена устаревшей. Существующие скрипты продолжают работать без изменений, так как эта версия принимает только одиночный файл через поле Содержимое файла — ее работоспособность не зависит от новой версии блока. В интерфейсе отображается предупреждение об устаревании. При замене на новую версию маппинги из прежней версии автоматически не переносятся — их нужно настроить заново. Заменять блок без необходимости не требуется: замена нужна, когда требуется принять и распаковать сразу несколько архивов за один проход (пакетная обработка), а не поодиночке.
Извлечь текст из PDF
Блок извлекает текст из PDF-файлов. Текст на изображениях и сканах блок не распознает.
Файлы передаются в поле PDF-файл: по одному через кнопку Добавить или массивом через кнопку fx.

Блок возвращает массив объектов — по одному на каждый входной файл. Поля объекта:
source— имя файлаstatus—trueдля успешно обработанных,falseдля нечитаемых (скан или поврежденный файл)text— извлеченный текст. Для нечитаемых файлов возвращается пробел (" ")
Нечитаемый файл в наборе не прерывает обработку остальных. После выполнения проблемные файлы можно отфильтровать по значению status.
Если передан пустой массив, блок возвращает ошибку Массив файлов пуст.
Скрипты, в которых файл передается в блок через поле content, работают без изменений — переносить маппинг не нужно.
Прежняя версия блока помечена устаревшей. Существующие скрипты продолжают работать. Это единственный из файловых блоков, где при обновлении входной маппинг content/file_content переносится в новую версию автоматически — остальные настройки и ссылки на прежнее выходное поле PDF_text нужно заменить вручную на result.text. Заменять блок без необходимости не требуется: замена нужна, если требуется обработать массив файлов за один проход.
Если нужно извлечь не только текст, но и изображения, или работать с форматами DOC(X), HTML, XML, TXT, JSON, RTF, используйте блок Извлечь данные.
Извлечь данные
Блок извлекает текст и изображения из файлов различных форматов для дальнейшего использования, например анализа нейросетью.
Поддерживаемые форматы: CSV, HTML, XML, TXT, JSON, RTF, PDF, DOC(X). Максимальный размер файла — 4 Гб.
Файлы передаются в поле Содержимое: по одному через кнопку Добавить или массивом через кнопку fx.

Блок возвращает массив объектов — по одному на каждый входной файл. Поля объекта:
source— имя файлаtext— извлеченный текстimages— массив извлеченных изображений в формате PNG с именамиreport_1.png,report_2.pngи т. д.
Если файл поврежден, блок прерывает выполнение с ошибкой Файл поврежден. Проверьте целостность документа и повторите попытку. Если передан пустой массив — ошибка Файлы для извлечения не найдены.
Отличие от Извлечь текст из PDF:
| Извлечь текст из PDF | Извлечь данные | |
|---|---|---|
| Форматы | Только PDF | CSV, HTML, XML, TXT, JSON, RTF, PDF, DOC(X) |
| Что извлекает | Только текст | Текст и изображения (PNG) |
| Нечитаемый файл в наборе | Не прерывает обработку, в поле status — false | Прерывает выполнение |
Конвертация файлов в PNG
Блок конвертирует файлы в изображения формата PNG.
Поддерживаемые форматы: CSV, HTML, HTM, XML, TXT, JSON, RTF, PDF, DOC(X). Максимальный размер файла — 4 Гб.
Параметры блока:
- Содержимое — один файл, несколько файлов через кнопку Добавить или массив через кнопку
fx - Качество изображений (обязательное) — Высокое (300 DPI) или Среднее (150 DPI), по умолчанию — Среднее (150 DPI)
- Постраничная конвертация — переключатель. Если он включен, каждая страница файла конвертируется в отдельное изображение, а номер страницы добавляется в конец имени файла

Блок всегда возвращает массив images, даже если на входе был один файл. Каждый элемент массива содержит поле source (имя исходного файла) и поле с PNG-изображением.
К имени выходного файла добавляется формат исходного: sample.pdf → sample_pdf.png. При постраничной конвертации добавляется еще и номер страницы: sample_pdf_1.png, sample_pdf_2.png.
Создать файл из шаблона
Блок создает файл по шаблону формата JRXML JasperReports 7, подставляя в него данные из скрипта. Заполнение существующего файла XLSX, DOCX или PDF не поддерживается.
Параметры блока:
- Шаблон (обязательное) — шаблон JRXML
- JSON-объект с данными (обязательное) — данные для подстановки в шаблон
- Формат (обязательное) — формат выходного файла: PDF, DOCX или XLSX
- Имя файла (обязательное) — имя создаваемого файла

Подготовка шаблона
Шаблон создается в редакторе отчетов, который поддерживает JRXML (например, Jaspersoft Studio). В шаблоне объявите параметры для подстановки отдельных значений и, если требуется вывести таблицу с несколькими строками, — набор данных (dataset). Имена параметров и полей набора данных используются при подготовке JSON-объекта с данными.
Заполнение поля «Шаблон»
В поле Шаблон передайте шаблон одним из двух способов:
- Файловым объектом через маппинг
- XML-кодом шаблона текстом
При передаче через маппинг выбирайте файловый объект file целиком, а не поле file_content — маппинг file_content приводит к ошибке типа create_file_field_must_be_string. Например:
- При ручном запуске скрипта с полем типа Файл с именем
fileвыберите в маппинге1.file - При скачивании шаблона блоком Скачать содержимое файла по SMB или SFTP выберите в маппинге файловый объект результата блока (например,
2.file), а не вложенное поле2.file.file_content
Подготовка JSON-объекта с данными
JSON-объект с данными можно передать строкой, в том числе результатом запроса из SQL-блока.
Каждый ключ верхнего уровня JSON-объекта соответствует параметру, объявленному в шаблоне. Например, ключу message соответствует параметр шаблона message, а для вывода его значения в шаблоне используется выражение $P{message}.
Для каждого параметра, объявленного в шаблоне, в JSON-объекте должен присутствовать соответствующий ключ. Тип значения в JSON-объекте должен совпадать с типом параметра, объявленным в шаблоне: например, числовое значение нельзя передать параметру, объявленному с классом java.lang.String.
Значение null в параметре верхнего уровня JSON-объекта приводит к ошибке выполнения. Не передавайте пустые значения в параметрах: для параметров с типом java.lang.String используйте пустую строку ("").
Вывод нескольких строк
Чтобы вывести в документе таблицу с несколькими строками, передайте в JSON-объекте массив объектов и объявите в шаблоне набор данных, источником которого служит этот массив. Внутри набора данных для вывода значения поля каждого объекта массива используется выражение $F{имя_поля}, где имя_поля соответствует ключу объекта в массиве.
Блок поддерживает массивы объектов с простыми значениями полей (строки, числа, логические значения). Вложенные объекты и массивы внутри полей не поддерживаются.
Прямые ссылки на параметры и поля ($P{…}, $F{…}) поддерживаются. Выражение с конкатенацией строк не компилируется — используйте отдельные выражения $P{…} и $F{…} без конкатенации.
Пример
Рассмотрим пример формирования файла по шаблону с одним текстовым параметром.
Все файлы примера собраны в одном архиве . В нем находятся шаблон template_message.jrxml, SQL-запрос select_message_ok.sql и ожидаемый результат template_test_WORKING_MIN_d260603.xlsx.
Скрипт состоит из трех блоков:
- Ручной запуск — добавим поле типа Файл с именем
fileи загрузим в него шаблонtemplate_message.jrxmlиз архива. В шаблоне объявлен параметр:
<parameter name="message" class="java.lang.String"/>
Для вывода параметра в шаблоне используется выражение $P{message}.
- SQL-запрос — выполним запрос:
SELECT '{"message":"OK"}' AS test
- Создать файл из шаблона — настроим параметры:
| Поле | Значение |
|---|---|
| Шаблон | Маппинг 1.file |
| JSON-объект с данными | Маппинг 2.test |
| Формат | XLSX |
| Имя файла | template_test |
После запуска теста всего скрипта блок создаст файл template_test.xlsx с заголовком Template test и значением OK. Для сравнения используйте файл template_test_WORKING_MIN_d260603.xlsx из архива.
Проверка и получение результата
Чтобы получить заполненный документ, запустите тест всего скрипта и передайте результат работы блока в следующий блок, например Загрузить в каталог.
При отдельном тестировании блока, если шаблон передан файловым объектом, блок может вернуть пустой файл без формирования документа. Чтобы проверить результат подстановки данных в шаблон, тестируйте весь скрипт целиком.
Возможные ошибки
- В поле Шаблон передано значение
file_contentвместо файлового объекта — блок возвращает ошибку create_file_field_must_be_string. Выберите в маппинге файловый объект целиком - В поле Шаблон передан файл, не соответствующий формату JRXML, например готовый XLSX — проверьте, что в поле передан шаблон в формате JRXML
- В JSON-объекте отсутствует ключ для параметра, объявленного в шаблоне — проверьте соответствие ключей JSON-объекта параметрам шаблона
- Тип значения в JSON-объекте не совпадает с типом параметра, объявленным в шаблоне — приведите значение к объявленному типу параметра
- В JSON-объекте используется неподдерживаемая структура данных, например вложенный объект внутри элемента массива — упростите структуру JSON-объекта до простых значений полей
Загрузить в каталог
Блок создает файл и загружает его в указанный каталог в любом заданном формате.
Параметры блока:
- Путь к файлу — для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к создаваемому файлу необходимо указывать с названием и расширением файла. Например, /имяпапки/имяфайла.csv. При загрузке архива укажите расширение .gzip. Путь также можно указать с помощью маппинга — в этом случае рядом с полем укажите расширение
- Содержимое файла (используются только поля маппинга). Может содержать:
- Текст
- Текст и теги маппинга. Содержимое должно быть однородно, невозможно совместить картинку и текст
- Теги маппинга. Содержимое должно быть однородно, невозможно совместить картинку и текст
- Файловый объект (
file_object), полученный из другого блока
Не указывайте в поле Путь к файлу у блока Загрузить в каталог из группы Хранилище одиночный символ / без имени файла — в этом случае блок будет считаться ненастроенным, и файл не будет создан.

Загрузить файл возможно только при запуске всего скрипта, так как данные поступают от предыдущих блоков. При одиночном тестировании блока создается пустой файл без содержимого.
Прежняя версия блока, в которой поле Путь к файлу указывалось с именем файла, а содержимое передавалось только через Содержимое файла с плоским (не вложенным) результатом, помечена устаревшей. Существующие скрипты с этой версией продолжают работать без изменений — заменять блок не обязательно. Новая версия, описанная выше, принимает один или несколько файловых объектов через поля file_sources/file_source_arr, а в поле Путь к файлу указывается только каталог, без имени файла; результат возвращается массивом results[]. При замене блока маппинги из прежней версии автоматически не переносятся — их нужно настроить заново. Замена нужна для перехода на новый контракт данных (file_object) и для пакетной загрузки нескольких файлов за один проход.
Получить список файлов
Блок получает список файлов, их характеристики и информацию о каталоге.
В поле Путь к каталогу для блоков пакета Хранилище укажите путь относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Для ввода пути можно использовать как поля маппинга, так и текст. Чтобы указать несколько путей, нажмите Добавить под полем — каждый путь занимает отдельную строку с кнопкой удаления.
Дополнительные параметры:
- Искать во вложенных папках — при включении поиск идет в указанной папке и всех вложенных, маска применяется на всех уровнях
- Только файлы — при включении в результат попадают только файлы, без папок. Поиск во вложенных папках продолжает работать, если он включен
Оба переключателя по умолчанию выключены.
Маски имени файла
В конце пути можно указать маску имени файла для фильтрации. Маска допустима только в имени файла — если указать ее в середине пути, скрипт не пройдет проверку и не запустится (ошибка Маска допустима только в имени файла; укажите путь хотя бы с одним «/»).
Поддерживаемые символы:
| Символ | Что значит | Пример |
|---|---|---|
* | Любая последовательность символов | *.pdf — все PDF-файлы |
? | Один любой символ | file?.txt — file1.txt, fileA.txt |
[bt] | Один символ из набора | [bt]est.csv — best.csv или test.csv |
[a-z] | Один символ из диапазона | [a-z]*.csv |
[!a] | Один символ, кроме указанного | [!a]*.txt — файлы, не начинающиеся на «a» |
{*.pdf,*.doc} | Альтернация — одно из перечисленных через запятую | {*.pdf,*.doc} — все PDF и DOC |
Маска учитывает регистр: по маске *.PDF файлы с расширением .pdf в результат не попадут. Фигурные скобки работают как альтернация только с запятой внутри — по маске {*.pdf} результат будет пустым. Рекурсивный обход вложенных папок включается переключателем Искать во вложенных папках, а не маской **.
Если по маске нет совпадений, блок возвращает пустой список без ошибки.

Блок возвращает массив записей метаданных, каждая из которых содержит поля:
name(String) — имя файла или каталогаfull_path(String) — полный путь к файлу или каталогуsize(Long) — размер файла или каталога в байтахpermissions(String) — права пользователя на файл или каталог в виде последовательности символов: доступ на чтение, запись и выполнение для владельца, группы и остальных пользователей. Если доступ отсутствует, вместо символа отображается прочеркowner(String) — владелец файла или каталогаgroup(String) — группа, к которой относится владелец файла или каталогаmodification_time(DateTime) — время последнего изменения файла или каталогаdirectory(Boolean) —trueдля папок,falseдля файлов
Элемент результата — это запись метаданных, а не полный файловый объект (file_object): файлового содержимого (file_content) в нем нет, только характеристики и путь full_path. Полный файловый объект с содержимым появляется после выполнения блока Скачать содержимое файла, в который из этого блока передается full_path.
Пример маппинга цепочки блоков:
- В блоке Получить список файлов включите Только файлы, чтобы в результат попали только записи о файлах.
- В блоке Скачать содержимое файла в поле Путь к файлу через маппинг выберите переменную Получить список файлов → full_path. Поле принимает одну переменную
full_path; для каждой записи списка файлов она подставляется отдельно, независимо от переключателя Массив. - Переключатель Массив определяет только то, как блок собирает результат скачивания, а не содержимое поля Путь к файлу. Если переключатель выключен, каждая запись обрабатывается отдельно, и для каждой из них блок возвращает отдельный результат
file(поляfile_name,file_size,file_content). Если переключатель включен, блок скачивает файлы по всем входным записям и собирает их в одну запись с массивомfiles.

Получить CSV
С помощью блока можно получить CSV-файл из указанного каталога.
Параметры блока:
- Путь к файлу (для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к файлу необходимо указывать с названием и расширением файла)
- Таблица содержит заголовок (определяет наличие/отсутствие заголовка таблицы)
- Имена столбцов (колонки можно менять местами, удерживая нужную и перетаскивая вниз или вверх):
- Имя колонки
- Тип (строка, число, дробное число, дата и время, логический тип, большое целое число)
- Загрузить пример (позволяет загрузить CSV-файл для автоматического добавления колонок. При нажатии кнопки открывается модальное окно для загрузки файла):
- Типы данных определяются автоматически, можно изменить
- Загрузка новой схемы заменяет предыдущую
- Сохранить настройки парсинга (параметры передаются в настройки блока)
- Настройка парсинга:
- Разделитель (символ, разделяющий значения на элементы в CSV):
- Точка с запятой
- Запятая
- Прямая черта
- Косая черта
- Табуляция
- Пробел
- Другой (появляется поле для указания разделителя)
- Квалификатор (символ, обрамляющий значения элементов в CSV):
- Одиночные кавычки
- Двойные кавычки
- Локаль (будет применена при парсинге значений из CSV. Выбирается из списка)
- Кодировка (будет применена при разборе байтового потока файла. Выбирается из списка)

Загрузка примера
Для автоматического добавления колонок можно загрузить пример CSV-файла. Для этого нажмите Загрузить пример справа от заголовка Имена столбцов. Откроется модальное окно для загрузки файла.

Выберите файл и нажмите Продолжить.
Откроется окно предпросмотра, в котором можно сменить разделитель, квалификатор, локаль, кодировку и типы данных колонок. Если поставить галочку у параметра Сохранить настройки парсинга, настройки скопируются в параметры блока. Для завершения загрузки нажмите кнопку Применить.

Столбцы автоматически добавились, заменив предыдущие.

- Максимальный размер файла — 20 МБ
- Загрузка новой схемы заменяет предыдущую
- Если указаны типы, которые не соответствуют данным, появляется ошибка
- При попытке загрузить пустой файл отобразится ошибка, что файл пуст, окно предпросмотра не откроется
- Количество колонок в заголовке и количество колонок в самой таблице должны совпадать, иначе появится ошибка
- Если в одной и той же колонке встречаются разные типы данных, например, Строка и Число, все значения данной колонки конвертируются в строки
- Если пример CSV-файла состоит из одной строки, все колонки таблицы будут с типом Строка
- Все пустые значения или значения, где явно прописано null, будут с типом Строка
Скачать содержимое файла
Блок скачивает файл из каталога, указанного в поле Путь к файлу. Для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к файлу необходимо указывать с названием и расширением файла. Пример: /имяпапки/имяфайла.csv. Путь можно ввести вручную или использовать маппинг. Максимальный размер скачиваемого файла — 52,5 МБ.
Чтобы скачать сразу несколько файлов, включите переключатель Массив и укажите в поле Путь к файлу переменную пути через маппинг — для каждой входной записи она подставляется отдельно. Скачанные файлы блок вернет одним массивом files. При выключенном переключателе каждая запись обрабатывается отдельно, а результат доступен как file.

Файл, скачанный с помощью этого блока, сохраняется в буфере и может многократно использоваться в других блоках для работы с файлами без повторных обращений к хранилищу.
Удалить файл
Блок удаляет файл из каталога, указанного в поле Путь к файлу. Для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к файлу необходимо указывать с названием и расширением файла. Пример: /имяпапки/имяфайла.csv. Путь можно ввести вручную или использовать маппинг.

Была ли статья полезна?