Работа с файлами
Документация
Главная

Работа с файлами

Работа с файлами осуществляется с помощью блоков:

Эти блоки могут использовать как локальное хранилище, так и внешние подключения — например, SMB-подключения.

При работе с блоками из категории Хранилище для каждого пространства создается специальная папка с именем в виде GUID (уникальный идентификатор) в рабочем каталоге Proceset в подкаталоге filestorage %ProgramData%\Infomaximum на ОС Windows и /var/lib/infomaximum/data/ внутри контейнера на ОС Linux.

Пример каталога в Windows

Сформировать CSV

Блок создает CSV-файл из данных, полученных из предыдущих блоков.

Параметры:

  • Колонки CSV:
    • Имя колонки
    • Данные для колонки (добавляются через маппинг; принимает файловые переменные и массив файлов)
  • Добавлять заголовки колонок — если включено, первая строка будет содержать названия колонок
  • Разделитель:
    • Точка с запятой
    • Запятая
    • Прямая черта
    • Косая черта
    • Табуляция
    • Пробел
    • Другой (появляется поле для указания разделителя)

Сформировать CSV

Сформированный файл можно архивировать и загрузить в каталог.

Архивировать

Блок архивирует один или несколько файлов в формат .gzip.

Файлы, которые необходимо архивировать, передаются в поле Файлы с помощью маппинга. Блок принимает отдельные файловые переменные через кнопку Добавить или массив файлов через кнопку fx.

Архивировать

Полученный архив можно загрузить в каталог и распаковать.

Заметка

Прежняя версия блока, принимавшая файл через поле Содержимое файла, помечена устаревшей. Существующие скрипты продолжают работать, но в интерфейсе отображается предупреждение об устаревании.

Распаковать

Блок распаковывает GZIP-архивы.

Единственный параметр — Файлы (обязательный). Блок принимает один или несколько архивов: по одному через кнопку Добавить или массивом через кнопку fx. Из одного архива блок получает один файл, порядок выходных файлов соответствует порядку входных.

Имя распакованного файла берется из поля file_name архива.

Распаковать

Блок возвращает массив объектов, у каждого объекта — поля file_name, file_content, file_size.

Тексты ошибок:

  • Пустой массив или отсутствие файлов на входе — Файлы для распаковки не найдены
  • Файл не в формате GZIP — Некорректный формат входящего файла: требуется файл формата gz
Заметка

Прежняя версия блока, принимавшая архив через поле Содержимое файла с ручным указанием имени и расширения, помечена устаревшей. Существующие скрипты продолжают работать без изменений, так как эта версия принимает только одиночный файл через поле Содержимое файла — ее работоспособность не зависит от новой версии блока. В интерфейсе отображается предупреждение об устаревании. При замене на новую версию маппинги из прежней версии автоматически не переносятся — их нужно настроить заново. Заменять блок без необходимости не требуется: замена нужна, когда требуется принять и распаковать сразу несколько архивов за один проход (пакетная обработка), а не поодиночке.

Извлечь текст из PDF

Блок извлекает текст из PDF-файлов. Текст на изображениях и сканах блок не распознает.

Файлы передаются в поле PDF-файл: по одному через кнопку Добавить или массивом через кнопку fx.

Извлечь текст из PDF

Блок возвращает массив объектов — по одному на каждый входной файл. Поля объекта:

  • source — имя файла
  • status — true для успешно обработанных, false для нечитаемых (скан или поврежденный файл)
  • text — извлеченный текст. Для нечитаемых файлов возвращается пробел (" ")

Нечитаемый файл в наборе не прерывает обработку остальных. После выполнения проблемные файлы можно отфильтровать по значению status.

Если передан пустой массив, блок возвращает ошибку Массив файлов пуст.

Скрипты, в которых файл передается в блок через поле content, работают без изменений — переносить маппинг не нужно.

Заметка

Прежняя версия блока помечена устаревшей. Существующие скрипты продолжают работать. Это единственный из файловых блоков, где при обновлении входной маппинг content/file_content переносится в новую версию автоматически — остальные настройки и ссылки на прежнее выходное поле PDF_text нужно заменить вручную на result.text. Заменять блок без необходимости не требуется: замена нужна, если требуется обработать массив файлов за один проход.

Если нужно извлечь не только текст, но и изображения, или работать с форматами DOC(X), HTML, XML, TXT, JSON, RTF, используйте блок Извлечь данные.

Извлечь данные

Блок извлекает текст и изображения из файлов различных форматов для дальнейшего использования, например анализа нейросетью.

Поддерживаемые форматы: CSV, HTML, XML, TXT, JSON, RTF, PDF, DOC(X). Максимальный размер файла — 4 Гб.

Файлы передаются в поле Содержимое: по одному через кнопку Добавить или массивом через кнопку fx.

Панель параметров блока «Извлечь данные»

Блок возвращает массив объектов — по одному на каждый входной файл. Поля объекта:

  • source — имя файла
  • text — извлеченный текст
  • images — массив извлеченных изображений в формате PNG с именами report_1.png, report_2.png и т. д.

Если файл поврежден, блок прерывает выполнение с ошибкой Файл поврежден. Проверьте целостность документа и повторите попытку. Если передан пустой массив — ошибка Файлы для извлечения не найдены.

Отличие от Извлечь текст из PDF:

Извлечь текст из PDFИзвлечь данные
ФорматыТолько PDFCSV, HTML, XML, TXT, JSON, RTF, PDF, DOC(X)
Что извлекаетТолько текстТекст и изображения (PNG)
Нечитаемый файл в набореНе прерывает обработку, в поле status — falseПрерывает выполнение

Конвертация файлов в PNG

Блок конвертирует файлы в изображения формата PNG.

Поддерживаемые форматы: CSV, HTML, HTM, XML, TXT, JSON, RTF, PDF, DOC(X). Максимальный размер файла — 4 Гб.

Параметры блока:

  • Содержимое — один файл, несколько файлов через кнопку Добавить или массив через кнопку fx
  • Качество изображений (обязательное) — Высокое (300 DPI) или Среднее (150 DPI), по умолчанию — Среднее (150 DPI)
  • Постраничная конвертация — переключатель. Если он включен, каждая страница файла конвертируется в отдельное изображение, а номер страницы добавляется в конец имени файла

Панель параметров блока «Конвертация файлов в PNG»

Блок всегда возвращает массив images, даже если на входе был один файл. Каждый элемент массива содержит поле source (имя исходного файла) и поле с PNG-изображением.

К имени выходного файла добавляется формат исходного: sample.pdf → sample_pdf.png. При постраничной конвертации добавляется еще и номер страницы: sample_pdf_1.png, sample_pdf_2.png.

Создать файл из шаблона

Блок создает файл по шаблону формата JRXML JasperReports 7, подставляя в него данные из скрипта. Заполнение существующего файла XLSX, DOCX или PDF не поддерживается.

Параметры блока:

  • Шаблон (обязательное) — шаблон JRXML
  • JSON-объект с данными (обязательное) — данные для подстановки в шаблон
  • Формат (обязательное) — формат выходного файла: PDF, DOCX или XLSX
  • Имя файла (обязательное) — имя создаваемого файла

Панель параметров блока «Создать файл из шаблона»

Подготовка шаблона

Шаблон создается в редакторе отчетов, который поддерживает JRXML (например, Jaspersoft Studio). В шаблоне объявите параметры для подстановки отдельных значений и, если требуется вывести таблицу с несколькими строками, — набор данных (dataset). Имена параметров и полей набора данных используются при подготовке JSON-объекта с данными.

Заполнение поля «Шаблон»

В поле Шаблон передайте шаблон одним из двух способов:

  • Файловым объектом через маппинг
  • XML-кодом шаблона текстом

При передаче через маппинг выбирайте файловый объект file целиком, а не поле file_content — маппинг file_content приводит к ошибке типа create_file_field_must_be_string. Например:

  • При ручном запуске скрипта с полем типа Файл с именем file выберите в маппинге 1.file
  • При скачивании шаблона блоком Скачать содержимое файла по SMB или SFTP выберите в маппинге файловый объект результата блока (например, 2.file), а не вложенное поле 2.file.file_content

Подготовка JSON-объекта с данными

JSON-объект с данными можно передать строкой, в том числе результатом запроса из SQL-блока.

Каждый ключ верхнего уровня JSON-объекта соответствует параметру, объявленному в шаблоне. Например, ключу message соответствует параметр шаблона message, а для вывода его значения в шаблоне используется выражение $P{message}.

Для каждого параметра, объявленного в шаблоне, в JSON-объекте должен присутствовать соответствующий ключ. Тип значения в JSON-объекте должен совпадать с типом параметра, объявленным в шаблоне: например, числовое значение нельзя передать параметру, объявленному с классом java.lang.String.

Заметка

Значение null в параметре верхнего уровня JSON-объекта приводит к ошибке выполнения. Не передавайте пустые значения в параметрах: для параметров с типом java.lang.String используйте пустую строку ("").

Вывод нескольких строк

Чтобы вывести в документе таблицу с несколькими строками, передайте в JSON-объекте массив объектов и объявите в шаблоне набор данных, источником которого служит этот массив. Внутри набора данных для вывода значения поля каждого объекта массива используется выражение $F{имя_поля}, где имя_поля соответствует ключу объекта в массиве.

Блок поддерживает массивы объектов с простыми значениями полей (строки, числа, логические значения). Вложенные объекты и массивы внутри полей не поддерживаются.

Заметка

Прямые ссылки на параметры и поля ($P{…}, $F{…}) поддерживаются. Выражение с конкатенацией строк не компилируется — используйте отдельные выражения $P{…} и $F{…} без конкатенации.

Пример

Рассмотрим пример формирования файла по шаблону с одним текстовым параметром.

Все файлы примера собраны в одном архиве . В нем находятся шаблон template_message.jrxml, SQL-запрос select_message_ok.sql и ожидаемый результат template_test_WORKING_MIN_d260603.xlsx.

Скрипт состоит из трех блоков:

  1. Ручной запуск — добавим поле типа Файл с именем file и загрузим в него шаблон template_message.jrxml из архива. В шаблоне объявлен параметр:
   <parameter name="message" class="java.lang.String"/>

Для вывода параметра в шаблоне используется выражение $P{message}.

  1. SQL-запрос — выполним запрос:
   SELECT '{"message":"OK"}' AS test
  1. Создать файл из шаблона — настроим параметры:
ПолеЗначение
ШаблонМаппинг 1.file
JSON-объект с даннымиМаппинг 2.test
ФорматXLSX
Имя файлаtemplate_test

После запуска теста всего скрипта блок создаст файл template_test.xlsx с заголовком Template test и значением OK. Для сравнения используйте файл template_test_WORKING_MIN_d260603.xlsx из архива.

Проверка и получение результата

Чтобы получить заполненный документ, запустите тест всего скрипта и передайте результат работы блока в следующий блок, например Загрузить в каталог.

Заметка

При отдельном тестировании блока, если шаблон передан файловым объектом, блок может вернуть пустой файл без формирования документа. Чтобы проверить результат подстановки данных в шаблон, тестируйте весь скрипт целиком.

Возможные ошибки

  • В поле Шаблон передано значение file_content вместо файлового объекта — блок возвращает ошибку create_file_field_must_be_string. Выберите в маппинге файловый объект целиком
  • В поле Шаблон передан файл, не соответствующий формату JRXML, например готовый XLSX — проверьте, что в поле передан шаблон в формате JRXML
  • В JSON-объекте отсутствует ключ для параметра, объявленного в шаблоне — проверьте соответствие ключей JSON-объекта параметрам шаблона
  • Тип значения в JSON-объекте не совпадает с типом параметра, объявленным в шаблоне — приведите значение к объявленному типу параметра
  • В JSON-объекте используется неподдерживаемая структура данных, например вложенный объект внутри элемента массива — упростите структуру JSON-объекта до простых значений полей

Загрузить в каталог

Блок создает файл и загружает его в указанный каталог в любом заданном формате.

Параметры блока:

  • Путь к файлу — для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к создаваемому файлу необходимо указывать с названием и расширением файла. Например, /имяпапки/имяфайла.csv. При загрузке архива укажите расширение .gzip. Путь также можно указать с помощью маппинга — в этом случае рядом с полем укажите расширение
  • Содержимое файла (используются только поля маппинга). Может содержать:
    • Текст
    • Текст и теги маппинга. Содержимое должно быть однородно, невозможно совместить картинку и текст
    • Теги маппинга. Содержимое должно быть однородно, невозможно совместить картинку и текст
    • Файловый объект (file_object), полученный из другого блока
Совет

Не указывайте в поле Путь к файлу у блока Загрузить в каталог из группы Хранилище одиночный символ / без имени файла — в этом случае блок будет считаться ненастроенным, и файл не будет создан.

Загрузить в каталог

Загрузить файл возможно только при запуске всего скрипта, так как данные поступают от предыдущих блоков. При одиночном тестировании блока создается пустой файл без содержимого.

Заметка

Прежняя версия блока, в которой поле Путь к файлу указывалось с именем файла, а содержимое передавалось только через Содержимое файла с плоским (не вложенным) результатом, помечена устаревшей. Существующие скрипты с этой версией продолжают работать без изменений — заменять блок не обязательно. Новая версия, описанная выше, принимает один или несколько файловых объектов через поля file_sources/file_source_arr, а в поле Путь к файлу указывается только каталог, без имени файла; результат возвращается массивом results[]. При замене блока маппинги из прежней версии автоматически не переносятся — их нужно настроить заново. Замена нужна для перехода на новый контракт данных (file_object) и для пакетной загрузки нескольких файлов за один проход.

Получить список файлов

Блок получает список файлов, их характеристики и информацию о каталоге.

В поле Путь к каталогу для блоков пакета Хранилище укажите путь относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Для ввода пути можно использовать как поля маппинга, так и текст. Чтобы указать несколько путей, нажмите Добавить под полем — каждый путь занимает отдельную строку с кнопкой удаления.

Дополнительные параметры:

  • Искать во вложенных папках — при включении поиск идет в указанной папке и всех вложенных, маска применяется на всех уровнях
  • Только файлы — при включении в результат попадают только файлы, без папок. Поиск во вложенных папках продолжает работать, если он включен

Оба переключателя по умолчанию выключены.

Маски имени файла

В конце пути можно указать маску имени файла для фильтрации. Маска допустима только в имени файла — если указать ее в середине пути, скрипт не пройдет проверку и не запустится (ошибка Маска допустима только в имени файла; укажите путь хотя бы с одним «/»).

Поддерживаемые символы:

СимволЧто значитПример
*Любая последовательность символов*.pdf — все PDF-файлы
?Один любой символfile?.txt — file1.txt, fileA.txt
[bt]Один символ из набора[bt]est.csv — best.csv или test.csv
[a-z]Один символ из диапазона[a-z]*.csv
[!a]Один символ, кроме указанного[!a]*.txt — файлы, не начинающиеся на «a»
{*.pdf,*.doc}Альтернация — одно из перечисленных через запятую{*.pdf,*.doc} — все PDF и DOC
Заметка

Маска учитывает регистр: по маске *.PDF файлы с расширением .pdf в результат не попадут. Фигурные скобки работают как альтернация только с запятой внутри — по маске {*.pdf} результат будет пустым. Рекурсивный обход вложенных папок включается переключателем Искать во вложенных папках, а не маской **.

Если по маске нет совпадений, блок возвращает пустой список без ошибки.

Панель параметров блока «Получить список файлов»: переключатели «Искать во вложенных папках» и «Только файлы», маска в поле «Путь к каталогу»

Блок возвращает массив записей метаданных, каждая из которых содержит поля:

  • name (String) — имя файла или каталога
  • full_path (String) — полный путь к файлу или каталогу
  • size (Long) — размер файла или каталога в байтах
  • permissions (String) — права пользователя на файл или каталог в виде последовательности символов: доступ на чтение, запись и выполнение для владельца, группы и остальных пользователей. Если доступ отсутствует, вместо символа отображается прочерк
  • owner (String) — владелец файла или каталога
  • group (String) — группа, к которой относится владелец файла или каталога
  • modification_time (DateTime) — время последнего изменения файла или каталога
  • directory (Boolean) — true для папок, false для файлов

Элемент результата — это запись метаданных, а не полный файловый объект (file_object): файлового содержимого (file_content) в нем нет, только характеристики и путь full_path. Полный файловый объект с содержимым появляется после выполнения блока Скачать содержимое файла, в который из этого блока передается full_path.

Пример маппинга цепочки блоков:

  1. В блоке Получить список файлов включите Только файлы, чтобы в результат попали только записи о файлах.
  2. В блоке Скачать содержимое файла в поле Путь к файлу через маппинг выберите переменную Получить список файлов → full_path. Поле принимает одну переменную full_path; для каждой записи списка файлов она подставляется отдельно, независимо от переключателя Массив.
  3. Переключатель Массив определяет только то, как блок собирает результат скачивания, а не содержимое поля Путь к файлу. Если переключатель выключен, каждая запись обрабатывается отдельно, и для каждой из них блок возвращает отдельный результат file (поля file_name, file_size, file_content). Если переключатель включен, блок скачивает файлы по всем входным записям и собирает их в одну запись с массивом files.

Параметры блока «Скачать содержимое файла» при включенном переключателе «Массив»: в поле «Путь к файлу» указана переменная full_path блока «Получить список файлов», массив files формируется на выходе блока

Получить CSV

С помощью блока можно получить CSV-файл из указанного каталога.

Параметры блока:

  • Путь к файлу (для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к файлу необходимо указывать с названием и расширением файла)
  • Таблица содержит заголовок (определяет наличие/отсутствие заголовка таблицы)
  • Имена столбцов (колонки можно менять местами, удерживая нужную и перетаскивая вниз или вверх):
    • Имя колонки
    • Тип (строка, число, дробное число, дата и время, логический тип, большое целое число)
  • Загрузить пример (позволяет загрузить CSV-файл для автоматического добавления колонок. При нажатии кнопки открывается модальное окно для загрузки файла):
    • Типы данных определяются автоматически, можно изменить
    • Загрузка новой схемы заменяет предыдущую
    • Сохранить настройки парсинга (параметры передаются в настройки блока)
  • Настройка парсинга:
    • Разделитель (символ, разделяющий значения на элементы в CSV):
    • Точка с запятой
    • Запятая
    • Прямая черта
    • Косая черта
    • Табуляция
    • Пробел
    • Другой (появляется поле для указания разделителя)
    • Квалификатор (символ, обрамляющий значения элементов в CSV):
    • Одиночные кавычки
    • Двойные кавычки
    • Локаль (будет применена при парсинге значений из CSV. Выбирается из списка)
    • Кодировка (будет применена при разборе байтового потока файла. Выбирается из списка)

Получить CSV

Загрузка примера

Для автоматического добавления колонок можно загрузить пример CSV-файла. Для этого нажмите Загрузить пример справа от заголовка Имена столбцов. Откроется модальное окно для загрузки файла.

Загрузка примера

Выберите файл и нажмите Продолжить.

Откроется окно предпросмотра, в котором можно сменить разделитель, квалификатор, локаль, кодировку и типы данных колонок. Если поставить галочку у параметра Сохранить настройки парсинга, настройки скопируются в параметры блока. Для завершения загрузки нажмите кнопку Применить.

Окно предпросмотра

Столбцы автоматически добавились, заменив предыдущие.

Новые столбцы

Заметка
  • Максимальный размер файла — 20 МБ
  • Загрузка новой схемы заменяет предыдущую
  • Если указаны типы, которые не соответствуют данным, появляется ошибка
  • При попытке загрузить пустой файл отобразится ошибка, что файл пуст, окно предпросмотра не откроется
  • Количество колонок в заголовке и количество колонок в самой таблице должны совпадать, иначе появится ошибка
  • Если в одной и той же колонке встречаются разные типы данных, например, Строка и Число, все значения данной колонки конвертируются в строки
  • Если пример CSV-файла состоит из одной строки, все колонки таблицы будут с типом Строка
  • Все пустые значения или значения, где явно прописано null, будут с типом Строка

Скачать содержимое файла

Блок скачивает файл из каталога, указанного в поле Путь к файлу. Для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к файлу необходимо указывать с названием и расширением файла. Пример: /имяпапки/имяфайла.csv. Путь можно ввести вручную или использовать маппинг. Максимальный размер скачиваемого файла — 52,5 МБ.

Чтобы скачать сразу несколько файлов, включите переключатель Массив и укажите в поле Путь к файлу переменную пути через маппинг — для каждой входной записи она подставляется отдельно. Скачанные файлы блок вернет одним массивом files. При выключенном переключателе каждая запись обрабатывается отдельно, а результат доступен как file.

Скачать файл

Файл, скачанный с помощью этого блока, сохраняется в буфере и может многократно использоваться в других блоках для работы с файлами без повторных обращений к хранилищу.

Удалить файл

Блок удаляет файл из каталога, указанного в поле Путь к файлу. Для блоков пакета Хранилище укажите путь к файлу относительно каталога filestorage вашего пространства. Для блоков пакетов FTP, SFTP и SMB укажите путь относительно рабочей области, заданной в настройках подключения. Путь к файлу необходимо указывать с названием и расширением файла. Пример: /имяпапки/имяфайла.csv. Путь можно ввести вручную или использовать маппинг.

Удалить файл

Была ли статья полезна?

Предыдущая
Работа с базами данных
Следующая
Работа с сервисами
8 (800) 555-89-02
430006, Саранск,
Северо-восточное шоссе, д. 3
Код вида деятельности
в области ИТ 15.02 и 17.01
ОКВЭД 62.01
ИНН 1328​909857
Языки программирования: