Список изменений

Изменения агента мониторинга вынесены в отдельный список изменений агента мониторинга.

Новые функции

Платформа

• В список пользователей на странице администрирования добавлена индивидуальная настройка отображения полей: состав полей в таблице задается для каждой учетной записи отдельно и не влияет на других администраторов.
• На странице О системе в строке заголовка выводится полное название версии — «Версия 2606». Номера версий можно скопировать: при наведении на блок сервера и на строку модуля появляется кнопка с подсказкой Копировать в буфер обмена. Скопированное значение можно приложить к обращению в поддержку.
• Для ключа API Proceset добавлена привилегия GraphQL / Интроспекция. Ключ с этой привилегией возвращает схему GraphQL по стандартному запросу интроспекции, поэтому интеграция строится по самой схеме API, а не по ее описанию, переданному вручную. В GraphQL-клиентах работает автодополнение, типизированные клиенты генерируются из схемы, а расхождения с новой версией API видны сразу после обновления платформы. Привилегия выдается отдельно для каждого ключа.
• Журналы работы системы main.log и безопасности security.log записываются в ClickHouse. Записи собираются со всех нод автоматически — выгружать файлы журналов с серверов вручную для обращения в поддержку больше не нужно. Записи журналов — обычные таблицы ClickHouse, поэтому просмотр строится средствами Proceset: рабочее пространство подключается к той же базе, а отбор по уровню и ноде, сводки и динамика настраиваются как на любом дашборде. Срок хранения настраивается отдельно для каждого журнала — записи старше этого срока удаляются.
• В профиле сотрудника во вкладке Доступ теперь отображается поле Логин при любом типе аутентификации. Раньше имя, под которым сотрудник входит в систему, было видно только в записях журнала безопасности.
• В боковой панели навигации у приложения теперь отображается его собственная иконка из архива, а не системная заглушка. Иконка задается при загрузке приложения и отображается везде, где в интерфейсе есть ссылка на это приложение.
• При переключении вкладок внутри приложения URL страницы меняется в соответствии с выбранной вкладкой. Ссылку на конкретную вкладку теперь можно скопировать из адресной строки и переслать — при переходе откроется именно та вкладка, а не первая по умолчанию.

Аналитика

• В настройках цвета мер теперь можно задать диапазоны окрашивания через отдельную формулу — без дублирования формулы самой меры. Мера окрашивается по интервалам граничных значений — например, по плановому и предельному.
• На панели настроек образа появилась вкладка Настройки фильтрации. Правила фильтрации задаются один раз для всего образа и распространяются на входящие в него виджеты. При глобальном отключении фильтрации в виджете Фильтр отображается плейсхолдер вместо пустой области.
• В виджетах добавлена настройка Подсказка при отсутствии данных: при пустых данных после применения фильтра вместо стандартной надписи отображается заданный текст — например, пояснение, почему данные не отобразились.
• Переработан импорт таблиц в модели данных. CSV-файл загружается на сервер в фоне: окно импорта закрывается сразу, а работа в системе продолжается — во время загрузки можно открывать дашборды, запускать скрипты и переходить в другие разделы. Большой или некорректный файл больше не блокирует работу остальных пользователей, а параллельные импорты в разных вкладках не мешают друг другу. Ход загрузки виден по индикатору, результат приходит уведомлением. После загрузки открывается предпросмотр с автоматически определенными типами колонок — до импорта их можно изменить. Если файл не подходит, причина указывается в интерфейсе: например, некорректный заголовок CSV или совпадение имен таблиц. Начатую загрузку можно прервать.
• Виджет Фильтр переработан: можно добавить несколько фильтров и задать предустановленную фильтрацию по разрезам, а прежний табличный режим вынесен в отдельный виджет Фильтр-таблица.
• Добавлен виджет Фильтр-таблица — табличное представление значений фильтра с возможностью многострочной выборки. Виджет доступен в каталоге виджетов, а настройки прежнего табличного режима виджета Фильтр переносятся в него автоматически при открытии образа.
• В сводной таблице добавлен поиск по разрезам — как в обычной таблице. При большом количестве колонок и строк нужное значение теперь ищется вводом с клавиатуры, а не прокруткой.
• В таблицах появились настройки Закрепить столбцы — сколько столбцов слева удерживать на месте, и Закрепить итог — удерживать строку итога. При горизонтальной прокрутке закрепленные элементы остаются видны: у дальних колонок сохраняются названия строк и итоговые значения.
• В настройках цвета мер добавлена опция окрашивания градиентом, зависящим от количества классов (лимита разреза), а не от доли. Мера окрашивается ступенями от минимума к максимуму — по числу выбранных классов.
• Появился новый вариант виджета Текст — Редактируемый текст: содержимое можно менять прямо в режиме просмотра дашборда, не переходя в редактор образа. Такой виджет подходит для комментариев к отчету, которые оставляют при просмотре дашборда.
• При быстром создании меры в список функций добавлена агрегирующая функция any.

Автоматизация

• В блоке Вернуть данные появился формат Файлы: скрипт возвращает файлы как результат работы, и при запуске с дашборда они сразу скачиваются в папку загрузок браузера. Файлы передаются списком маппингов или одной переменной-массивом по кнопке fx. Размер файла — до 4 Гб.
• Теперь набор файлов проходит по цепочке блоков целиком: массив файлов принимают блоки Скачать содержимое файла, Сформировать CSV, Загрузить в каталог, Извлечь текст из PDF, Архивировать, Распаковать, Распознать текст в документе и Выполнить скрипт. Весь набор обрабатывается за один проход скрипта, а не по одному файлу в цикле. В блоке Распаковать имя и расширение разархивированного файла вручную задавать больше не нужно. Это новые версии блоков. Существующие скрипты с прежними версиями блоков Загрузить в каталог, Распаковать и Извлечь текст из PDF продолжают работать без изменений — заменять их сразу после обновления не обязательно. Заменить блок на актуальную версию нужно только для новых сценариев, где требуется пакетная обработка набора файлов за один проход, или для перехода на новый контракт данных. В блоке Загрузить в каталог прежняя версия (путь с именем файла, содержимое через Содержимое файла) продолжает работать; новая версия принимает один или несколько файловых объектов, а в поле Путь к файлу указывается только каталог, без имени файла. При замене блока маппинги прежней версии автоматически не переносятся — их нужно настроить заново. В блоке Распаковать прежняя версия, принимающая один архив через Содержимое файла, тоже продолжает работать; при замене на новую версию, принимающую один или несколько архивов, маппинги также не переносятся автоматически. В блоке Извлечь текст из PDF входной маппинг content/file_content при замене на новую версию переносится автоматически — это единственное исключение среди перечисленных блоков; остальные настройки и ссылки на прежнее выходное поле PDF_text нужно заменить вручную на result.text.
• Блок Отправить письмо теперь принимает массив вложений: комплект файлов отправляется одним письмом, а не по одному файлу на письмо. Параметр вложения переименован во Вложения. Несколько писем формируются только тогда, когда в блок приходит несколько записей — по письму на запись. Параметры письма заполняются данными из разных блоков-источников: например, вложение из блока Сформировать CSV, тема из блока Выбрать строки через SQL-запрос, адрес получателя из блока Ручной запуск. Вложения заполняются двумя способами: списком отдельных полей по кнопке Добавить (по файлу на поле) или одной переменной по кнопке fx. В существующих скриптах со старой версией блока сохраняется прежнее ограничение «данные только из одного блока-источника» — чтобы перейти на новое поведение, замените блок в скрипте.
• Блок Получить сообщение (Получение писем POP3) обрабатывает письма с несколькими вложениями: на каждое вложение одного письма возвращается отдельный элемент, вместо прежних полей file_name/file_content выход содержит массив attachments. Это новая версия блока. Прежняя версия продолжает работать в существующих скриптах без изменений и корректно обрабатывает письма с 0–1 вложением. Заменять ее сразу после обновления не обязательно: замена обязательна только для сценариев, где письма приходят с двумя и более вложениями, — на таких письмах прежняя версия завершается ошибкой. Чтобы перейти на новую версию, замените блок в скрипте; маппинги прежней версии при этом автоматически не переносятся.
• Расширен маппинг ошибок в блоках хранилища SMB, SFTP, FTP и локального. Вместо общего кода invalid_path отображается конкретная причина: нет прав, неверный пароль, недостаточно места, разрыв соединения.
• Добавлен блок Сгруппировать массив — парный к Разгруппировать массив в категории Инструменты. Блок собирает значения из разных ветвей скрипта в один массив, чтобы передать их следующему блоку пакетом. В поле Содержимое передаются переменные одного вида — обычные или файловые. Смешивать их нельзя.
• В блоке Разгруппировать массив появился второй параметр — имя ключа (по умолчанию value). Файлы сохраняют структуру и принимаются последующими блоками, ожидающими файл. Пустой массив не запускает итераций.
• Добавлен блок Создать файл из шаблона — генерация PDF, DOCX или XLSX из шаблона jrxml и переданных данных. Документ формируется одним блоком, а не собирается из нескольких.
• Блок Получить список файлов теперь возвращает список как массив file_object — его целиком принимают остальные блоки работы с файлами. Отбор задается маской имени: поддерживаются *, ?, классы символов [bt], отрицание [!a] и выбор из вариантов в фигурных скобках, например docs/{*.pdf,*.doc}. Появились переключатели Искать во вложенных папках и Только файлы. Если ни один файл не подошел, блок возвращает пустой список без ошибки. Маска допускается только в имени файла — путь до папки указывается без масок.
• Добавлен блок Конвертация файлов в PNG: конвертирует файлы форматов CSV, HTML, HTM, XML, TXT, JSON, RTF, PDF, DOC(X) — по одному, набором или массивом. Обязательный параметр Качество изображений задает DPI (высокое — 300 DPI). Переключатель Постраничная конвертация добавляет номер страницы в конец имени. Ограничение размера файла — 4 Гб.
• Добавлен блок Извлечь данные — общая версия для форматов CSV, HTML, XML, TXT, JSON, RTF, PDF, DOC(X): возвращает по элементу на файл с полями source, text и images. В отличие от блока Извлечь текст из PDF он не привязан к одному формату. Блок Извлечь текст из PDF остается в каталоге для сценариев, где нужны специфические возможности работы с PDF.
• Добавлен блок Изменить таблицу: содержимое и структуру таблицы модели данных можно менять из скрипта, в том числе в кластерной установке. Первая строка запроса формируется системой, имя кластера подставляется в нее автоматически — знать его не нужно. Оператор пишется со второй строки, подсказка под полем SQL-запрос предлагает UPDATE и DELETE. Виджеты и скрипты, которые ссылаются на измененную таблицу или колонку, учтут новую структуру при следующем обращении, а не в момент изменения.
• В блоках Получить календари и Получить события календаря по ID появился переключатель Показывать ошибки. При его включении синхронизация не прерывается на первой ошибочной записи: блок возвращает такие записи с полями status и error, их отбирают блоком Фильтр и синхронизируют заново, не повторяя всю выгрузку.

Маркетплейс

• Дистрибутивы агента мониторинга публикуются в Маркетплейсе отдельным типом пакета. Сборка агента обновляется из каталога в любой момент и не зависит от поставки новой версии сервера. Раньше дистрибутивы передавались индивидуальными ссылками.
• Порядок, в котором агенты получают новую версию, задается во вкладке Обновление страницы Агент мониторинга. При поэтапном обновлении новую версию сначала получает часть компьютеров, а остальные — следующими блоками, поэтому ошибка в новой версии агента затрагивает не весь парк сразу. Компьютеры распределяются по блокам автоматически или по маскам имени компьютера: маска — регулярное выражение длиной до 255 символов, например ^bank-.* или ^app-prod-.*. Раньше поэтапное обновление и маски задавались только в конфигурационном файле.
• Приложениями теперь можно управлять через веб-интерфейс: сменить иконку, удалить приложение, перейти в его настройки, настроить доступы на уровне сотрудников. Раньше через веб-интерфейс можно было только загрузить архив.
• Теперь пакеты для standalone-версии публикуются на публичном сайте Маркетплейса и подбираются в общем каталоге с фильтром по типу поставки. Заказчик скачивает пакеты и шаблоны сам — запрашивать их отдельно не нужно.
• Приложение привязывается к пространству и работает с его данными: читает таблицы модели данных, запускает скрипты и получает их результат. Подключения и установленные пакеты интеграций пространства доступны приложению только для просмотра. Раньше приложение не было связано с пространством, и разработчику приходилось настраивать отдельное подключение к ClickHouse в обход платформы. К ресурсам приложение обращается от имени текущего пользователя и с учетом его прав, поэтому в приложении отображаются те же данные, что и в дашбордах пространства. Привязка настраивается на вкладке Пространства в профиле приложения, а привязанные приложения перечислены на вкладке Приложения в пространстве.

JS-трекер

• Добавлен сбор действий пользователя JS-трекером в приложениях: записываются переходы между разделами, клики, открытие и закрытие окон, заполнение и отправка форм. Раньше фиксировалось только открытие приложения. Сбор начинается автоматически после обновления, если верстка приложения изначально выполнена семантически правильно, — дополнительных доработок приложений не требуется.

Мониторинг

• Сбор данных из Java-приложений включается отдельно для каждого пользователя: в профиле пользователя во вкладке Основное появился переключатель Сбор Java-активности. Тот же параметр задается сразу нескольким пользователям и отделам массовым действием. Для этого переключателя не предусмотрена миграция прежней настройки: после обновления системы сбор по умолчанию выключен у всех, в том числе у тех, кто ранее уже собирал Java-активность. Чтобы продолжить сбор, включите переключатель заново вручную или массовым действием по списку идентификаторов сотрудников через graphql-запрос. Модуль Java-мониторинга входит в единый дистрибутив агента мониторинга — отдельная сборка агента для Java-приложений не нужна. Если после включения сбора выросла нагрузка на систему, выключите его у отдельных пользователей.
• Скриншот из исследования можно удалить по идентификатору — раньше он удалялся только вместе со всем исследованием. Само исследование, его результаты и связи при этом сохраняются.
• В интерфейсе скачивания агента появилась настройка Рабочая директория: папка, в которой агент хранит файлы, логи и временные данные, задается до скачивания и встраивается в дистрибутив. Агент разворачивается в директории, предусмотренной правилами компании, а не только в стандартной.
• Добавлено резервное копирование и восстановление данных активности агента мониторинга: копия годовых баз активности создается ночью на каждой ноде кластера мониторинга, точка восстановления — последняя ночная копия. Восстановление запускается запросом GraphQL с корневой ноды, останавливать ноды для этого не нужно. Копирование выключено по умолчанию: при включении данным активности потребуется примерно вдвое больше места на диске.

Изменения

Платформа

• Обновлены минимальные версии поддерживаемых браузеров: Chrome — от 107, Firefox — от 121, Safari — от 16.1, Edge — от 106. На более ранних версиях интерфейс может работать некорректно.

Аналитика

• В иерархии, в модальных окнах фильтров, в фильтрах в шапке и на плашках + Фильтр значения отображаются с установленным форматированием для всех типов данных.
• Если строка не помещается по ширине, при наведении на нее отображается подсказка с полным текстом. Поведение подсказок на неполных строках одинаково во всех виджетах.
• Настройка режима фильтрации вынесена на уровень образа и по умолчанию задает поведение для всех виджетов образа, но может быть переопределена отдельно для каждого разреза виджета — значение Из образа у разреза означает наследование общего режима. При обновлении системы прежний режим, ранее заданный для каждого виджета, автоматически переносится во все его разрезы (в том числе в разрезы внутри иерархий), а настройка на уровне всего виджета удаляется, поэтому различие в поведении, настроенное ранее между разными виджетами дашборда, сохраняется. Глобальной и не переопределяемой на уровне виджета стала только настройка Отключить фильтрацию. У виджетов Фильтр и Фильтр-таблица режим Отключено тоже перешел в глобальные настройки образа.
• При удалении + Фильтра открывается окно подтверждения Удалить фильтр? Подтвердите удаление компонента. Раньше фильтр удалялся сразу по клику.
• При экспорте таблиц в XLSX сохраняется формат ячейки: даты выгружаются через точку, а не через дефис, числа с настройками разрядности передаются как есть.

Мониторинг

• Сервер мониторинга принимает пакеты активности от агентов более новых версий формата, а не только той версии, что действовала на момент выпуска сервера. Раньше пакеты новых версий отбрасывались, поэтому агент и сервер обновляли вместе. Теперь агент мониторинга обновляется отдельно от сервера.

Исправления

Автоматизация

• Ранее, если при запуске скрипта с дашборда агент автоматизации или сервер были недоступны, на экране оставался индикатор загрузки без сообщения об ошибке. Теперь выводится сообщение об ошибке, а если ответ от сервера не приходит более 3 минут, открывается модальное окно Сервер недоступен.