Список изменений

Изменения агента мониторинга вынесены в отдельный список изменений агента мониторинга.

Новые функции

Платформа

• В список пользователей на странице администрирования добавлена индивидуальная настройка отображения полей: состав полей в таблице задается для каждой учетной записи отдельно и не влияет на других администраторов.
• На странице О системе в строке заголовка выводится полное название версии — «Версия 2606». Номера версий можно скопировать: при наведении на блок сервера и на строку модуля появляется кнопка с подсказкой Копировать в буфер обмена. Скопированное значение можно приложить к обращению в поддержку.
• Для ключа API Proceset добавлена привилегия GraphQL / Интроспекция. Ключ с этой привилегией возвращает схему GraphQL по стандартному запросу интроспекции, поэтому интеграция строится по самой схеме API, а не по ее описанию, переданному вручную. В GraphQL-клиентах работает автодополнение, типизированные клиенты генерируются из схемы, а расхождения с новой версией API видны сразу после обновления платформы. Привилегия выдается отдельно для каждого ключа.
• Журналы работы системы main.log и безопасности security.log записываются в ClickHouse. Записи собираются со всех нод автоматически — выгружать файлы журналов с серверов вручную для обращения в поддержку больше не нужно. Записи журналов — обычные таблицы ClickHouse, поэтому просмотр строится средствами Proceset: рабочее пространство подключается к той же базе, а отбор по уровню и ноде, сводки и динамика настраиваются как на любом дашборде. Срок хранения настраивается отдельно для каждого журнала — записи старше этого срока удаляются.
• В профиле сотрудника во вкладке Доступ теперь отображается поле Логин при любом типе аутентификации. Раньше имя, под которым сотрудник входит в систему, было видно только в записях журнала безопасности.
• В боковой панели навигации у приложения теперь отображается его собственная иконка из архива, а не системная заглушка. Иконка задается при загрузке приложения и отображается везде, где в интерфейсе есть ссылка на это приложение.
• При переключении вкладок внутри приложения URL страницы меняется в соответствии с выбранной вкладкой. Ссылку на конкретную вкладку теперь можно скопировать из адресной строки и переслать — при переходе откроется именно та вкладка, а не первая по умолчанию.

Аналитика

• В настройках цвета мер теперь можно задать диапазоны окрашивания через отдельную формулу — без дублирования формулы самой меры. Мера окрашивается по интервалам граничных значений — например, по плановому и предельному.
• На панели настроек образа появилась вкладка Настройки фильтрации. Правила фильтрации задаются один раз для всего образа и распространяются на входящие в него виджеты. При глобальном отключении фильтрации в виджете Фильтр отображается плейсхолдер вместо пустой области.
• В виджетах добавлена настройка Подсказка при отсутствии данных: при пустых данных после применения фильтра вместо стандартной надписи отображается заданный текст — например, пояснение, почему данные не отобразились.
• Переработан импорт таблиц в модели данных. CSV-файл загружается на сервер в фоне: окно импорта закрывается сразу, а работа в системе продолжается — во время загрузки можно открывать дашборды, запускать скрипты и переходить в другие разделы. Большой или некорректный файл больше не блокирует работу остальных пользователей, а параллельные импорты в разных вкладках не мешают друг другу. Ход загрузки виден по индикатору, результат приходит уведомлением. После загрузки открывается предпросмотр с автоматически определенными типами колонок — до импорта их можно изменить. Если файл не подходит, причина указывается в интерфейсе: например, некорректный заголовок CSV или совпадение имен таблиц. Начатую загрузку можно прервать.
• Виджет Фильтр переработан: можно добавить несколько фильтров и задать предустановленную фильтрацию по разрезам, а прежний табличный режим вынесен в отдельный виджет Фильтр-таблица.
• Добавлен виджет Фильтр-таблица — табличное представление значений фильтра с возможностью многострочной выборки. Виджет доступен в каталоге виджетов, а настройки прежнего табличного режима виджета Фильтр переносятся в него автоматически при открытии образа.
• В сводной таблице добавлен поиск по разрезам — как в обычной таблице. При большом количестве колонок и строк нужное значение теперь ищется вводом с клавиатуры, а не прокруткой.
• В таблицах появились настройки Закрепить столбцы — сколько столбцов слева удерживать на месте, и Закрепить итог — удерживать строку итога. При горизонтальной прокрутке закрепленные элементы остаются видны: у дальних колонок сохраняются названия строк и итоговые значения.
• В настройках цвета мер добавлена опция окрашивания градиентом, зависящим от количества классов (лимита разреза), а не от доли. Мера окрашивается ступенями от минимума к максимуму — по числу выбранных классов.
• Появился новый вариант виджета Текст — Редактируемый текст: содержимое можно менять прямо в режиме просмотра дашборда, не переходя в редактор образа. Такой виджет подходит для комментариев к отчету, которые оставляют при просмотре дашборда.
• При быстром создании меры в список функций добавлена агрегирующая функция any.

Автоматизация

• В блоке Вернуть данные появился формат Файлы: скрипт возвращает файлы как результат работы, и при запуске с дашборда они сразу скачиваются в папку загрузок браузера. Файлы передаются списком маппингов или одной переменной-массивом по кнопке fx. Размер файла — до 4 Гб.
• Теперь набор файлов проходит по цепочке блоков целиком: массив файлов принимают блоки Скачать содержимое файла, Сформировать CSV, Загрузить в каталог, Извлечь текст из PDF, Архивировать, Распаковать, Распознать текст в документе и Выполнить скрипт. Весь набор обрабатывается за один проход скрипта, а не по одному файлу в цикле. В блоке Распаковать имя и расширение разархивированного файла вручную задавать больше не нужно. У двух блоков изменился формат входа, поэтому существующие скрипты нужно проверить. В блоке Загрузить в каталог массив путей на входе больше не используется — переключитесь на file_object. В блоке Извлечь текст из PDF маппинг content переносится в новую версию автоматически.
• Блок Отправить письмо теперь принимает массив вложений: комплект файлов отправляется одним письмом, а не по одному файлу на письмо. Параметр вложения переименован во Вложения. Несколько писем формируются только тогда, когда в блок приходит несколько записей — по письму на запись. Параметры письма заполняются данными из разных блоков-источников: например, вложение из блока Сформировать CSV, тема из блока Выбрать строки через SQL-запрос, адрес получателя из блока Ручной запуск. Вложения заполняются двумя способами: списком отдельных полей по кнопке Добавить (по файлу на поле) или одной переменной по кнопке fx. В существующих скриптах со старой версией блока сохраняется прежнее ограничение «данные только из одного блока-источника» — чтобы перейти на новое поведение, замените блок в скрипте.
• Блок Получить сообщение (Получение писем POP3) обрабатывает письма с несколькими вложениями: на каждое вложение одного письма возвращается отдельный элемент. Раньше такое письмо приводило к ошибке. Это новая версия блока. Прежняя помечена устаревшей и убрана из каталога. В существующих скриптах блок нужно заменить.
• Расширен маппинг ошибок в блоках хранилища SMB, SFTP, FTP и локального. Вместо общего кода invalid_path отображается конкретная причина: нет прав, неверный пароль, недостаточно места, разрыв соединения.
• Добавлен блок Сгруппировать массив — парный к Разгруппировать массив в категории Инструменты. Блок собирает значения из разных ветвей скрипта в один массив, чтобы передать их следующему блоку пакетом. В поле Содержимое передаются переменные одного вида — обычные или файловые. Смешивать их нельзя.
• В блоке Разгруппировать массив появился второй параметр — имя ключа (по умолчанию value). Файлы сохраняют структуру и принимаются последующими блоками, ожидающими файл. Пустой массив не запускает итераций.
• Добавлен блок Создать файл из шаблона — генерация PDF, DOCX или XLSX из шаблона jrxml и переданных данных. Документ формируется одним блоком, а не собирается из нескольких.
• Блок Получить список файлов теперь возвращает список как массив file_object — его целиком принимают остальные блоки работы с файлами. Отбор задается маской имени: поддерживаются *, ?, классы символов [bt], отрицание [!a] и выбор из вариантов в фигурных скобках, например docs/{*.pdf,*.doc}. Появились переключатели Искать во вложенных папках и Только файлы. Если ни один файл не подошел, блок возвращает пустой список без ошибки. Маска допускается только в имени файла — путь до папки указывается без масок.
• Добавлен блок Конвертация файлов в PNG: конвертирует файлы форматов CSV, HTML, HTM, XML, TXT, JSON, RTF, PDF, DOC(X) — по одному, набором или массивом. Обязательный параметр Качество изображений задает DPI (высокое — 300 DPI). Переключатель Постраничная конвертация добавляет номер страницы в конец имени. Ограничение размера файла — 4 Гб.
• Добавлен блок Извлечь данные — общая версия для форматов CSV, HTML, XML, TXT, JSON, RTF, PDF, DOC(X): возвращает по элементу на файл с полями source, text и images. В отличие от блока Извлечь текст из PDF он не привязан к одному формату. Блок Извлечь текст из PDF остается в каталоге для сценариев, где нужны специфические возможности работы с PDF.
• Добавлен блок Изменить таблицу: содержимое и структуру таблицы модели данных можно менять из скрипта, в том числе в кластерной установке. Первая строка запроса формируется системой, имя кластера подставляется в нее автоматически — знать его не нужно. Оператор пишется со второй строки, подсказка под полем SQL-запрос предлагает UPDATE и DELETE. Виджеты и скрипты, которые ссылаются на измененную таблицу или колонку, учтут новую структуру при следующем обращении, а не в момент изменения.
• В блоках Получить календари и Получить события календаря по ID появился переключатель Показывать ошибки. При его включении синхронизация не прерывается на первой ошибочной записи: блок возвращает такие записи с полями status и error, их отбирают блоком Фильтр и синхронизируют заново, не повторяя всю выгрузку.

Маркетплейс

• Дистрибутивы агента мониторинга публикуются в Маркетплейсе отдельным типом пакета. Сборка агента обновляется из каталога в любой момент и не зависит от поставки новой версии сервера. Раньше дистрибутивы передавались индивидуальными ссылками.
• Порядок, в котором агенты получают новую версию, задается во вкладке Обновление страницы Агент мониторинга. При поэтапном обновлении новую версию сначала получает часть компьютеров, а остальные — следующими блоками, поэтому ошибка в новой версии агента затрагивает не весь парк сразу. Компьютеры распределяются по блокам автоматически или по маскам имени компьютера: маска — регулярное выражение длиной до 255 символов, например ^bank-.* или ^app-prod-.*. Раньше поэтапное обновление и маски задавались только в конфигурационном файле.
• Приложениями теперь можно управлять через веб-интерфейс: сменить иконку, удалить приложение, перейти в его настройки, настроить доступы на уровне сотрудников. Раньше через веб-интерфейс можно было только загрузить архив.
• Теперь пакеты для standalone-версии публикуются на публичном сайте Маркетплейса и подбираются в общем каталоге с фильтром по типу поставки. Заказчик скачивает пакеты и шаблоны сам — запрашивать их отдельно не нужно.
• Приложение привязывается к пространству и работает с его данными: читает таблицы модели данных, запускает скрипты и получает их результат. Подключения и установленные пакеты интеграций пространства доступны приложению только для просмотра. Раньше приложение не было связано с пространством, и разработчику приходилось настраивать отдельное подключение к ClickHouse в обход платформы. К ресурсам приложение обращается от имени текущего пользователя и с учетом его прав, поэтому в приложении отображаются те же данные, что и в дашбордах пространства. Привязка настраивается на вкладке Пространства в профиле приложения, а привязанные приложения перечислены на вкладке Приложения в пространстве.

JS-трекер

• Добавлен сбор действий пользователя JS-трекером в приложениях: записываются переходы между разделами, клики, открытие и закрытие окон, заполнение и отправка форм. Раньше фиксировалось только открытие приложения.

Мониторинг

• Сбор данных из Java-приложений включается отдельно для каждого пользователя: в профиле пользователя во вкладке Основное появился переключатель Сбор Java-активности. Тот же параметр задается сразу нескольким пользователям и отделам массовым действием. По умолчанию сбор выключен у всех. Модуль Java-мониторинга входит в единый дистрибутив агента мониторинга — отдельная сборка агента для Java-приложений не нужна. Если после включения сбора выросла нагрузка на систему, выключите его у отдельных пользователей.
• Скриншот из исследования можно удалить по идентификатору — раньше он удалялся только вместе со всем исследованием. Само исследование, его результаты и связи при этом сохраняются.
• В интерфейсе скачивания агента появилась настройка Рабочая директория: папка, в которой агент хранит файлы, логи и временные данные, задается до скачивания и встраивается в дистрибутив. Агент разворачивается в директории, предусмотренной правилами компании, а не только в стандартной.
• Добавлено резервное копирование и восстановление данных активности агента мониторинга: копия годовых баз активности создается ночью на каждой ноде кластера мониторинга, точка восстановления — последняя ночная копия. Восстановление запускается запросом GraphQL с корневой ноды, останавливать ноды для этого не нужно. Копирование выключено по умолчанию: при включении данным активности потребуется примерно вдвое больше места на диске.

Изменения

Платформа

• Обновлены минимальные версии поддерживаемых браузеров: Chrome — от 107, Firefox — от 121, Safari — от 16.1, Edge — от 106. На более ранних версиях интерфейс может работать некорректно.

Аналитика

• В иерархии, в модальных окнах фильтров, в фильтрах в шапке и на плашках + Фильтр значения отображаются с установленным форматированием для всех типов данных.
• Если строка не помещается по ширине, при наведении на нее отображается подсказка с полным текстом. Поведение подсказок на неполных строках одинаково во всех виджетах.
• Настройка режима фильтрации вынесена на уровень образа: из настроек каждого виджета режим убран. У виджетов Фильтр и Фильтр-таблица режим Отключено тоже перешел в глобальные настройки образа.
• При удалении + Фильтра открывается окно подтверждения Удалить фильтр? Подтвердите удаление компонента. Раньше фильтр удалялся сразу по клику.
• При экспорте таблиц в XLSX сохраняется формат ячейки: даты выгружаются через точку, а не через дефис, числа с настройками разрядности передаются как есть.

Мониторинг

• Сервер мониторинга принимает пакеты активности от агентов более новых версий формата, а не только той версии, что действовала на момент выпуска сервера. Раньше пакеты новых версий отбрасывались, поэтому агент и сервер обновляли вместе. Теперь агент мониторинга обновляется отдельно от сервера.

Исправления

Автоматизация

• Ранее, если при запуске скрипта с дашборда агент автоматизации или сервер были недоступны, на экране оставался индикатор загрузки без сообщения об ошибке. Теперь выводится сообщение об ошибке, а если ответ от сервера не приходит более 3 минут, открывается модальное окно Сервер недоступен.