Настроенные источники данных

Распространенная задача, выбрать набор данных из базы, по определенному запросу, заданными параметрами с определенными фильтрами, затем передать его для обработки, пользователю, либо какой то процедуре.

Основные требования

Основные требования к настроенному источнику данных, необходимые для любого варианта использования выбранных данных, который выполняет система выбора данных.

Выбор источника данных. В одном варианте запроса, невозможно предусмотреть все нюансы. Либо если попытаться сделать сложный запрос учитывающий все, он получится излишне сложным, что отрицательно скажется на производительности, но при этом на практике нужно будет только часть выбираемых данных. Вместо одного сложного запроса, эффективнее сделать несколько более простых, но и более быстрых вариантов запроса, из которых пользователь сможет выбрать подходящий.

Настройка параметров и фильтров. Один и тот же источник необходимо выбирать с разными наборами фильтров, и параметров, в зависимости от ситуации.

Хранение и выбор варианта настроек. Для одной задачи в зависимости от ситуации может понадобится выбор данных, с различными параметрами, фильтрами и источником данных. Чтобы не настраивать каждый раз, необходимо хранить несколько вариантов готовых настроек.

Предварительный просмотр. Если данные выбираются не для отображения на какой то форме, а выбирается и обрабатывается на стороне сервера, для проверки полезно будет увидеть какие данные попадут в обработку, с учетом выбранного источника и настроенных фильтров, в виде отчета.

Динамические параметры. Возможность передать вместо с настроенным источником, программно, дополнительные параметры и фильтры, который будут добавлены к записанным настройкам.

Ограничения выбора данных. В выбор данных могут попасть тысячи или даже миллионы записей, что может перегрузить систему. Необходима возможность ограничения количества строк за один запрос.

Схема работы системы

Источник данных

Возможные варианты источника запроса, для выбора данных:

• Модуль выбора, в настройках источника выбирается ссылка на зарегистрированный модуль выбора данных. Запрос прописан в подключенном модуле;
• Объект метаданных, в настройках источника выбирается ссылка на описание объекта метаданных конфигурации. Запрос генерируется динамически из выбранного вида метаданных. Дополнительно в запрос могут быть добавлены данные из плана обмена, журнала регистрации и характеристики;
• Текстовый сценарий, настройка выбирается ссылка на текстовый сценарий с запросом.

Результат запроса

Функция получает на вход ссылку на настроенный источник данных, а ответ возвращает результат в одном из форматов, на выбор:

• Табличный документ, для формирования отчета предварительного просмотра выбранных данных;
• Таблица значений, для обработки данных на стороне сервера;
• Массив структур, может быть сериализован для отправки в клиентскую функцию, либо в JSON для отправки в API внешней системы.