Cloudflare сообщила, что в ходе Birthday Week открыла Logpush для всех тарифов с самообслуживанием и сделала функцию Transformers общедоступной1. По описанию компании, Transformer — это SQL-запрос к конкретному набору данных Logpush. Записи, не прошедшие условие WHERE, отбрасываются, а в оставшихся перед экспортом в NDJSON можно маскировать, переименовывать, добавлять, удалять или вкладывать поля1. Cloudflare утверждает, что это избавляет от отдельного сервиса обработки и может снизить объём и стоимость данных на стороне получателя1. Запросы выполняются внутри сервиса доставки на движке Apache DataFusion. Сбои обрабатываются по принципу «fail closed»: необработанные данные не отправляются, повторы откладываются, а долго сбоящие задания отключаются автоматически1. Приведённая цифра производительности — около 3 мс на синтетический пакет из 5000 строк — получена в собственном тесте компании1. По оценке редакции, реальная экономия будет зависеть от объёма и состава логов. Чтобы попробовать функцию, Cloudflare предлагает открыть Transformer Studio, выбрать набор данных, проверить запрос на образце записи, сохранить его и подключить к подходящему заданию; функция заявлена для тарифов Free, Pro, Business и Enterprise1.

  1. [1] Filter, reshape, and redact logs before export with TransformersCloudflare