DataPipe Platform

Потоковая обработка данных в реальном времени. Объединяйте любые источники, трансформируйте на лету и доставляйте куда угодно за миллисекунды.

🚀 Версия 3.2 — Pipeline Engine с поддержкой YAML-конфигураций
Смотреть тарифы Документация API
12M+
событий в секунду
99.99%
uptime SLA
<1ms
P99 задержка
140+
интеграций
24
региона

Возможности платформы

Всё необходимое для построения надёжных высоконагруженных конвейеров данных

🔔
Функционал активно расширяется в ходе бета-тестирования. Новые интеграции добавляются еженедельно.
🔄

Real-Time Streaming

Обработка событий в момент их появления. Совместимость с Apache Kafka, exactly-once семантика и автоматическая настройка партиционирования. Поддержка change data capture из баз данных.

⚡

Transform Engine

Фильтрация, агрегация, обогащение и джойны данных на лету. SQL-подобный DSL или визуальный редактор пайплайнов. Пользовательские функции на JavaScript и Python.

🛡️

Schema Registry

Автоматическая валидация и эволюция схем. Поддержка Avro, Protobuf и JSON Schema. Обнаружение breaking changes до попадания в продакшен.

📊

Наблюдаемость

Сквозной мониторинг пайплайнов: гистограммы задержек, метрики пропускной способности, алертинг. Дашборды в реальном времени с экспортом в Prometheus и Grafana.

🔐

Enterprise Security

Соответствие SOC 2 Type II. Шифрование данных at rest и in transit. RBAC с интеграцией LDAP/SAML, аудит-логирование всех операций с данными.

🌐

Multi-Region

Развёртывание пайплайнов в 24 регионах мира. Автоматический failover, контроль локализации данных. Edge-обработка для минимизации задержек.

🔗

Change Data Capture

Захват изменений из PostgreSQL, MySQL, MongoDB, SQL Server в реальном времени. Никаких модификаций исходной базы, минимальная нагрузка.

📦

Batch + Streaming

Единая платформа для потоковой и пакетной обработки. Автоматическое слияние результатов. Обратная засечка (backfill) исторических данных без остановки пайплайна.

🤖

AI/ML Pipelines

Встроенная поддержка ML-моделей в пайплайнах. Feature store, real-time inference, A/B тестирование моделей. Интеграция с PyTorch и TensorFlow Serving.

Как это работает

Запустите первый пайплайн за 5 минут

Подключите источник

Выберите из 140+ готовых коннекторов: базы данных, очереди сообщений, API, файлы, SaaS-сервисы.

Настройте трансформацию

Используйте SQL-подобный DSL или визуальный редактор. Фильтрация, агрегация, обогащение, джойны.

Укажите приёмник

Направьте обработанные данные в хранилище, поисковый движок, аналитическую платформу или webhook.

Мониторьте и масштабируйте

Следите за метриками в реальном времени. Автоматическое масштабирование при росте нагрузки.

Примеры конфигурации

Опишите пайплайн декларативно — в YAML или через API

pipeline.yaml
# Захват заказов из PostgreSQL → агрегация → Elasticsearch source: type: postgres_cdc host: db.prod.internal database: orders replication_slot: datapipe_slot tables: [orders, order_items] transform: filter: status = 'completed' AND total > 100 enrich: lookup: customers_db fields: [segment, region] aggregate: window: 5m group_by: [region, segment] metrics: revenue: SUM(total) orders: COUNT(*) avg_value: AVG(total) sink: type: elasticsearch index: order_analytics_v2 batch_size: 5000 retry: max_attempts: 3 backoff: exponential
curl — REST API
# Создание пайплайна через API curl -X POST https://api.datapipe.io/v3/pipelines -H "Authorization: Bearer $DATAPIPE_TOKEN" -H "Content-Type: application/json" -d '{ "name": "orders-realtime", "throughput": "high", "source": { "type": "postgres_cdc", ... }, "sink": { "type": "elasticsearch", ... } }' # Ответ { "id": "pipe_8x7k2m9n", "status": "running", "throughput_rps": 45000 }

Технологии под капотом

Современный стек для максимальной производительности и надёжности

⚡ Apache Kafka
🔒 TLS 1.3 + mTLS
🗜️ Zstd / Snappy
🐳 Kubernetes
📈 Auto-Scaling
🔄 Exactly-Once
🌐 gRPC + REST
💾 RocksDB State

140+ интеграций

Подключайте любые источники и приёмники данных

🐘
PostgreSQL
🍃
MongoDB
🔴
Redis
🔎
Elastic
❄️
Snowflake
🚀
ClickHouse
📊
Grafana
☁️
AWS S3
🔷
Azure
🟡
GCP
📈
Kafka
🔥
BigQuery

Тарифные планы

Начните бесплатно, масштабируйтесь по мере роста. Без скрытых платежей.

Starter

0 ₽/мес
  • 1M событий/мес
  • 5 пайплайнов
  • 3 интеграции
  • Сообщество
  • 7 дней логов
  • Basic мониторинг

Professional

2 990 ₽/мес
  • 100M событий/мес
  • Безлимит пайплайнов
  • Все интеграции
  • Приоритетная поддержка
  • 30 дней логов
  • Schema Registry
  • Alerting
  • SLA 99.9%

Enterprise

По запросу
  • Безлимит событий
  • Выделенный кластер
  • Custom SLA 99.99%
  • 24/7 поддержка
  • On-Premise
  • RBAC + SSO
  • Персональный менеджер
  • Audit Logging

Отзывы клиентов

Компании доверяют DataPipe свои критически важные данные

«DataPipe сократил время обработки заказов с 15 минут до 3 секунд. Наши аналитики получают данные практически мгновенно.»
АК
Алексей Козлов
CTO, RetailTech
«Миграция с самописного решения заняла 2 дня. Через неделю мы уже обрабатывали 5M событий в секунду без единого сбоя.»
МС
Мария Соколова
Lead Data Engineer, FinWave
«Schema Registry и exactly-once семантика — именно то, чего нам не хватало. Инциденты с потерей данных ушли в прошлое.»
ДП
Дмитрий Петров
VP Engineering, DataCore

Частые вопросы

Ответы на популярные вопросы о платформе DataPipe

Что такое DataPipe? ▼
DataPipe — платформа потоковой обработки данных в реальном времени. Позволяет соединять любые источники данных, трансформировать информацию на лету и доставлять в нужные системы с задержкой менее 1мс. Поддерживает 140+ интеграций из коробки.
Платформа уже доступна? ▼
Сейчас DataPipe находится в стадии закрытого бета-тестирования. Мы активно дорабатываем функционал и расширяем список интеграций. Оставьте заявку, чтобы получить ранний доступ.
Какие источники данных поддерживаются? ▼
Мы поддерживаем 140+ коннекторов: реляционные БД (PostgreSQL, MySQL, SQL Server), NoSQL (MongoDB, Cassandra, DynamoDB), очереди сообщений (Kafka, RabbitMQ, NATS), облачные хранилища (S3, GCS, Azure Blob), SaaS-сервисы (Salesforce, HubSpot, Stripe) и многое другое.
Есть ли гарантия доставки данных? ▼
Да. DataPipe обеспечивает exactly-once семантику — каждое событие обрабатывается ровно один раз. Все данные проходят через персистентное хранилище (RocksDB), что гарантирует сохранность даже при сбоях. SLA 99.99% на Enterprise-тарифе.
Можно ли использовать свой Kubernetes кластер? ▼
Да, DataPipe поддерживает развёртывание в собственном Kubernetes-кластере (On-Premise). Мы предоставляем Helm-чарты и Operator для автоматического управления. Данные остаются в вашей инфраструктуре.
Как обеспечивается безопасность? ▼
Все данные шифруются at rest (AES-256) и in transit (TLS 1.3). Поддержка mTLS для inter-service коммуникации. RBAC с интеграцией LDAP/SAML/Okta. Полный аудит-лог всех операций. SOC 2 Type II сертификация.
Какие лимиты на бесплатном тарифе? ▼
Starter включает 1M событий/мес, 5 пайплайнов, 3 интеграции и 7 дней хранения логов. Этого достаточно для разработки и тестирования. При превышении лимита обработка не останавливается — мы уведомим вас.
Есть ли SLA? ▼
Professional — 99.9% SLA с кредитами за простой. Enterprise — 99.99% SLA с индивидуальными условиями. Мониторинг доступности ведётся независимой third-party системой. Статус доступен на status.datapipe.io.

Документация и ресурсы

Всё для быстрого старта и глубокой настройки

📖

Quick Start Guide

Пошаговое руководство по созданию первого пайплайна. От установки до запуска в продакшен за 15 минут. Включает примеры для всех популярных источников данных.

🔧

API Reference

Полное описание REST API v3. CRUD операции для пайплайнов, мониторинг, управление схемами. Примеры на curl, Python, Go и JavaScript SDK.

🎓

Tutorials

Практические руководства: CDC из PostgreSQL, real-time аналитика, ML-inference в пайплайнах, multi-region репликация, backfill исторических данных.

Панель управления

Интуитивный интерфейс для мониторинга и управления всеми пайплайнами в реальном времени

dashboard.datapipe.io/pipelines
OverviewPipelinesSchemaMetricsAlerts
Events/sec
12.4M
↑ 8.2% vs avg
P99 Latency
0.8ms
↓ 12% vs avg
Pipelines
24
of 25 slots
Errors 24h
0
All systems OK
Active PipelinesView All →
orders-realtime-cdc
PostgreSQL → Elastic
45.2K/s
0.8ms
user-events-stream
Kafka → ClickHouse
128K/s
0.4ms
payment-reconciliation
Stripe → Snowflake
2.1K/s
1.2ms
ml-feature-pipeline
MongoDB → Redis+S3
8.5K/s
2.1ms

Безопасность и соответствие

Защита данных на уровне enterprise с полным аудитом и сертификациями

🏆

SOC 2 Type II

Ежегодный аудит независимой стороной. Полное соответствие требованиям безопасности, доступности, целостности и конфиденциальности данных клиентов.

🔑

Шифрование

AES-256 at rest, TLS 1.3 in transit. Поддержка customer-managed ключей (BYOK). HSM для критических операций. mTLS между микросервисами.

📋

Audit & Compliance

Полный аудит-лог всех операций с данными. Соответствие GDPR, HIPAA, PCI DSS. Автоматические compliance-отчёты. Data Loss Prevention.

👤

Access Control

RBAC с гранулярными разрешениями. Интеграция с LDAP, SAML 2.0, Okta, Azure AD. Single Sign-On и Multi-Factor Authentication для всех пользователей.

🛡

Network Security

VPC-изоляция, приватные эндпоинты, IP-whitelisting. DDoS-защита до 2 Тбит/с. Web Application Firewall. Penetration testing ежеквартально.

📍

Data Residency

Контроль геолокации данных. Размещение в конкретных регионах (РФ, ЕС, США). Соответствие требованиям локализации персональных данных (152-ФЗ).

Нам доверяют лидеры рынка

От стартапов до Enterprise — компании выбирают DataPipe для критически важных данных

RETAILTECH
FINWAVE
DATACORE
CLOUDSCALE
NEOBANK
GAMEVERSE
MEDIAFLOW