OpenIngest
Open-source data ingestion engine. 500+ connectors. Log-based CDC. Schema drift handling. PII masking. Arrow → Parquet → Lakehouse.
Potencialize seu agente
Instalação do publicador. Não é um endpoint do PlugMCP.
Host a copy with our keys and logs.
Ainda não há uma versão empacotada no registro. Siga o README do repositório.
URL remota ou um comando na sua máquina? Como as duas instalações diferem
Rodar no PlugMCP
A new server you create. It is not this listing's official endpoint. Use the publisher install when you want their URL and their credentials.
AbrirDo publicador
Open-source data ingestion engine. 500+ connectors. Log-based CDC. Schema drift handling. PII masking. Arrow → Parquet → Lakehouse.
Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server
# Install
curl -fsSL https://openingest.ai/install.sh | sh
# Run with demo
openingest daemon --config demo/pipeline.yaml
# Create a pipeline
openingest pipeline create -f my_pipeline.yaml
# Trigger a sync
openingest sync <pipeline-id>
# List connectors
openingest connector list
pipeline:
name: sales_cdc
source:
type: postgres
config:
host: localhost
database: prod
sync_mode: log_cdc
destination:
type: iceberg
config:
warehouse: s3://my-lakehouse/
transforms:
- type: pii_mask
rules:
- table: public.users
column: email
method: sha256
schedule: "*/5 * * * *"
schema_drift: auto_add
┌──────────────┐ ┌──────────────────┐ ┌────────────────┐
│ WASM Plugin │ │ Singer Adapter │ │ Airbyte Adapter│
│ (connectors)│ │ (Python taps) │ │ (Docker specs) │
└──────┬───────┘ └────────┬─────────┘ └───────┬────────┘
│ │ │
└────────────────────┼──────────────────────┘
│
┌───────▼────────┐
│ Pipeline │
│ Engine │
└───────┬────────┘
│
┌─────────────┼─────────────┐
│ │ │
┌─────▼────┐ ┌─────▼────┐ ┌─────▼────┐
│ Transform │ │ Schema │ │Checkpoint│
│ (PII) │ │ Drift │ │Manager │
└─────┬────┘ └─────┬────┘ └─────┬────┘
│ │ │
┌─────▼─────────────▼─────────────▼────┐
│ Arrow RecordBatch │
└────────────────┬─────────────────────┘
│
┌────────────────▼──────────────────────┐
│ Parquet File Writer │
│ ┌────────┐ ┌────────┐ ┌────────┐ │
│ │Iceberg │ │ Delta │ │ Hudi │ │
│ └────────┘ └────────┘ └────────┘ │
└────────────────────────────────────────┘
Benchmarks run on c6g.4xlarge (16 vCPU, 32GB RAM). Full methodology in BENCHMARKS.md.
30 Tier-1 (hand-crafted WASM): Postgres, MySQL, MariaDB, SQL Server, Oracle, MongoDB, DynamoDB, Cassandra, S3, GCS, Azure Blob, Kafka, Redpanda, RabbitMQ, HTTP/REST, GraphQL, CSV, JSON, Parquet, Snowflake, BigQuery, Redshift, ClickHouse, Elasticsearch, Redis, GitHub, Stripe, Salesforce, HubSpot, Shopify
200+ Tier-2 (declarative factory): Auto-generated from OpenAPI specs, JDBC drivers, and API templates
200+ Tier-3 (Singer/Airbyte compatibility): Run existing Singer taps and Airbyte sources
Apache 2.0
Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server
Ferramentas
Ainda não há lista de ferramentas. Servidores remotos recebem uma após a primeira verificação de saúde.
Perguntas frequentes
Copie nesta página a configuração stdio para Cursor, Claude Desktop, Claude Code ou VS Code. Ela usa a instalação do publicador, não um proxy do PlugMCP.
Este registro não lista nenhuma variável de ambiente obrigatória.
Openingest roda localmente via stdio.
Última verificação: 2026-10-28. Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server