OpenIngest
Open-source data ingestion engine. 500+ connectors. Log-based CDC. Schema drift handling. PII masking. Arrow → Parquet → Lakehouse.
Power your agent
पब्लिशर का इंस्टॉल। PlugMCP एंडपॉइंट नहीं।
Host a copy with our keys and logs.
रजिस्ट्री में अभी कोई पैकेज्ड रिलीज़ नहीं है। रिपॉज़िटरी का README देखें.
रिमोट URL या आपकी मशीन पर कमांड? दोनों इंस्टॉल में क्या अंतर है
PlugMCP पर चलाएँ
A new server you create. It is not this listing's official endpoint. Use the publisher install when you want their URL and their credentials.
लॉन्चपब्लिशर से
Open-source data ingestion engine. 500+ connectors. Log-based CDC. Schema drift handling. PII masking. Arrow → Parquet → Lakehouse.
Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server
# Install
curl -fsSL https://openingest.ai/install.sh | sh
# Run with demo
openingest daemon --config demo/pipeline.yaml
# Create a pipeline
openingest pipeline create -f my_pipeline.yaml
# Trigger a sync
openingest sync <pipeline-id>
# List connectors
openingest connector list
pipeline:
name: sales_cdc
source:
type: postgres
config:
host: localhost
database: prod
sync_mode: log_cdc
destination:
type: iceberg
config:
warehouse: s3://my-lakehouse/
transforms:
- type: pii_mask
rules:
- table: public.users
column: email
method: sha256
schedule: "*/5 * * * *"
schema_drift: auto_add
┌──────────────┐ ┌──────────────────┐ ┌────────────────┐
│ WASM Plugin │ │ Singer Adapter │ │ Airbyte Adapter│
│ (connectors)│ │ (Python taps) │ │ (Docker specs) │
└──────┬───────┘ └────────┬─────────┘ └───────┬────────┘
│ │ │
└────────────────────┼──────────────────────┘
│
┌───────▼────────┐
│ Pipeline │
│ Engine │
└───────┬────────┘
│
┌─────────────┼─────────────┐
│ │ │
┌─────▼────┐ ┌─────▼────┐ ┌─────▼────┐
│ Transform │ │ Schema │ │Checkpoint│
│ (PII) │ │ Drift │ │Manager │
└─────┬────┘ └─────┬────┘ └─────┬────┘
│ │ │
┌─────▼─────────────▼─────────────▼────┐
│ Arrow RecordBatch │
└────────────────┬─────────────────────┘
│
┌────────────────▼──────────────────────┐
│ Parquet File Writer │
│ ┌────────┐ ┌────────┐ ┌────────┐ │
│ │Iceberg │ │ Delta │ │ Hudi │ │
│ └────────┘ └────────┘ └────────┘ │
└────────────────────────────────────────┘
Benchmarks run on c6g.4xlarge (16 vCPU, 32GB RAM). Full methodology in BENCHMARKS.md.
30 Tier-1 (hand-crafted WASM): Postgres, MySQL, MariaDB, SQL Server, Oracle, MongoDB, DynamoDB, Cassandra, S3, GCS, Azure Blob, Kafka, Redpanda, RabbitMQ, HTTP/REST, GraphQL, CSV, JSON, Parquet, Snowflake, BigQuery, Redshift, ClickHouse, Elasticsearch, Redis, GitHub, Stripe, Salesforce, HubSpot, Shopify
200+ Tier-2 (declarative factory): Auto-generated from OpenAPI specs, JDBC drivers, and API templates
200+ Tier-3 (Singer/Airbyte compatibility): Run existing Singer taps and Airbyte sources
Apache 2.0
Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server
टूल
अभी टूल सूची नहीं है। रिमोट सर्वर को पहले हेल्थ चेक के बाद सूची मिलती है।
FAQ
इस पेज पर Cursor, Claude Desktop, Claude Code या VS Code के लिए stdio कॉन्फ़िग कॉपी करें। यह पब्लिशर का इंस्टॉल इस्तेमाल करता है, PlugMCP प्रॉक्सी नहीं।
इस रिकॉर्ड में कोई ज़रूरी एनवायरनमेंट वेरिएबल दर्ज नहीं है।
Openingest stdio पर लोकल चलता है।
पिछली जाँच 2026-10-28 को हुई। Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server