OpenIngest
Open-source data ingestion engine. 500+ connectors. Log-based CDC. Schema drift handling. PII masking. Arrow → Parquet → Lakehouse.
Power your agent
การติดตั้งจากผู้เผยแพร่ ไม่ใช่เอนด์พอยต์ของ PlugMCP
URL แบบรีโมตหรือคำสั่งบนเครื่องของคุณ? การติดตั้งสองแบบต่างกันอย่างไร
รันบน PlugMCP
A new server you create. It is not this listing's official endpoint. Use the publisher install when you want their URL and their credentials.
เปิดจากผู้เผยแพร่
Open-source data ingestion engine. 500+ connectors. Log-based CDC. Schema drift handling. PII masking. Arrow → Parquet → Lakehouse.
Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server
# Install
curl -fsSL https://openingest.ai/install.sh | sh
# Run with demo
openingest daemon --config demo/pipeline.yaml
# Create a pipeline
openingest pipeline create -f my_pipeline.yaml
# Trigger a sync
openingest sync <pipeline-id>
# List connectors
openingest connector list
pipeline:
name: sales_cdc
source:
type: postgres
config:
host: localhost
database: prod
sync_mode: log_cdc
destination:
type: iceberg
config:
warehouse: s3://my-lakehouse/
transforms:
- type: pii_mask
rules:
- table: public.users
column: email
method: sha256
schedule: "*/5 * * * *"
schema_drift: auto_add
┌──────────────┐ ┌──────────────────┐ ┌────────────────┐
│ WASM Plugin │ │ Singer Adapter │ │ Airbyte Adapter│
│ (connectors)│ │ (Python taps) │ │ (Docker specs) │
└──────┬───────┘ └────────┬─────────┘ └───────┬────────┘
│ │ │
└────────────────────┼──────────────────────┘
│
┌───────▼────────┐
│ Pipeline │
│ Engine │
└───────┬────────┘
│
┌─────────────┼─────────────┐
│ │ │
┌─────▼────┐ ┌─────▼────┐ ┌─────▼────┐
│ Transform │ │ Schema │ │Checkpoint│
│ (PII) │ │ Drift │ │Manager │
└─────┬────┘ └─────┬────┘ └─────┬────┘
│ │ │
┌─────▼─────────────▼─────────────▼────┐
│ Arrow RecordBatch │
└────────────────┬─────────────────────┘
│
┌────────────────▼──────────────────────┐
│ Parquet File Writer │
│ ┌────────┐ ┌────────┐ ┌────────┐ │
│ │Iceberg │ │ Delta │ │ Hudi │ │
│ └────────┘ └────────┘ └────────┘ │
└────────────────────────────────────────┘
Benchmarks run on c6g.4xlarge (16 vCPU, 32GB RAM). Full methodology in BENCHMARKS.md.
30 Tier-1 (hand-crafted WASM): Postgres, MySQL, MariaDB, SQL Server, Oracle, MongoDB, DynamoDB, Cassandra, S3, GCS, Azure Blob, Kafka, Redpanda, RabbitMQ, HTTP/REST, GraphQL, CSV, JSON, Parquet, Snowflake, BigQuery, Redshift, ClickHouse, Elasticsearch, Redis, GitHub, Stripe, Salesforce, HubSpot, Shopify
200+ Tier-2 (declarative factory): Auto-generated from OpenAPI specs, JDBC drivers, and API templates
200+ Tier-3 (Singer/Airbyte compatibility): Run existing Singer taps and Airbyte sources
Apache 2.0
Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server
เครื่องมือ
ยังไม่มีรายการเครื่องมือ เซิร์ฟเวอร์แบบรีโมตจะได้รายการหลังการตรวจสอบสถานะครั้งแรก
FAQ
คัดลอกคอนฟิก stdio สำหรับ Cursor, Claude Desktop, Claude Code หรือ VS Code ได้ในหน้านี้ คอนฟิกนี้ใช้การติดตั้งของผู้เผยแพร่ ไม่ใช่พร็อกซีของ PlugMCP
ระเบียนนี้ไม่ได้ระบุตัวแปรสภาพแวดล้อมที่จำเป็น
Openingest ทำงานแบบโลคัลผ่าน stdio
ตรวจสอบล่าสุดเมื่อ 2026-10-28 Open-source data ingestion engine — rivaling Fivetran, Airbyte Cloud, and AWS DMS with 500+ connector architecture, CDC, schema drift, PII masking, Arrow → Parquet output, WASM plugins, and MCP server