Open Source · Python ≥3.8 · v1.8.8
Olympipe Pipelines parallèles sans boilerplate
Chaînez des étapes multiprocessing en Python avec une API fluide. Contournez le GIL, saturez votre CPU ou votre GPU, sans gérer de Pool ni de Queue.
Installation
$ pip install olympipe
Démarrage rapide
python
from olympipe import Pipeline
results = (
Pipeline(range(1000))
.task(heavy_compute, count=8) # 8 workers parallèles
.filter(lambda x: x > 0)
.batch(32)
.wait_for_result()
)Performance locale
Chaque étape tourne dans son propre processus — pas de GIL, pas de coordination manuelle.
8x
speedup typique avec 8 workers
0
boilerplate multiprocessing
100x
plus rapide avec cache disque
Fonctionnalités
⚡ 🔍 📦 🔀 🧠 💾
Tâches parallèles
Multipliez les workers d'un seul paramètre
Filtrage
Élaguez votre flux sans rompre le pipeline
Batching
Regroupez les items pour saturer votre GPU ou votre BDD
Split & Gather
Branchez votre pipeline en flux indépendants, fusionnez-les après
Workers avec état
Un modèle ML par worker, chargé une seule fois
Cache disque
Rejouer une étape coûteuse sans recalculer
Voir tous les exemples
Exemples prêts à copier-coller pour vos use cases concrets