Comment fonctionne la pipeline de traitement des documents ?
Les documents passent dans amaise par une pipeline définie en plusieurs étapes :
CRÉATION → OCR → SEGMENTATION → DÉCOUPE → INDEXATION → EXTRACTION → ANALYSE → RÉPONSE → DISPONIBLE
Caractéristiques principales :
Workers idempotents : Chaque étape est traitée par un worker autonome et sans état. En cas d’erreur, le traitement peut être répété en toute sécurité.
Communication asynchrone : Les workers communiquent via des files de messages (SQS). Chaque worker traite une tâche à la fois.
Séparation des clients : Chaque tâche est associée à un client spécifique. Les mêmes contrôles d’isolation des clients s’appliquent que dans le reste de l’application.
Stockage chiffré : Les documents sont stockés dans S3 avec des clés de chiffrement spécifiques à chaque client.
