Provider: SageMaker

El provider sagemaker ejecuta el pipeline como un SageMaker Pipeline multi-step en AWS. Escala desde miles hasta millones de filas sin cambiar el YAML — solo cambia el provider.

Requisitos previos

pip install godml[aws]

# Credenciales AWS
export AWS_ACCESS_KEY_ID=AKIA...
export AWS_SECRET_ACCESS_KEY=...
export AWS_DEFAULT_REGION=us-east-1
export SAGEMAKER_ROLE_ARN=arn:aws:iam::123456789012:role/SageMakerRole

Configuración mínima

name: customer-churn
version: 1.0.0
provider: sagemaker

dataset:
  uri: s3://mi-bucket/data/churn.csv   # debe ser S3
  target: churned

aws:
  role_arn: ${SAGEMAKER_ROLE_ARN}
  region: us-east-1
  s3_bucket: mi-bucket

model:
  type: xgboost
  hyperparameters:
    max_depth: 6
    eta: 0.3

metrics:
  - name: auc
    threshold: 0.80

Configuración completa

provider: sagemaker

aws:
  role_arn: ${SAGEMAKER_ROLE_ARN}
  region: us-east-1
  s3_bucket: mi-bucket
  s3_prefix: godml           # default: "godml"
  kms_key_id: ${KMS_KEY_ID}  # opcional — cifrado KMS

compute:
  preprocessing: ml.m5.large    # default
  training: ml.m5.2xlarge       # default
  evaluation: ml.m5.large       # default

registry:
  model_package_group: godml-churn
  approval: manual              # manual | auto

Pipeline generado

godml crea automáticamente este pipeline en SageMaker:

s3://bucket/data/churn.csv
        ↓
┌──────────────────────────────────────────────┐
│  PreprocessingStep  [ml.m5.large]             │
│  • compliance + PII masking                   │
│  • train/test split 80/20                     │
│  → s3://bucket/godml/pipeline/preprocessed/  │
└──────────────────────────────────────────────┘
        ↓
┌──────────────────────────────────────────────┐
│  TrainingStep  [ml.m5.2xlarge]               │
│  • XGBoost built-in container                 │
│  → s3://bucket/godml/pipeline/model/         │
└──────────────────────────────────────────────┘
        ↓
┌──────────────────────────────────────────────┐
│  EvaluationStep  [ml.m5.large]               │
│  • AUC, F1, Precision, Recall                 │
│  → evaluation.json                            │
└──────────────────────────────────────────────┘
        ↓ (solo si AUC ≥ threshold)
┌──────────────────────────────────────────────┐
│  RegisterModel  (condicional)                 │
│  • SageMaker Model Package Group              │
│  • PendingManualApproval / Approved           │
└──────────────────────────────────────────────┘

Tipos de instancias recomendadas

Dataset	Training recomendado	Costo aprox.
< 100K filas	ml.m5.large	$0.12/h
100K – 1M filas	ml.m5.2xlarge	$0.46/h
> 1M filas	ml.m5.4xlarge	$0.92/h
Con GPU	ml.g4dn.xlarge	$0.74/h

Los steps se levantan y apagan solos — solo pagas el tiempo que corren.

IAM Role necesario

{
  "Effect": "Allow",
  "Action": [
    "sagemaker:*",
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListBucket",
    "iam:PassRole",
    "logs:CreateLogGroup",
    "logs:CreateLogStream",
    "logs:PutLogEvents",
    "ecr:GetDownloadUrlForLayer",
    "ecr:BatchGetImage"
  ],
  "Resource": "*"
}

En la consola de AWS: IAM → Roles → Create Role → SageMaker → AmazonSageMakerFullAccess.

Modelos soportados

model.type	Container AWS
xgboost	SageMaker XGBoost built-in
random_forest	SageMaker SKLearn
logistic_regression	SageMaker SKLearn
lightgbm	SageMaker SKLearn + lightgbm

Ejecutar

godml run -f godml.yml

godml:

1. Construye la definición del Pipeline
2. Hace upsert en SageMaker (crea o actualiza)
3. Inicia la ejecución
4. Espera y muestra el status de cada step
5. Reporta el ARN de ejecución para trazabilidad

---

→ DataPrep Service