Architecture Tradeoff Analysis Method (ATAM)
O ATAM é um método estruturado de avaliação de arquiteturas que permite identificar trade-offs, sensibilidades e riscos técnicos de forma sistemática, considerando múltiplos atributos de qualidade relevantes ao contexto de negócio. Ele é composto por 9 passos, divididos em 4 etapas, que são explicados detalhadamente a seguir.
- Passo 1: Exposição do método
- Passo 2: Definição dos business drivers
- Passo 3: Apresentação inicial da arquitetura
- Passo 4: Identificação das abordagens arquiteturais
- Passo 5: Construção da árvore utilitária
- Passo 6: Análise técnica das abordagens
- Passo 7: Brainstorm de cenários e priorização dos cenários críticos
- Passo 8: Reanálise baseada nas prioridades
- Passo 9: Síntese dos achados, documentação dos trade-offs e recomendações finais
Aplicação do ATAM aos resultados obtidos
Definição dos cenários críticos que o sistema deve suportar.
- Processar alto volume diário de solicitações
- Minimizar falsos positivos (evitar concessão a inadimplentes)
- Minimizar falsos negativos (não negar crédito a bons pagadores)
- Acurácia mínima: 80% (RNF01)
- Tempo de treinamento menor possível (RNF02)
- Infraestrutura alvo: CPU única e memória limitada
- Modelo linear interpretável
- Inferência muito rápida
- Limitações em padrões não lineares
- 40 árvores bootstrap
- Robusto a ruído
- Custo computacional moderado
- 210 árvores, regularização L1/L2
- Alto poder preditivo
- Exige tuning cuidadoso
- 3 camadas ocultas (128→64→32)
- Alta capacidade expressiva
- Tempo de treino elevado e "caixa opaca"
| Algoritmo | Tempo de Treinamento |
|---|---|
| Regressão Logística | ~21 s |
| Random Forest | ~74 s |
| XGBoost | ~37 s |
| MLP | ~784 s |
Fato
XGBoost obteve o melhor desempenho em todas as métricas
Custo
MLP teve tempo de treinamento muito superior (≈784 s).
Risco
Regressão Logística apresenta baixa sensibilidade em recall (0.2779).
- MLP: tempo de treinamento cresce muito com volume de dados (escala mal).
- Random Forest e XGBoost: sensíveis ao número de árvores (trade-off precisão × tempo).
- Regressão Logística: sensível à separabilidade das classes (impacto no recall).
Desempenho vs Complexidade
XGBoost e Random Forest entregam alto desempenho, com custo de treinamento maior que modelos lineares.
Recall vs Interpretabilidade
Modelos mais complexos (XGBoost, MLP) aumentam recall e F1, mas reduzem interpretabilidade em relação à Regressão Logística.
Na priorização hipotética conduzida com stakeholders, o critério de minimizar falsos positivos (segurança financeira) foi classificado como mais importante. Além disso, destacou-se a relevância da interpretabilidade e capacidade de auditoria dos modelos no contexto bancário.
Critério principal
Minimizar falsos positivos (garantir segurança financeira).
Critério secundário
Alta interpretabilidade e capacidade de auditoria dos resultados.
Com as prioridades definidas, reavaliamos as métricas: XGBoost possui acurácia, recall especificidade, precisão e F1 superiores com tempo de treinamento inferior, em comparação com o Random Forest, apesar de uma menor interpretabilidade. Os outros modelos ficam aquém nas prioridades definidas.
Relatório consolidado com recomendações operacionais.
Recomendação
A recomendação destaca as sensibilidades e trade-offs identificados e indica a adoção de XGBoost como arquitetura padrão para apoio diário à decisão de crédito. Para mitigar riscos residuais, sugere-se o ajuste fino de hiperparâmetros, assegurando equilíbrio entre alta precisão preditiva e desempenho operacional. Sendo assim, se fosse necessária a escolha de somente um algoritmo, o XGBoost seria o mais adequado.
Riscos
- Sensibilidade a hiperparâmetros, podendo gerar variação de desempenho.
- Possibilidade de degradação por mudanças na distribuição dos dados (drift).
Mitigações
- Ajuste fino e validação regular dos hiperparâmetros para manter estabilidade.
- Monitoramento contínuo e protocolos de re-treinamento para reduzir efeitos de drift.