Fluxul unui proiect ML

Fluxul unui proiect de Machine Learning (ML) nu este o linie dreaptă, ci un ciclu iterativ care transformă datele brute în decizii valoroase. În practică, ignorarea acestui flux duce adesea la modele care funcționează excelent în laborator, dar eșuează catastrofally în producție. Înțelegerea pașilor esențiali îți permite să eviți capcanele comune și să livrezi soluții robuste, scalabile și menținabile. Fiecare etapă influențează direct succesul ultimei, făcând din acest proces fundația oricărui rol tehnic în AI.

Concepte cheie

• Definirea problemei: Stabilirea clară a obiectivului de business (ex: reducere cheltuieli, creștere vânzări) și traducerea lui într-o problemă tehnică precisă (clasificare, regresie).
• Colectarea datelor: Identificarea surselor relevante de date, asigurându-te că ai suficiente exemple reprezentative pentru a antrena modelul fără bias-uri majore.
• Prelucrarea datelor (Data Cleaning): Gestiunea valorilor lipsă, eliminarea outlier-ilor și normalizarea formatelor, deoarece calitatea input-ului determină calitatea output-ului ("garbage in, garbage out").
• Feature Engineering: Crearea sau selecția variabilelor (features) care oferă cele mai bune indicii pentru predicție, transformând datele brute în informații utilizabile de algoritmi.
• Antrenarea modelului: Alegerea algoritmului potrivit (de la Regresie Lineară la Rețele Neurale) și ajustarea hiperparametrilor pentru a minimiza eroarea pe datele de antrenament.
• Evaluarea modelului: Utilizarea metricilor specifice (precizie, recall, F1-score, RMSE) pe un set de test izolat pentru a verifica performanța generalizată, nu doar memorarea datelor.
• Deploy și Monitorizare: Implementarea modelului într-un mediu de producție și monitorizarea continuă a drift-ului datelor pentru a reantrena modelul când performanța scade.

Exemplu practic

Să presupunem că construiești un sistem de detectare a fraudelor la plăți cu cardul.

1. Date: Extragi istoricul tranzacțiilor ultimilor 6 luni.
2. Curățare: Elimini tranzacțiile cu sume zero sau erori de sistem și completezi vârsta clientului lipsă cu media pe categorii.
3. Features: Creezi o coloană nouă avg_transaction_last_hour calculând media tranzacțiilor clientului în ultima oră.
4. Model: Antrenezi un Random Forest Classifier, împărțind datele 80% antrenament / 20% test.
5. Evaluare: Verifici că Recall este >95%, crucial pentru a prinde cât mai multe fraude, chiar dacă apar câteva false alarms.
6. Deploy: Exposezi modelul ca API REST care primește detalii tranzacție și returnează un risc (0-1).

# Pseudocod simplificat pentru evaluare
from sklearn.metrics import recall_score

# y_true = etichetele reale, y_pred = predicțiile modelului
recall = recall_score(y_true, y_pred)
print(f"Capacitatea de a detecta fraude: {recall:.2%}")

Greșeli frecvente

• Data Leakage: Folosirea informației din viitor sau din setul de test în timpul antrenamentului, ceea ce dă rezultate artificial de bune care se prăbușesc în producție.
• Ignorarea distribuției datelor: Presupunerea că datele sunt normale când sunt skew-uite, ducând la modele care nu generalizează bine pe cazurile rare (ex: fraudele).
• Overfitting pe datele de test: Ajustarea excesivă a modelului pentru a performa perfect pe setul de validare, pierzând capacitatea de a gestiona date noi.
• Neglijarea contextului de business: Optimizarea unei metrici tehnice (ex: acuratețe) care nu se aliniază cu costul real al erorii pentru companie.

Întrebări de interviu

1. De ce este importantă împărțirea datelor în train/test? Răspuns: Pentru a evalua capacitatea modelului de a generaliza pe date necunoscute, simulând performanța reală în producție și prevenind overfitting-ul.

2. Ce faci dacă ai date neechilibrate (ex: 99% legitime, 1% fraudă)? Răspuns: Folosesc tehnici precum SMOTE pentru oversampling, undersampling a clasei majoritare, sau ajustarea ponderilor claselor în funcție de algoritm.

3. Cum monitorizezi un model după deploy? Răspuns: Urmăresc drift-ul distribuției datelor de intrare și scăderea metricilor de performanță în timp, declanșând reantrenarea automată sau manuală când depășesc praguri stabilite.

Exercițiu

Alege un dataset simplu de pe Kaggle (ex: Titanic sau House Prices).

1. Încarcă datele în Pandas și verifică tipurile de date și valorile lipsă.
2. Șterge coloanele irelevante și prelucrează datele categorice (ex: One-Hot Encoding).
3. Antrenează un model simplu (Logistic Regression sau Decision Tree).
4. Evaluează-l folosind accuracy și confuzia matrice.
5. Scrie un rezumat de o paragraf: ce feature-uri au fost cele mai predictive și unde ar fi putut fi îmbunătățit fluxul?