Convergence
Boucle d'entraînement sur 1M d'epochs pour valider la réduction de la Loss.
Recherche : Fondamentaux du Deep Learning
NNFS — Neural Networks
From Scratch
Maîtrise de la mécanique interne des réseaux de neurones. J'ai reconstruit un moteur d'apprentissage profond complet en Python & NumPy, incluant la Backpropagation manuelle et l'optimisation par descente de gradient.
01/ Implementation & Backprop
class Layer_Dense:
def forward(self, inputs):
self.inputs = inputs
self.output = np.dot(inputs, self.weights) + self.biases
def backward(self, d_out):
# Calcul des gradients par produit matriciel (Transpose)
self.dweights = np.dot(self.inputs.T, d_out)
self.dbiases = np.sum(d_out, axis=0, keepdims=True)
self.dinputs = np.dot(d_out, self.weights.T)
return self.dinputs
Extrait de la logique de rétropropagation pour la mise à jour des poids.
02/ Résultats d'entraînement
Dataset Spiral — 3 classes, 100 points chacune. Problème non-linéairement séparable : un réseau sans couche cachée ne peut pas le résoudre. Résultat final avec Adam + 2 couches denses :
epoch: 0 loss: 1.099 acc: 0.337
epoch: 1000 loss: 0.612 acc: 0.603
epoch: 3000 loss: 0.312 acc: 0.847
epoch: 5000 loss: 0.182 acc: 0.910
epoch: 8000 loss: 0.121 acc: 0.947
epoch: 10000 loss: 0.089 acc: 0.967
96.7% de précision sur un problème non-linéaire — sans framework, juste NumPy et des maths.
Logique Algorithmique
Contrairement aux approches haut-niveau, ce projet m'a permis d'implémenter l'Optimizer SGD et la Categorical Crossentropy. L'utilisation de NumPy permet une manipulation directe des matrices pour des performances optimales.
Composants du Système
Optimisation Adam/SGD
Mise à jour dynamique des paramètres basée sur le calcul des gradients.
Architecture du Network
-
Spiral Data
-
ReLU Layer
-
Softmax Out
-
Cross-Entropy