Softmax Diagram
Detailed Diagram: From Hidden Layer to Probability Distribution (for a single sample)¶
Text Only
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ DETAILED STEP-BY-STEP DIAGRAM: OUTPUT LAYER (DENSE 2) & SOFTMAX FOR A SINGLE SAMPLE ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
(STEP 3: INPUT TO THE OUTPUT LAYER)
Output of Hidden Layer 1 for a single sample
┌─────────────────────────┐
│ act1.output: [0.8, 0.2, 0.0] │ (Vector 1xH, H=3)
└───────────┬─────────────┘
│
▼
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ (STEP 4a: LINEAR TRANSFORMATION - DENSE LAYER 2) ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
┌─────────────────────────────────────────┴──────────────────────────────────────────┐
│ │
▼ (Dot Product: v' · W2) ▼ (Parameters of the Output Layer)
┌───────────┐ ┌───────────────────────┐ ┌───────────────────────┐
│[0.8,0.2,0.0]│ │ Weights W2 (HxC) │ │ Biases b2 (1xC) │
└─────┬─────┘ │ [[ 0.1, 0.4, -0.3], │ (C=3) │ [[2.0, 1.5, 0.9]] │
│ │ [ 0.6, -0.9, 0.2], │ └─────────────┬─────────────┘
└───────┐ │ [-0.2, 0.5, 0.7]] │ │
│ └───────────────────────┘ │
▼ │
┌─────────────┴──────────────────────────────────────────────────────────────────────────────────┐ │
│ DETAILED CALCULATION FOR EACH OUTPUT NEURON │ │
│ │ │
│ Output Neuron 0: (0.8*0.1) + (0.2*0.6) + (0.0*-0.2) = 0.08 + 0.12 + 0.0 = 0.2 <───────┐ │ │
│ Output Neuron 1: (0.8*0.4) + (0.2*-0.9) + (0.0*0.5) = 0.32 - 0.18 + 0.0 = 0.14 <──────┼───┐ │ │
│ Output Neuron 2: (0.8*-0.3) + (0.2*0.2) + (0.0*0.7) = -0.24 + 0.04 + 0.0 = -0.2 <─────┼───┼───┐ │ │
└────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ │
│ │ │ │
(Result of v'·W2) ┌─────────────────┐ ▼ ▼ ▼ │
│ [0.2, 0.14, -0.2] │ ────────────────────────► + ◄─────────────────┘
└─────────────────┘ (Add Bias)
│
▼
┌──────────────────────────────────┐
│ dense2.output (Logits) │
│ [0.2+2.0, 0.14+1.5, -0.2+0.9] │
│ [2.2, 1.64, 0.7] │
└──────────────┬───────────────────┘
│
▼
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ (STEP 4b: SOFTMAX ACTIVATION FUNCTION) ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
┌───────────────────────┴───────────────────────┐
│ (i) SUBTRACT MAX FOR STABILITY │
│ max([2.2, 1.64, 0.7]) = 2.2 │
│ [2.2-2.2, 1.64-2.2, 0.7-2.2] │
└───────────────────────┬───────────────────────┘
│
▼
┌───────────────────────┴───────────────────────┐
│ Shifted Logits: [0.0, -0.56, -1.5] │
└───────────────────────┬───────────────────────┘
│
▼
┌───────────────────────┴───────────────────────┐
│ (ii) EXPONENTIATE (e^x) │
│ e^0.0 = 1.0 │
│ e^-0.56 = 0.571 │
│ e^-1.5 = 0.223 │
└───────────────────────┬───────────────────────┘
│
▼
┌───────────────────────┴───────────────────────┐
│ Exponentiated: [1.0, 0.571, 0.223] │
└───────────────────────┬───────────────────────┘
│
▼
┌───────────────────────┴───────────────────────┐
│ (iii) NORMALIZE (Divide by sum) │
│ Sum = 1.0 + 0.571 + 0.223 = 1.794 │
│ │
│ 1.0 / 1.794 = 0.557 │
│ 0.571 / 1.794 = 0.318 │
│ 0.223 / 1.794 = 0.124 │
└───────────────────────┬───────────────────────┘
│
▼
╔════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ (STEP 5: FINAL RESULT) ║
╚════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝
┌───────────────────────────────────────────────┐
│ Final Probabilities (Confidence Scores) │
│ [0.557, 0.318, 0.124] │
│ (Sum = 0.557 + 0.318 + 0.124 = 0.999 ≈ 1.0) │
└───────────────────────────────────────────────┘