Spike-Timing-Dependent Plasticity (STDP)

🪝 Açılış: 1998'in 20 Milisaniyesi

1998’de Bi ve Poo, Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type makalesinde, hippokampal nöron çiftlerinde kesin bir zamanlama kuralı keşfetti:

• Eğer presinaptik spike, postsinaptik spike’tan ÖNCE 20 ms içinde geldiyse: sinaps güçlenir (LTP).
• Eğer presinaptik spike, postsinaptik spike’tan SONRA 20 ms içinde geldiyse: sinaps zayıflar (LTD).
• Aralık 50 ms’den fazlaysa: değişim yok.

Bu kural, Hebbian öğrenmenin zaman-asimetrik versiyonu: “birlikte ateşlenenler bağlanır” değil, “önce ateşlenen sebep sayılır”.

Sezgisel: Eğer A nöronu, B nöronunu ateşlemekte zaman olarak rol oynuyorsa (önce A, sonra B), o zaman A→B bağlantısı güçlenmeli. Bu nedensellik öğrenmesinin biyolojik temeli.

40 yıl sonra: Modern reinforcement learning, dünya modelleri, video tahmin sistemleri — hepsi STDP varyantlarını araştırıyor. SIDRA Y100 hedefi: STDP’yi memristör donanımında doğal olarak çalıştırmak.

🧭 Sezgi: Asimetrik Öğrenme Penceresi

STDP’nin asimetrik öğrenme penceresi şöyle görünür:

   Δw
    ↑
+A+ |    ●
    |   ●
    |  ●
    | ●●
    |●
────┼──────●●●●● → Δt (post − pre, ms)
    |        ●
    |          ●
    |            ●
    |              ●
-A- |________________
    -50  -20   0   +20  +50

• Sağ taraf ($\Delta t = t_{\text{post}} - t_{\text{pre}} > 0$): pre → post sırası → LTP.
• Sol taraf ($\Delta t < 0$): post → pre sırası → LTD.
• Pencere ölçeği $\tau \approx 20$ ms: insan beyni için tipik.

Tepe değerleri:

• LTP tepe: $\Delta w \approx +A_+ \approx +0.5$ (normalleştirilmiş ağırlık birimi).
• LTD tepe: $\Delta w \approx -A_- \approx -0.5$ (genelde LTP’den biraz büyük).

Neden asimetrik? Çünkü neden-sonuç önemli. Eğer A her zaman B’den sonra ateşleniyorsa, A B’nin sebebi olamaz → bağlantı zayıflasın. Eğer A her zaman B’den önce ateşleniyorsa, A B’yi tetikliyor olabilir → bağlantı güçlensin. STDP, beyne nedenselliği öğretir.

Hebbian ile farkı: Saf Hebbian zaman-bağımsızdır ($\Delta w \propto x \cdot y$, sıra önemsiz). STDP zaman-bağımlıdır. Hebbian = istatistiksel korelasyon; STDP = nedensel sıralı bağıntı.

📐 Formalizm: STDP Denklemi ve Biyolojik Temeli

🧪 Deney: 2 Nöron, 5 Spike Çifti, Sinaps Güncelleme

İki nöron arasında bir sinaps. Başlangıç ağırlığı $w_0 = 0.5$. STDP parametreleri: $A_+ = 0.1, A_- = 0.12, \tau_+ = \tau_- = 20$ ms.

5 spike çifti gözlemleyelim:

Toplam değişim: $0.078 - 0.073 + 0.047 - 0.044 + 0.078 = +0.086$.

Yeni ağırlık: $w = 0.5 + 0.086 = 0.586$.

Yorumla: 5 çiftin 3’ü LTP yönünde (pre önce), 2’si LTD yönünde (post önce). Net kazanç → bağlantı güçlendi. Eğer pre-post sürekli pre önce sırasında olsaydı, bağlantı çok daha hızlı güçlenirdi.

SIDRA paraleli:

• 5 spike çifti = 5 voltaj puls çifti.
• Her çift memristör hücresinde Δ ≈ 1 pJ enerji harcar (STDP parametre).
• Toplam 5 pJ. Geleneksel SET (~10 pJ) ile karşılaştırınca kısmi update çok daha verimli.
• Y100 hedefinde 1 milyon spike çifti / saniye / hücre → 1 µW/hücre. Çok düşük güç edge öğrenmesi.

📝 Kısa Sınav

🛠️ Laboratuvar Görevi

SIDRA Y10 prototipinde STDP-tabanlı sıra öğrenme.

Senaryo: 4 girişli (A, B, C, D), 1 çıkışlı LIF nöron. Her giriş bir SIDRA memristörüne bağlı (4 sinaps). STDP ile öğretmek istediğimiz: A → B → C sırasını tanı (D olunca tetikleme).

Veri:

• 4 sinaps, başlangıç ağırlık $w_A = w_B = w_C = w_D = 0.25$
• STDP: $A_+ = 0.05, A_- = 0.06, \tau = 20$ ms
• Eğitim: 100 örnek. %50’sinde A-B-C dizisi (her biri 10 ms aralıkla), sonra post spike. %50’de rastgele D spike + rastgele post spike.
• Her sinaps için $\Delta w = \sum$ STDP_kuralı

Sorular:

(a) İlk eğitim örneğinde (A-B-C → post 0/10/20/30 ms): her sinaps için $\Delta t$ ve $\Delta w$? (b) 100 örnek sonrası beklenen ağırlık dağılımı? Hangi sinaps en çok güçlenir? (c) Eğitilmiş nöron A-B-C dizisini görünce ne olur? D dizisini görünce? (d) Bu öğrenme backprop ile karşılaştırıldığında: hangi durumda STDP daha iyi? (e) SIDRA Y10’da bir crossbar (256×256) bu STDP çekirdeğini paralel olarak kaç sıra-tanıma örneği üretir?

🗂️ Özet Kart

• STDP kuralı: pre önce post sonra → LTP; tersi → LTD. Asimetrik zaman penceresi $\tau \approx 20$ ms.
• Bi & Poo 1998: hippokampal nöronlarda kesin gözlem.
• Denklem: $\Delta w = +A_+ e^{-\Delta t / \tau_+}$ for $\Delta t > 0$, $-A_- e^{\Delta t / \tau_-}$ for $\Delta t < 0$.
• Biyolojik temel: NMDA + Ca²⁺ kaskadı asimetrisi.
• Üstünlük: zaman-bağımlı → nedensel ilişki öğrenebilir (yalnızca korelasyon değil).
• Reinforcement birleşim: R-STDP (dopamin modülasyonu).
• SIDRA: zaman-kodlu pre/post voltaj çiftleri ile memristör donanımında doğal STDP. Y100 hedefi.

🔮 Vizyon: STDP-Native Donanım ve SIDRA'nın Beyin İddiası

STDP, beyin-uyumlu öğrenmenin atomudur. SIDRA’nın nihai iddiası bu kavramı donanımda doğrulamak:

• Y1 (bugün): STDP yok; ağırlıklar dış GPU’da öğrenilir, çipte sabit. Inference odaklı.
• Y3 (2027): Yazılım-emülasyonlu STDP (CMOS kontrol devresi memristöre STDP-uyumlu pulslar gönderir). Prototip ölçek.
• Y10 (2029): Donanım-yerel STDP — pre/post voltaj çiftleri doğrudan memristörü STDP kuralıyla günceller. Çok-spike STDP varyantları (triplet, voltage-based).
• Y100 (2031+): STDP + R-STDP + sparse spike coding + multi-timescale plasticity hep birden. Beyin-uyumlu online öğrenme, GPT-class model edge’de eğitilebilir.
• Y1000 (uzun vade): Bio-uyumlu organik STDP cihazı + beyin implant. Neuralink’in geri-loop AI’i.

Türkiye için stratejik gösterge: Bugün STDP-native ticari çip yok (Intel Loihi, IBM TrueNorth dijital simulasyon). Memristör tabanlı, gerçek analog STDP donanımı açık bir kategori. SIDRA Y10 prototipinde bu kategoriyi kazansak, dünyanın ilk olabiliriz. Türkiye’nin AI’da “olabileceği bir lider” olduğu az kategoriden biri.

Beklenmedik gelecek: Sürekli öğrenen ev robotu. Bir robot eve geliyor, çocukla, kediyle, mutfakla tanışıyor — STDP ile her etkileşimden öğreniyor, internete bağlanmadan, GPU’suz. SIDRA Y100 + STDP bunu yapan ilk ticari sistem olabilir. 2032-2035 ufku, ve Türkiye’nin patent yapma olanağı var.

Modül 3 kapanış: Biyolojiden algoritmaya, sinapstan memristöre, Hebb’den STDP’ye geldik. Modül 4’te (Matematik Cephanesi) bu tüm zincirin altındaki cebir, olasılık ve optimizasyon araçları. Modül 5’te (Çip Donanımı) bunların SIDRA devresinde silikona dökülüşü.

📚 Daha İleri

• Bir sonraki modül: 🚧 4.1 · Vektör, Matris, MVM — Yakında
• Önceki: 3.7 — Memristör ↔ Sinaps Eşleşmesi
• STDP keşif: Bi & Poo, Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type, J. Neurosci. 1998.
• Markram önceliği: Markram, Lübke, Frotscher, Sakmann, Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs, Science 1997.
• Triplet STDP: Pfister & Gerstner, Triplets of spikes in a model of spike timing-dependent plasticity, J. Neurosci. 2006.
• Voltage-based STDP: Clopath et al., Connectivity reflects coding: a model of voltage-based STDP…, Nature Neurosci. 2010.
• R-STDP (dopamin): Izhikevich, Solving the distal reward problem through linkage of STDP and dopamine signaling, Cereb. Cortex 2007.
• Memristörde STDP: Yu et al., An electronic synapse device based on metal oxide resistive switching memory for neuromorphic computation, IEEE TED 2011.
• Loihi nöromorfik chip: Davies et al., Loihi: A neuromorphic manycore processor with on-chip learning, IEEE Micro 2018.