🎓 Normal denklemi nasıl bulunur Test 1 - Ders Notu
Bu ders notu, "Normal denklemi nasıl bulunur Test 1" testinde karşılaşabileceğin temel konuları, yani doğrusal regresyonun ne olduğunu, maliyet fonksiyonunu ve özellikle de parametreleri doğrudan bulan normal denklemi kapsar. Amacımız, bu karmaşık konuları senin için sade ve anlaşılır hale getirmektir.
📌 Doğrusal Regresyon Nedir?
Doğrusal regresyon, iki veya daha fazla değişken arasındaki ilişkiyi anlamamıza ve tahmin yapmamıza yardımcı olan temel bir makine öğrenimi algoritmasıdır. Genellikle bir çıktı (hedef) değişkeni ile bir veya daha fazla girdi (özellik) değişkeni arasında doğrusal bir ilişki olduğunu varsayar.
- Amacı: Veri noktalarına en uygun "doğru"yu (veya çok boyutlu uzayda hiperdüzlemi) bularak, yeni veriler için tahminler yapmaktır.
- Örnek: Bir evin büyüklüğüne ($x$) göre fiyatını ($y$) tahmin etmek gibi.
- Model Denklemi: Basitçe $h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + ... + \theta_n x_n$ şeklinde ifade edilir. Burada $\theta$ (teta) modelin parametreleridir (katsayılar) ve bizim bulmaya çalıştığımız değerlerdir.
💡 İpucu: $\theta_0$ genellikle "kesişim noktası" (bias), diğer $\theta$ değerleri ise "eğim" veya "ağırlıklar" olarak düşünülebilir.
📌 Maliyet Fonksiyonu (Cost Function)
Modelimizin ne kadar iyi (veya kötü) performans gösterdiğini ölçmek için bir yola ihtiyacımız var. İşte maliyet fonksiyonu tam da bunu yapar. Amacımız, maliyet fonksiyonunu minimize eden $\theta$ değerlerini bulmaktır.
- Amacı: Tahminlerimiz ile gerçek değerler arasındaki farkı ölçmektir.
- En Yaygın Olanı: Ortalama Kare Hata (Mean Squared Error - MSE). Formülü genellikle $J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})^2$ şeklindedir.
- Açıklama: Her bir veri noktası için tahminimiz ($h_\theta(x^{(i)})$) ile gerçek değer ($y^{(i)}$) arasındaki farkın karesini alır, tüm farkları toplar ve ortalamasını alırız. Karesini almak, hataların işaretini önemsemememizi ve büyük hataları daha fazla cezalandırmamızı sağlar.
⚠️ Dikkat: Amacımız her zaman maliyet fonksiyonunu en düşük seviyeye getirecek $\theta$ değerlerini bulmaktır. Bu, "en uygun doğru"yu bulmak anlamına gelir.
📌 Normal Denklem Nedir?
Normal denklem, doğrusal regresyon modelinin parametrelerini ($\theta$) maliyet fonksiyonunu minimize edecek şekilde **doğrudan** bulan analitik bir çözümdür. Yani, yinelemeli bir süreç (Gradient Descent gibi) kullanmak yerine, tek bir formülle sonuca ulaşırız.
- Formül: $\theta = (X^T X)^{-1} X^T y$
- Açıklama:
- $X$: Özellik matrisidir (veri setimizdeki girdi değişkenleri). Her satır bir örneği, her sütun bir özelliği temsil eder. (Genellikle ilk sütuna 1'lerden oluşan bir bias terimi eklenir.)
- $y$: Hedef vektörüdür (veri setimizdeki çıktı değişkenleri).
- $\theta$: Bulmaya çalıştığımız parametre vektörüdür.
- $X^T$: $X$ matrisinin transpozesidir (satırlar sütun, sütunlar satır olur).
- $(X^T X)^{-1}$: $X^T X$ matrisinin tersidir.
- Ne Yapar: Bu formül, maliyet fonksiyonunun türevini sıfıra eşitleyerek elde edilir ve bizi doğrudan minimum noktasına götürür.
💡 İpucu: Normal denklem, özellikle özellik sayısı ($n$) çok büyük olmadığında oldukça kullanışlıdır. Tek bir adımda sonuca ulaşırız!
📌 Normal Denklem İçin Gerekli Matris İşlemleri
Normal denklemi uygulayabilmek için temel matris işlemlerini bilmek önemlidir.
- Matris Transpozesi ($X^T$): Bir matrisin satırlarını sütun, sütunlarını satır yapmaktır.
Örnek: Eğer $X = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}$ ise, $X^T = \begin{pmatrix} 1 & 3 \\ 2 & 4 \end{pmatrix}$ olur.
- Matris Çarpımı ($A \times B$): İki matrisin çarpımı, belirli kurallara göre yapılır. İlk matrisin sütun sayısı, ikinci matrisin satır sayısına eşit olmalıdır.
Örnek: $X^T X$ işleminde, $X^T$ ve $X$ uyumlu matrislerdir.
- Matris Tersi ($A^{-1}$): Bir matrisin tersi, o matrisle çarpıldığında birim matrisi veren matristir. Her matrisin tersi olmayabilir (tekil matrisler).
Örnek: Eğer $A \times A^{-1} = I$ (birim matris) ise, $A^{-1}$ matrisin tersidir.
⚠️ Dikkat: Matris tersini almak, özellikle büyük matrisler için hesaplama açısından çok maliyetli olabilir. Bu, normal denklemin en büyük dezavantajlarından biridir.
📌 Normal Denklemin Avantajları ve Dezavantajları
Her yöntemde olduğu gibi, normal denklemin de kendine göre güçlü ve zayıf yönleri vardır.
- Avantajları:
- Doğrudan Çözüm: Tek bir formülle, yinelemeli adımlara gerek kalmadan doğrudan en uygun $\theta$ değerlerini verir.
- Öğrenme Oranı Yok: Gradient Descent gibi algoritmaların aksine, bir "öğrenme oranı" seçmeye gerek yoktur. Bu, doğru öğrenme oranını bulma zahmetinden kurtarır.
- Dezavantajları:
- Matris Tersi Maliyeti: $X^T X$ matrisinin tersini almak, özellik sayısı ($n$) arttıkça hesaplama açısından çok maliyetli hale gelir. Genellikle $O(n^3)$ karmaşıklığına sahiptir.
- Tekil Matris Sorunu: Eğer $X^T X$ matrisi tekil ise (yani tersi alınamıyorsa), normal denklem kullanılamaz. Bu durum genellikle çok fazla sayıda fazlalık özellik olduğunda veya özellikler doğrusal bağımlı olduğunda ortaya çıkar.
- Büyük Veri Setleri İçin Uygun Değil: Özellik sayısı binleri veya milyonları bulduğunda, matris tersi alma işlemi pratik olmaktan çıkar.
📝 Özetle: Normal denklem, küçük ve orta ölçekli veri setleri ve özellik sayıları için basit ve etkili bir çözümdür. Ancak büyük ölçekli problemlerde Gradient Descent gibi yinelemeli algoritmalar daha çok tercih edilir.
