Ekstrapolasyon bir yöntemdir bilimsel araştırma, tahmin nesnesinin gelecekteki gelişimi ile geçmiş ve mevcut eğilimlerin, kalıpların, ilişkilerin dağılımına dayanır. Ekstrapolasyon yöntemleri şunları içerir: hareketli ortalama yöntemi, üstel düzeltme yöntemi, en küçük kareler yöntemi.
Öz en küçük kareler yöntemi gözlenen ve hesaplanan değerler arasındaki karesel sapmaların toplamının en aza indirilmesinden oluşur. Hesaplanan değerler, seçilen denkleme - regresyon denklemine göre bulunur. Gerçek değerler ile hesaplananlar arasındaki mesafe ne kadar küçük olursa, regresyon denklemine dayalı tahmin o kadar doğru olur.
Değişimin bir zaman serisi tarafından gösterildiği incelenen fenomenin özünün teorik analizi, bir eğri seçmek için temel oluşturur. Serilerin seviyelerinin büyümesinin doğasıyla ilgili hususlar bazen dikkate alınır. Dolayısıyla, eğer çıktı büyümesi bekleniyorsa aritmetik ilerleme, ardından düzleştirme düz bir çizgide gerçekleştirilir. Eğer büyümenin içinde olduğu ortaya çıkarsa geometrik ilerleme, daha sonra üstel fonksiyona göre yumuşatma yapılmalıdır.
En küçük kareler yönteminin çalışma formülü : Y t+1 = a*X + b t + 1 tahmin periyodudur; Уt+1 – tahmini gösterge; a ve b - katsayılar; X - zamanın sembolü.
a ve b katsayıları şuna göre hesaplanır: aşağıdaki formüller:
nerede, Uf - dinamik serisinin gerçek değerleri; n, zaman serisindeki düzey sayısıdır;
Zaman serilerinin en küçük kareler yöntemiyle yumuşatılması, incelenen olgunun gelişim modellerini yansıtmaya hizmet eder. Bir eğilimin analitik ifadesinde, zaman bağımsız bir değişken olarak kabul edilir ve serilerin seviyeleri bu bağımsız değişkenin bir fonksiyonu olarak hareket eder.
Bir olgunun gelişimi, başlangıç noktasından bu yana kaç yıl geçtiğine değil, gelişimini hangi faktörlerin, hangi yönde ve hangi yoğunlukta etkilediğine bağlıdır. Bundan, bir olgunun zaman içindeki gelişiminin, bu faktörlerin etkisinin bir sonucu olarak ortaya çıktığı açıktır.
Eğri türünü doğru bir şekilde ayarlamak, zamana analitik bağımlılık türü, tahmine dayalı analizin en zor görevlerinden biridir. .
Parametreleri en küçük kareler yöntemiyle belirlenen eğilimi tanımlayan fonksiyon tipinin seçimi, çoğu durumda ampiriktir, bir dizi fonksiyon inşa ederek ve bunları kök-ortalama değeriyle birbirleriyle karşılaştırarak. - formülle hesaplanan kare hatası:
nerede Uf - dinamik serisinin gerçek değerleri; Ur – zaman serisinin hesaplanan (düzleştirilmiş) değerleri; n, zaman serisindeki düzey sayısıdır; p, eğilimi (gelişme eğilimi) açıklayan formüllerde tanımlanan parametre sayısıdır.
En küçük kareler yönteminin dezavantajları :
- incelenmekte olan ekonomik olguyu matematiksel bir denklem kullanarak açıklamaya çalışırken, tahmin kısa bir süre için doğru olacaktır ve yeni bilgiler elde edildikçe regresyon denklemi yeniden hesaplanmalıdır;
- standart bilgisayar programları kullanılarak çözülebilen regresyon denkleminin seçiminin karmaşıklığı.
Bir tahmin geliştirmek için en küçük kareler yöntemini kullanma örneği
Bir görev . Bölgedeki işsizlik seviyesini karakterize eden veriler var, %
- Yöntemleri kullanarak Kasım, Aralık, Ocak ayları için bölgedeki işsizlik oranı tahminini oluşturun: hareketli ortalama, üstel düzeltme, en küçük kareler.
- Her bir yöntemi kullanarak ortaya çıkan tahminlerdeki hataları hesaplayın.
- Elde edilen sonuçları karşılaştırın, sonuçlar çıkarın.
en küçük kareler çözümü
Çözüm için gerekli hesaplamaları yapacağımız bir tablo derleyeceğiz:
Zaman sembolünü, tahmin tabanının (sütun 3) dönemlerinin ardışık numaralandırması olarak tanımlayalım. 4. ve 5. sütunları hesaplayın. Ur serisinin değerlerini hesaplayın, Y t + 1 = a * X + b formülü ile belirlenecektir, burada t + 1 tahmin süresidir; Уt+1 – tahmini gösterge; a ve b - katsayılar; X - zamanın sembolü.
a ve b katsayıları aşağıdaki formüllerle belirlenir:
nerede, Uf - dinamik serisinin gerçek değerleri; n, zaman serisindeki düzey sayısıdır.
bir = / = - 0,17
b \u003d 22,13 / 10 - (-0,17) * 55 / 10 \u003d 3,15
Ortalama bağıl hatayı aşağıdaki formülü kullanarak hesaplıyoruz:
ε = 28,63/10 = %2,86 tahmin doğruluğu yüksek.
Çözüm : Hesaplamalarda elde edilen sonuçların karşılaştırılması hareketli ortalama yöntemi , üstel yumuşatma ve en küçük kareler yöntemi, üstel düzeltme yöntemi ile yapılan hesaplamalarda ortalama bağıl hatanın %20-50 arasına düştüğünü söyleyebiliriz. Bu, tahmin doğruluğunun bu durum sadece tatmin edicidir.
Birinci ve üçüncü durumlarda, ortalama bağıl hata %10'dan az olduğu için tahmin doğruluğu yüksektir. Ancak hareketli ortalama yöntemi, daha güvenilir sonuçlar elde etmeyi mümkün kıldı (Kasım için tahmin -% 1,52, Aralık için tahmin -% 1,53, Ocak için tahmin -% 1,49), çünkü bu yöntemi kullanırken ortalama göreceli hata en küçük - 1 ,13%.
Yaklaşık gösterime izin verdiği için birçok kullanımı vardır. verilen işlev diğerleri daha basit. LSM, gözlemlerin işlenmesinde son derece yararlı olabilir ve rastgele hatalar içeren diğerlerinin ölçüm sonuçlarından bazı miktarları tahmin etmek için aktif olarak kullanılır. Bu yazıda, Excel'de en küçük kareler hesaplamalarını nasıl uygulayacağınızı öğreneceksiniz.
Belirli bir örnek üzerinde sorunun ifadesi
Diyelim ki X ve Y olmak üzere iki gösterge var. Ayrıca Y, X'e bağlıdır. OLS, regresyon analizi açısından bizi ilgilendirdiğinden (Excel'de yöntemleri yerleşik işlevler kullanılarak uygulanır), hemen devam etmeliyiz Belirli bir sorunu ele almak için.
Öyleyse, X bir bakkalın metrekare cinsinden ölçülen satış alanı ve Y milyonlarca ruble olarak tanımlanan yıllık ciro olsun.
Bir veya daha fazla perakende alanı varsa, mağazanın ne kadar ciroya (Y) sahip olacağına dair bir tahmin yapılması gerekir. Açıkçası, hipermarket tezgahtan daha fazla mal sattığı için Y = f(X) fonksiyonu artıyor.
Tahmin için kullanılan ilk verilerin doğruluğu hakkında birkaç kelime
Diyelim ki n mağaza için verilerle oluşturulmuş bir tablomuz var.
Göre matematiksel istatistik, en az 5-6 nesne üzerindeki veriler incelenirse sonuçlar aşağı yukarı doğru olacaktır. Ayrıca "anormal" sonuçlar kullanılamaz. Özellikle elit bir küçük butik, "masmarket" sınıfındaki büyük mağazaların cirosundan kat kat daha fazla ciroya sahip olabilir.
Yöntemin özü
Tablo verileri, Kartezyen düzlemde M 1 (x 1, y 1), ... M n (x n, y n) noktaları olarak görüntülenebilir. Şimdi problemin çözümü, M 1, M 2, .. M n noktalarına mümkün olduğunca yakın geçen bir grafiği olan yaklaşık bir y = f (x) fonksiyonunun seçimine indirgenecektir.
Tabii ki, polinomu kullanabilirsiniz yüksek derece, ancak bu seçeneğin uygulanması yalnızca zor değil, aynı zamanda tespit edilmesi gereken ana eğilimi yansıtmayacağı için yanlıştır. En makul çözüm, deneysel verilere en iyi yaklaşan y = ax + b düz çizgisini ve daha kesin olarak katsayıları - a ve b'yi aramaktır.
Doğruluk puanı
Herhangi bir yaklaşım için, doğruluğunun değerlendirilmesi özellikle önemlidir. x i noktası için fonksiyonel ve deneysel değerler arasındaki farkı (sapma) e ben , yani. e ben = y ben - f (x ben).
Açıkçası, yaklaşımın doğruluğunu değerlendirmek için sapmaların toplamını kullanabilirsiniz, yani X'in Y'ye bağımlılığının yaklaşık bir temsili için düz bir çizgi seçerken, en küçük değere sahip olanı tercih edilmelidir. dikkate alınan tüm noktalarda toplam e i. Ancak, her şey o kadar basit değil, çünkü olumlu sapmaların yanı sıra pratikte olumsuz olanlar da olacak.
Sapma modüllerini veya karelerini kullanarak sorunu çözebilirsiniz. İkinci yöntem en yaygın olarak kullanılan yöntemdir. Regresyon analizi (Excel'de uygulaması iki yerleşik işlev kullanılarak gerçekleştirilir) dahil olmak üzere birçok alanda kullanılır ve etkili olduğu uzun süredir kanıtlanmıştır.
en küçük kareler yöntemi
Bildiğiniz gibi Excel'de, seçilen aralıkta bulunan tüm değerlerin değerlerini hesaplamanıza izin veren yerleşik bir otomatik toplam işlevi vardır. Böylece, (e 1 2 + e 2 2 + e 3 2 + ... e n 2) ifadesinin değerini hesaplamamızı hiçbir şey engelleyemez.
Matematiksel gösterimde, bu şöyle görünür:
Karar başlangıçta düz bir çizgi kullanılarak yaklaşık olarak verildiğinden, elimizde:
Bu nedenle, X ve Y arasındaki belirli bir ilişkiyi en iyi tanımlayan düz bir çizgi bulma görevi, iki değişkenli bir fonksiyonun minimumunu hesaplamak anlamına gelir:
Bu, yeni değişkenler a ve b'ye göre sıfır kısmi türevlere eşitlemeyi ve formun 2 bilinmeyenli iki denkleminden oluşan ilkel bir sistemi çözmeyi gerektirir:
2'ye bölme ve toplamları değiştirme dahil olmak üzere basit dönüşümlerden sonra şunu elde ederiz:
Örneğin, Cramer'in yöntemiyle çözerek, belirli katsayılara sahip durağan bir nokta elde ederiz a * ve b * . Bu minimumdur, yani mağazanın ne zaman ne kadar ciroya sahip olacağını tahmin etmek için. belirli bölge, söz konusu örnek için regresyon modeli olan y = a * x + b * düz çizgisi yeterli olacaktır. Elbette kesin sonucu bulmanıza izin vermeyecek, ancak belirli bir alan için krediyle mağaza satın almanın karşılığını alıp almayacağı konusunda fikir edinmenize yardımcı olacaktır.
Excel'de en küçük kareler yöntemi nasıl uygulanır?
Excel, en küçük karelerin değerini hesaplamak için bir işleve sahiptir. Aşağıdaki biçime sahiptir: TREND (bilinen Y değerleri; bilinen X değerleri; yeni X değerleri; sabit). Excel'de OLS'yi hesaplamak için formülü tablomuza uygulayalım.
Bunu yapmak için Excel'de en küçük kareler yöntemi kullanılarak yapılan hesaplama sonucunun görüntülenmesi gereken hücreye “=” işaretini girin ve “TREND” işlevini seçin. Açılan pencerede, aşağıdakileri vurgulayarak uygun alanları doldurun:
- Y için bilinen değerler aralığı (bu durumda ciro verileri);
- x 1 , …x n aralığı, yani perakende satış alanının boyutu;
- hem ünlü hem bilinmeyen değerler x, cironun boyutunu bulmanız gereken (çalışma sayfasındaki yerleri hakkında bilgi için aşağıya bakın).
Ayrıca formülde "Const" mantıksal değişkeni vardır. Buna karşılık gelen alana 1 girerseniz, bu, b \u003d 0 olduğu varsayılarak hesaplamaların yapılması gerektiği anlamına gelir.
Birden fazla x değeri için tahmin bilmeniz gerekiyorsa, formülü girdikten sonra "Enter" tuşuna basmamalısınız, ancak "Shift" + "Control" + "Enter" ("Enter") kombinasyonunu yazmanız gerekir. ) klavyede.
Bazı özellikler
Regresyon analizi, aptallar için bile erişilebilir olabilir. Bir dizi bilinmeyen değişkenin değerini tahmin etmek için kullanılan Excel formülü - "EĞİLİM" - en küçük kareler yöntemini hiç duymamış olanlar tarafından bile kullanılabilir. İşinin bazı özelliklerini bilmek yeterlidir. Özellikle:
- Y değişkeninin bilinen değerler aralığını bir satıra veya sütuna yerleştirirseniz, x'in bilinen değerlerine sahip her satır (sütun) program tarafından ayrı bir değişken olarak algılanacaktır.
- TREND penceresinde bilinen x aralığı belirtilmemişse, Excel'de işlevin kullanılması durumunda, program onu, sayısı verilen değerlerle aralığa karşılık gelen tamsayılardan oluşan bir dizi olarak kabul edecektir. y değişkeninin
- Bir "öngörülen" değerler dizisinin çıktısını almak için, trend ifadesinin bir dizi formülü olarak girilmesi gerekir.
- Yeni x değerleri belirtilmezse, TREND işlevi bunları bilinenlere eşit olarak kabul eder. Belirtilmemişlerse, dizi 1 bağımsız değişken olarak alınır; 2; 3; 4;…, zaten verilen y parametreleriyle aralıkla orantılıdır.
- Yeni x değerlerini içeren aralık, verilen y değerlerine sahip aralıkla aynı veya daha fazla satır veya sütuna sahip olmalıdır. Diğer bir deyişle, bağımsız değişkenlerle orantılı olmalıdır.
- Bilinen x değerlerine sahip bir dizi, birden çok değişken içerebilir. Ancak, eğer Konuşuyoruz sadece bir, o zaman verilen x ve y değerlerine sahip aralıkların orantılı olması gerekir. Birkaç değişken olması durumunda, verilen y değerlerine sahip aralığın bir sütuna veya bir satıra sığması gerekir.
TAHMİN işlevi
Çeşitli işlevler kullanılarak gerçekleştirilir. Bunlardan birine "TAHMİN" denir. TREND'e benzer, yani en küçük kareler yöntemini kullanarak hesaplamaların sonucunu verir. Ancak, yalnızca Y'nin değeri bilinmeyen bir X için.
Artık, doğrusal bir eğilime göre bir göstergenin gelecekteki değerinin değerini tahmin etmenize izin veren, kuklalar için Excel formüllerini biliyorsunuz.
Hizalamadan sonra, aşağıdaki biçimde bir işlev elde ederiz: g (x) = x + 1 3 + 1 .
Bu verileri şu şekilde tahmin edebiliriz: doğrusal bağımlılık y = a x + b , uygun parametrelerin hesaplanması. Bunu yapmak için, sözde en küçük kareler yöntemini uygulamamız gerekecek. Ayrıca hangi çizginin deneysel verileri en iyi şekilde hizalayacağını kontrol etmek için bir çizim yapmanız gerekecektir.
OLS tam olarak nedir (en küçük kareler yöntemi)
Yapmamız gereken asıl şey, iki değişkenli F (a, b) = ∑ i = 1 n (y ben - (a x ben + b)) 2 fonksiyonunun değerinin şu olacağı doğrusal bağımlılık katsayılarını bulmaktır: en küçük Başka bir deyişle, a ve b'nin belirli değerleri için, sunulan verilerin elde edilen düz çizgiden sapmalarının karelerinin toplamı minimum bir değere sahip olacaktır. En küçük kareler yönteminin anlamı budur. Örneği çözmek için tek yapmamız gereken, iki değişkenli fonksiyonun uç noktasını bulmak.
Katsayıları hesaplamak için formüller nasıl türetilir
Katsayıları hesaplamak için formüller türetmek için, iki değişkenli bir denklem sistemi oluşturmak ve çözmek gerekir. Bunu yapmak için, F (a , b) = ∑ ben = 1 n (y ben - (a x i + b)) 2 ifadesinin a ve b'ye göre kısmi türevlerini hesaplıyoruz ve bunları 0'a eşitliyoruz.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ ben = 1 n (y ben - (a x ben + b)) x ben = 0 - 2 ∑ ben = 1 n ( y ben - (bir x ben + b)) = 0 ⇔ bir ∑ ben = 1 n x ben 2 + b ∑ ben = 1 n x ben = ∑ ben = 1 n x ben y ben bir ∑ ben = 1 n x ben + ∑ ben = 1 n b = ∑ ben = 1 n y ben ⇔ bir ∑ ben = 1 n x ben 2 + b ∑ ben = 1 n x ben = ∑ ben = 1 n x ben y ben bir ∑ ben = 1 n x ben + n b = ∑ ben = 1 n y ben
Bir denklem sistemini çözmek için, ikame veya Cramer yöntemi gibi herhangi bir yöntemi kullanabilirsiniz. Sonuç olarak, en küçük kareler yöntemini kullanarak katsayıları hesaplayan formüller elde etmeliyiz.
n ∑ ben = 1 n x ben y ben - ∑ ben = 1 n x ben ∑ ben = 1 n y ben n ∑ ben = 1 n - ∑ ben = 1 n x ben 2 b = ∑ ben = 1 n y ben - bir ∑ ben = 1 n x ben n
Fonksiyonun ait olduğu değişkenlerin değerlerini hesapladık.
F (a , b) = ∑ ben = 1 n (y ben - (a x ben + b)) 2 minimum değeri alacaktır. Üçüncü paragrafta, neden böyle olduğunu kanıtlayacağız.
Bu pratikte en küçük kareler yönteminin uygulamasıdır. a parametresini bulmak için kullanılan formülü ∑ ben = 1 n x ben , ∑ ben = 1 n y ben , ∑ ben = 1 n x ben y ben , ∑ ben = 1 n x ben 2 ve parametreyi içerir
n - deneysel veri miktarını gösterir. Her tutarı ayrı ayrı hesaplamanızı tavsiye ederiz. Katsayı değeri b, a'dan hemen sonra hesaplanır.
Orijinal örneğe geri dönelim.
örnek 1
Burada n eşittir beş var. Katsayı formüllerinde yer alan gerekli miktarları hesaplamayı kolaylaştırmak için tabloyu dolduruyoruz.
| ben = 1 | ben = 2 | ben = 3 | ben = 4 | ben = 5 | ∑ ben = 1 5 | |
| x ben | 0 | 1 | 2 | 4 | 5 | 12 |
| sen ben | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x ben y ben | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x ben 2 | 0 | 1 | 4 | 16 | 25 | 46 |
Çözüm
Dördüncü satır, her bir i için ikinci satırdaki değerlerin üçüncü satırdaki değerlerle çarpılmasıyla elde edilen verileri içerir. Beşinci satır, ikinci kareden gelen verileri içerir. Son sütun, tek tek satırların değerlerinin toplamını gösterir.
İhtiyacımız olan a ve b katsayılarını hesaplamak için en küçük kareler yöntemini kullanalım. Bunu yapmak için, istenen değerleri son sütundan değiştirin ve toplamları hesaplayın:
n ∑ ben = 1 n x ben y ben - ∑ ben = 1 n x ben ∑ ben = 1 n y ben n ∑ ben = 1 n - ∑ ben = 1 n x ben 2 b = ∑ ben = 1 n y ben - bir ∑ ben = 1 n x ben n ⇒ bir = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
İstenen yaklaşan düz çizginin y = 0 , 165 x + 2 , 184 gibi görüneceğini anladık. Şimdi hangi satırın verilere en iyi şekilde yaklaşacağını belirlememiz gerekiyor - g (x) = x + 1 3 + 1 veya 0 , 165 x + 2 , 184 . En küçük kareler yöntemini kullanarak bir tahmin yapalım.
Hatayı hesaplamak için, σ 1 = ∑ i = 1 n (y ben - (a x ben + b i)) 2 ve σ 2 = ∑ ben = 1 n (y ben -) satırlarından elde edilen verilerin karesel sapmalarının toplamlarını bulmamız gerekir. g (x i)) 2 , minimum değer daha uygun bir satıra karşılık gelir.
σ 1 = ∑ ben = 1 n (y ben - (bir x ben + b ben)) 2 = = ∑ ben = 1 5 (y ben - (0 , 165 x ben + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ ben = 1 n (y ben - g (x ben)) 2 = = ∑ ben = 1 5 (y ben - (x ben + 1 3 + 1)) 2 ≈ 0 , 096
Cevap:σ 1'den beri< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .
En küçük kareler yöntemi grafik çizimde açıkça gösterilmiştir. Kırmızı çizgi g (x) = x + 1 3 + 1 düz çizgisini, mavi çizgi y = 0, 165 x + 2, 184'ü gösterir. Ham veriler pembe noktalarla işaretlenmiştir.
Tam olarak bu türden yaklaşımlara neden ihtiyaç duyulduğunu açıklayalım.
Veri düzeltme gerektiren problemlerde ve ayrıca verilerin enterpolasyonu veya ekstrapolasyonu gereken problemlerde kullanılabilirler. Örneğin, yukarıda tartışılan problemde, x = 3 veya x = 6'da gözlemlenen y miktarının değeri bulunabilir. Bu tür örneklere ayrı bir makale ayırdık.
LSM yönteminin kanıtı
Fonksiyonun a ve b hesaplanırken minimum değeri alması için, belirli bir noktada F(a,b) = ∑ i = 1 n şeklindeki fonksiyonun diferansiyel ikinci dereceden matrisinin olması gerekir. (y i - (a x ben + b)) 2 pozitif tanımlı olsun. Size nasıl görünmesi gerektiğini gösterelim.
Örnek 2
Aşağıdaki formda ikinci dereceden bir diferansiyelimiz var:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b
Çözüm
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ ben = 1 n (y ben - (a x ben + b)) x ben δ a = 2 ∑ ben = 1 n (x ben) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ ben = 1 n (y ben - (a x ben + b) ) x ben δ b = 2 ∑ ben = 1 n x ben δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ ben = 1 n (y ben - (a x ben + b)) δ b = 2 ∑ ben = 1 n (1) = 2 n
Başka bir deyişle, aşağıdaki gibi yazılabilir: d 2 F (a ; b) = 2 ∑ ben = 1 n (x ben) 2 d 2 a + 2 2 ∑ x ben ben = 1 n d a d b + (2 n) d 2 b .
İkinci dereceden bir matris elde ettik M = 2 ∑ ben = 1 n (x ben) 2 2 ∑ ben = 1 n x ben 2 ∑ ben = 1 n x ben 2 n .
Bu durumda, bireysel elemanların değerleri a ve b'ye bağlı olarak değişmeyecektir. Bu matris pozitif tanımlı mı? Bu soruyu cevaplamak için açısal minörlerinin pozitif olup olmadığını kontrol edelim.
Birinci dereceden açısal minörü hesaplayın: 2 ∑ ben = 1 n (x ben) 2 > 0 . x i noktaları çakışmadığı için eşitsizlik katıdır. Bunu sonraki hesaplamalarda aklımızda tutacağız.
İkinci dereceden açısal minörü hesaplıyoruz:
d e t (M) = 2 ∑ ben = 1 n (x ben) 2 2 ∑ ben = 1 n x ben 2 ∑ ben = 1 n x ben 2 n = 4 n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2
Bundan sonra, matematiksel tümevarım kullanarak n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x ben 2 > 0 eşitsizliğinin ispatına geçiyoruz.
- Bu eşitsizliğin keyfi n için geçerli olup olmadığını kontrol edelim. 2'yi alıp hesaplayalım:
2 ∑ ben = 1 2 (x ben) 2 - ∑ ben = 1 2 x ben 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
Doğru eşitliği elde ettik (x 1 ve x 2 değerleri uyuşmuyorsa).
- Bu eşitsizliğin n için doğru olacağı varsayımını yapalım, yani. n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 > 0 – doğru.
- Şimdi n + 1 için geçerliliği kanıtlayalım, yani (n + 1) ∑ ben = 1 n + 1 (x ben) 2 - ∑ ben = 1 n + 1 x ben 2 > 0 ise n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 > 0 .
Hesaplıyoruz:
(n + 1) ∑ ben = 1 n + 1 (x ben) 2 - ∑ ben = 1 n + 1 x ben 2 = = (n + 1) ∑ ben = 1 n (x ben) 2 + x n + 1 2 - ∑ ben = 1 n x ben + x n + 1 2 = = n ∑ ben = 1 n (x ben) 2 + n x n + 1 2 + ∑ ben = 1 n (x ben) 2 + x n + 1 2 - - ∑ ben = 1 n x ben 2 + 2 x n + 1 ∑ ben = 1 n x ben + x n + 1 2 = = ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 + n x n + 1 2 - x n + 1 ∑ ben = 1 n x ben + ∑ ben = 1 n (x ben) 2 = = ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
Kıvrımlı parantez içindeki ifade 0'dan büyük olacaktır (2. adımda varsaydığımıza göre) ve geri kalan terimler 0'dan büyük olacaktır çünkü bunların tümü sayıların kareleridir. Eşitsizliği kanıtladık.
Cevap: bulunan a ve b eşleşir en küçük değer F (a , b) \u003d ∑ i \u003d 1 n (y ben - (a x ben + b)) 2 işlevleri, yani en küçük kareler yönteminin (LSM) istenen parametreleridir.
Metinde bir hata fark ederseniz, lütfen onu vurgulayın ve Ctrl+Enter tuşlarına basın.
En küçük kareler yöntemi (LSM), rastgele hatalar içeren birçok ölçümün sonuçlarını kullanarak çeşitli miktarları tahmin etmenize olanak tanır.
Karakteristik MNC
Ana fikir Bu method problemin çözümünün doğruluğu için bir kriter olarak, en aza indirilmeye çalışılan karesel hataların toplamının dikkate alınması gerçeğinden oluşur. Bu yöntemi kullanırken, hem sayısal hem de analitik yaklaşımlar uygulanabilir.
Özellikle sayısal bir uygulama olarak en küçük kareler yöntemi, bilinmeyenin mümkün olduğu kadar çok ölçümünün yapılmasını ifade eder. rastgele değişken. Ayrıca, ne kadar çok hesaplama yapılırsa, çözüm o kadar doğru olacaktır. Bu hesaplama setinde (ilk veriler), daha sonra en iyisinin seçildiği başka bir önerilen çözümler seti elde edilir. Çözüm kümesi parametreleştirilirse, en küçük kareler yöntemi parametrelerin optimal değerini bulmaya indirgenecektir.
LSM'nin başlangıç verileri (ölçümler) kümesine ve önerilen çözüm kümesine uygulanmasına analitik bir yaklaşım olarak, doğrulanması gereken belirli bir hipotez olarak elde edilen bir formülle ifade edilebilecek bazı (işlevsel) tanımlanır. Bu durumda, en küçük kareler yöntemi, başlangıç verilerinin hata kareleri kümesinde bu fonksiyonelin minimumunu bulmaya indirgenir.
Hataların kendilerinin değil, hataların karelerinin olduğuna dikkat edin. Neden? Niye? Gerçek şu ki, ölçümlerin tam değerden sapmaları genellikle hem pozitif hem de negatiftir. Ortalamayı belirlerken, pozitif ve negatif değerlerin karşılıklı iptali, ölçüm setinin örnekleme gücünü azaltacağından, basit bir toplama, tahminin kalitesi hakkında yanlış bir sonuca yol açabilir. Ve sonuç olarak, değerlendirmenin doğruluğu.
Bunun olmasını önlemek için kare sapmalar toplanır. Bundan da öte, ölçülen değerin boyutunu ve nihai tahmini eşitlemek için hataların karesi toplamı kullanılır.
ÇUŞ'ların bazı uygulamaları
MNC, çeşitli alanlarda yaygın olarak kullanılmaktadır. Örneğin, olasılık teorisinde ve matematiksel istatistikte, yöntem, rastgele bir değişkenin böyle bir özelliğini, rastgele bir değişkenin değer aralığının genişliğini belirleyen standart sapma gibi belirlemek için kullanılır.
en küçük kareler yöntemi
en küçük kareler yöntemi ( MNK, OLS, Sıradan En Küçük Kareler) - örnek verilerden regresyon modellerinin bilinmeyen parametrelerini tahmin etmek için temel regresyon analizi yöntemlerinden biri. Yöntem, regresyon artıklarının karelerinin toplamını en aza indirmeye dayanır.
Çözüm, bilinmeyen değişkenlerin bazı fonksiyonlarının kareler toplamını en aza indirmek için belirli bir kriteri içeriyorsa veya bunu sağlıyorsa, en küçük kareler yönteminin kendisinin herhangi bir alandaki bir sorunu çözmek için bir yöntem olarak adlandırılabileceğine dikkat edilmelidir. Bu nedenle, en küçük kareler yöntemi, belirli bir işlevin diğer (daha basit) işlevler tarafından yaklaşık bir temsili (yaklaşımı) için, sayısı bu niceliklerin sayısını aşan denklemleri veya kısıtlamaları karşılayan bir nicelikler kümesi bulurken kullanılabilir. , vb.
ÇUŞ'un özü
(açıklanan) değişken arasındaki bazı (parametrik) olasılıksal (gerileme) bağımlılık modeline izin verin y ve birçok faktör (açıklayıcı değişkenler) x
bilinmeyen model parametrelerinin vektörü nerede
- Rastgele model hatası.Belirtilen değişkenlerin değerlerinin örnek gözlemleri de olsun. Gözlem sayısı () olsun. Daha sonra -inci gözlemdeki değişkenlerin değerleridir. Ardından, b parametrelerinin verilen değerleri için, açıklanan değişken y'nin teorik (model) değerlerini hesaplamak mümkündür:
Kalıntıların değeri, b parametrelerinin değerlerine bağlıdır.
LSM'nin özü (sıradan, klasik), artıkların karelerinin toplamının (eng. Artık kareler toplamı) minimum olacaktır:
Genel durumda, bu problem sayısal optimizasyon yöntemleri (minimizasyon) ile çözülebilir. Bu durumda, biri söz eder doğrusal olmayan en küçük kareler(NLS veya NLLS - İngilizce. Doğrusal Olmayan En Küçük Kareler). Çoğu durumda, analitik bir çözüm elde edilebilir. Minimizasyon problemini çözmek için, bulmak gerekir sabit noktalar fonksiyon , bilinmeyen parametreler b'ye göre türevini almak, türevleri sıfıra eşitlemek ve elde edilen denklem sistemini çözmek:
Modelin rastgele hataları normal dağılıyorsa, aynı varyansa sahipse ve birbiriyle ilişkili değilse, en küçük kareler parametre tahminleri, maksimum olasılık yöntemi (MLM) tahminleriyle aynıdır.
Doğrusal model durumunda LSM
Regresyon bağımlılığı doğrusal olsun:
İzin vermek y- açıklanan değişkenin gözlemlerinin sütun vektörü ve - faktörlerin gözlem matrisi (matrisin satırları - belirli bir gözlemdeki faktör değerlerinin vektörleri, sütunlarla - tüm gözlemlerde belirli bir faktörün değerlerinin vektörü) . Doğrusal modelin matris gösterimi şu şekildedir:
O zaman açıklanan değişkenin tahmin vektörü ve regresyon artıklarının vektörü şuna eşit olacaktır:
buna göre, regresyon artıklarının karelerinin toplamı şuna eşit olacaktır:
Bu fonksiyonu parametre vektörüne göre farklılaştırarak ve türevleri sıfıra eşitleyerek, bir denklem sistemi (matris biçiminde) elde ederiz:
.Bu denklem sisteminin çözümü verir Genel formül Doğrusal bir model için OLS tahminleri:
Analitik amaçlar için, bu formülün son gösterimi yararlı olur. Regresyon modelindeki veriler ise merkezli, o zaman bu temsilde birinci matris, faktörlerin örnek kovaryans matrisinin anlamını taşır ve ikincisi, bağımlı değişkenli faktörlerin kovaryans vektörüdür. Ek olarak, veriler aynı zamanda normalleştirilmiş SKO'da (yani, nihayetinde standartlaştırılmış), o zaman ilk matris faktörlerin örnek korelasyon matrisinin anlamını taşır, ikinci vektör - faktörlerin bağımlı değişkenle örnek korelasyonlarının vektörü.
Modeller için LLS tahminlerinin önemli bir özelliği bir sabit ile- oluşturulan regresyonun çizgisi, örnek verilerin ağırlık merkezinden geçer, yani eşitlik sağlanır:
Özellikle uç durumda, tek regresör bir sabit olduğunda, tek bir parametrenin (sabitin kendisi) OLS tahmininin açıklanan değişkenin ortalama değerine eşit olduğunu buluruz. Yani, büyük sayılar yasalarından elde ettiği iyi özelliklerle bilinen aritmetik ortalama aynı zamanda bir en küçük kareler tahminidir - ondan sapmaların minimum kareleri toplamı kriterini karşılar.
Örnek: basit (ikili) regresyon
Eşleştirilmiş doğrusal regresyon durumunda, hesaplama formülleri basitleştirilmiştir (matris cebiri olmadan da yapabilirsiniz):
OLS tahminlerinin özellikleri
Her şeyden önce, doğrusal modeller için, en küçük kareler tahminlerinin, yukarıdaki formülden aşağıdaki gibi doğrusal tahminler olduğunu not ediyoruz. Tarafsız OLS tahminleri için, regresyon analizinin en önemli koşulunu yerine getirmek gerekli ve yeterlidir: faktörlere bağlı rastgele bir hatanın matematiksel beklentisi sıfıra eşit olmalıdır. Bu koşul, özellikle şu durumlarda karşılanır:
- rastgele hataların matematiksel beklentisi sıfırdır ve
- faktörler ve rastgele hatalar bağımsız rastgele değişkenlerdir.
İkinci koşul - dışsal faktörlerin durumu - esastır. Bu özellik karşılanmazsa, hemen hemen tüm tahminlerin son derece yetersiz olacağını varsayabiliriz: tutarlı bile olmayacaklar (yani, çok büyük miktarda veri bile bu durumda nitel tahminlerin elde edilmesine izin vermiyor). Klasik durumda, otomatik olarak dışsal koşulun karşılandığı anlamına gelen rastgele bir hatanın aksine, faktörlerin determinizmi hakkında daha güçlü bir varsayım yapılır. Genel durumda, tahminlerin tutarlılığı için, örneklem boyutunun sonsuza artmasıyla matrisin bazı tekil olmayan matrislere yakınsaması ile birlikte dışsallık koşulunu yerine getirmek yeterlidir.
Tutarlılık ve yansızlığa ek olarak, (olağan) en küçük kareler tahminlerinin de etkili olabilmesi için (doğrusal yansız tahminler sınıfının en iyisi), rastgele bir hatanın ek özelliklerini yerine getirmek gerekir:
Bu varsayımlar, rastgele hata vektörünün kovaryans matrisi için formüle edilebilir.
Bu koşulları sağlayan doğrusal modele denir. klasik. Klasik lineer regresyon için OLS tahminleri, tüm lineer tarafsız tahminler sınıfında tarafsız, tutarlı ve en verimli tahminlerdir (İngiliz literatüründe, kısaltma bazen kullanılmaktadır. mavi (En İyi Lineer Temelsiz Tahmincisi) en iyi doğrusal yansız tahmindir; yerli literatürde, Gauss-Markov teoreminden daha sık alıntı yapılır). Göstermesi kolay olduğu için, katsayı tahminleri vektörünün kovaryans matrisi şuna eşit olacaktır:
genelleştirilmiş en küçük kareler
En küçük kareler yöntemi geniş bir genellemeye izin verir. Kalıntıların karelerinin toplamını en aza indirmek yerine, bazı simetrik pozitif belirli ağırlık matrisi olan artık vektörün bazı pozitif belirli ikinci dereceden formunu en aza indirebiliriz. Sıradan en küçük kareler, ağırlık matrisinin birim matrisle orantılı olduğu bu yaklaşımın özel bir durumudur. Simetrik matrisler (veya operatörler) teorisinden bilindiği gibi, bu tür matrisler için bir ayrıştırma vardır. Bu nedenle, belirtilen fonksiyonel aşağıdaki gibi temsil edilebilir, yani bu fonksiyonel bazı dönüştürülmüş "kalıntıların" karelerinin toplamı olarak temsil edilebilir. Böylece, en küçük kareler yöntemleri sınıfını - LS yöntemleri (En Küçük Kareler) ayırt edebiliriz.
Genelleştirilmiş bir doğrusal regresyon modeli için (rastgele hataların kovaryans matrisine herhangi bir kısıtlama getirilmediği), en etkili olanın (doğrusal yansız tahminler sınıfında) sözde tahminler olduğu kanıtlanmıştır (Aitken teoremi). genelleştirilmiş OLS (OMNK, GLS - Genelleştirilmiş En Küçük Kareler)- Rastgele hataların ters kovaryans matrisine eşit bir ağırlık matrisine sahip LS yöntemi: .
Doğrusal modelin parametrelerinin GLS tahminleri için formülün şu şekilde olduğu gösterilebilir:
Sırasıyla bu tahminlerin kovaryans matrisi şuna eşit olacaktır:
Aslında, OLS'nin özü, orijinal verilerin belirli bir (doğrusal) dönüşümünde (P) ve dönüştürülmüş verilere olağan en küçük karelerin uygulanmasında yatmaktadır. Bu dönüşümün amacı, dönüştürülen veriler için rastgele hataların zaten klasik varsayımları karşılamasıdır.
Ağırlıklı en küçük kareler
Köşegen ağırlık matrisi (ve dolayısıyla rastgele hataların kovaryans matrisi) durumunda, sözde ağırlıklı en küçük kareler (WLS - Ağırlıklı En Küçük Kareler) sahibiz. Bu durumda, modelin kalıntılarının ağırlıklı kareler toplamı en aza indirilir, yani her gözlem, bu gözlemdeki rastgele hatanın varyansıyla ters orantılı bir "ağırlık" alır: . Aslında veriler, gözlemlerin ağırlıklandırılmasıyla (rastgele hataların varsayılan standart sapmasına orantılı bir miktara bölünerek) dönüştürülür ve ağırlıklı verilere normal en küçük kareler uygulanır.
Uygulamada LSM'nin bazı özel uygulama durumları
Doğrusal yaklaşım
Bazı skaler niceliklerin bazı skaler niceliklere bağımlılığını incelemenin bir sonucu olarak durumu göz önünde bulundurun (Bu, örneğin, voltajın akım gücüne bağımlılığı olabilir: , nerede - devamlı, iletkenin direnci), bu miktarların ölçümleri yapıldı, bunun sonucunda değerler ve karşılık gelen değerler elde edildi. Ölçüm verileri bir tabloya kaydedilmelidir.
Masa. Ölçüm sonuçları.
| Ölçüm numarası | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
Soru şuna benziyor: Bağımlılığı en iyi şekilde tanımlamak için katsayının hangi değeri seçilebilir? En küçük karelere göre bu değer, değerlerin değerlerden sapmalarının karelerinin toplamı olacak şekilde olmalıdır.
minimaldi
Kare sapmaların toplamının bir uç noktası vardır - minimum, bu formülü kullanmamıza izin verir. Bu formülden katsayının değerini bulalım. Bunu yapmak için sol tarafını aşağıdaki gibi dönüştürüyoruz:
Son formül, problemde gerekli olan katsayının değerini bulmamızı sağlar.
Hikaye
Önceki erken XIX içinde. bilim adamlarının bilinmeyen sayısının denklem sayısından az olduğu bir denklem sistemini çözmek için belirli kuralları yoktu; O zamana kadar, denklemlerin türüne ve hesap makinelerinin yaratıcılığına bağlı olarak belirli yöntemler kullanıldı ve bu nedenle, aynı gözlemsel verilerden yola çıkan farklı hesap makineleri farklı sonuçlara vardı. Gauss (1795), yöntemin ilk uygulamasıyla tanınır ve Legendre (1805) bağımsız olarak keşfedip altında yayınladı. modern isim(fr. Yöntem des moindras quarres ) . Laplace, yöntemi olasılık teorisiyle ilişkilendirdi ve Amerikalı matematikçi Adrain (1808) olasılık uygulamalarını değerlendirdi. Yöntem yaygınlaştı ve Encke, Bessel, Hansen ve diğerleri tarafından yapılan araştırmalarla geliştirildi.
ÇUŞ'ların alternatif kullanımı
En küçük kareler yöntemi fikri, doğrudan ilgili olmayan diğer durumlarda da kullanılabilir. regresyon analizi. Gerçek şu ki, kareler toplamı vektörler için en yaygın yakınlık ölçülerinden biridir (sonlu boyutlu uzaylarda Öklid metriği).
Uygulamalardan biri de sistemlerin “çözüm”üdür. lineer denklemler denklem sayısının değişken sayısından büyük olduğu
matrisin kare değil dikdörtgen olduğu yer.
Genel durumda böyle bir denklem sisteminin çözümü yoktur (sıralama aslında değişken sayısından büyükse). Bu nedenle, bu sistem sadece vektörler arasındaki "mesafeyi" en aza indirmek için böyle bir vektör seçme anlamında "çözülebilir" ve . Bunu yapmak için, sistem denklemlerinin sol ve sağ kısımlarının kare farklarının toplamını en aza indirme kriterini uygulayabilirsiniz, yani . Bu minimizasyon probleminin çözümünün aşağıdaki denklem sisteminin çözümüne yol açtığını göstermek kolaydır.