Soluția celor mai mici pătrate. Aproximarea datelor experimentale. Metoda celor mai mici pătrate. MCO în cazul unui model liniar

Exemplu.

Date experimentale despre valorile variabilelor XȘi la sunt date în tabel.

Ca urmare a alinierii lor, se obține funcția

Folosind metoda celor mai mici pătrate, aproximați aceste date printr-o dependență liniară y=ax+b(găsiți parametri AȘi b). Aflați care dintre cele două linii (în sensul metodei celor mai mici pătrate) aliniază mai bine datele experimentale. Faceți un desen.

Esența metodei celor mai mici pătrate (LSM).

Sarcina este de a găsi coeficienții de dependență liniară la care funcția a două variabile AȘi b ia cea mai mică valoare. Adică dat AȘi b suma abaterilor pătrate a datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.

Astfel, rezolvarea exemplului se reduce la găsirea extremului unei funcții a două variabile.

Derivarea formulelor pentru găsirea coeficienților.

Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale unei funcții în raport cu variabile AȘi b, echivalăm aceste derivate cu zero.

Rezolvăm sistemul de ecuații rezultat folosind orice metodă (de exemplu prin metoda substitutiei sau ) și obțineți formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM).

Dat AȘi b funcţie ia cea mai mică valoare. Dovada acestui fapt este dată.

Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , și parametrul n- cantitatea de date experimentale. Vă recomandăm să calculați separat valorile acestor sume. Coeficient b găsit după calcul A.

Este timpul să ne amintim de exemplul original.

Soluţie.

În exemplul nostru n=5. Completam tabelul pentru confortul calculării sumelor care sunt incluse în formulele coeficienților necesari.

Valorile din al patrulea rând al tabelului se obțin prin înmulțirea valorilor celui de-al 2-lea rând cu valorile celui de-al 3-lea rând pentru fiecare număr i.

Valorile din al cincilea rând al tabelului se obțin prin pătratul valorilor din al doilea rând pentru fiecare număr i.

Valorile din ultima coloană a tabelului sunt sumele valorilor de pe rânduri.

Folosim formulele metodei celor mai mici pătrate pentru a găsi coeficienții AȘi b. Înlocuim valorile corespunzătoare din ultima coloană a tabelului în ele:

Prin urmare, y = 0,165x+2,184- linia dreaptă de aproximare dorită.

Rămâne să aflăm care dintre rânduri y = 0,165x+2,184 sau aproximează mai bine datele originale, adică face o estimare folosind metoda celor mai mici pătrate.

Estimarea erorilor metodei celor mai mici pătrate.

Pentru a face acest lucru, trebuie să calculați suma abaterilor pătrate ale datelor originale din aceste linii Și , o valoare mai mică corespunde unei linii care aproximează mai bine datele originale în sensul metodei celor mai mici pătrate.

De la , apoi drept y = 0,165x+2,184 aproximează mai bine datele originale.

Ilustrare grafică a metodei celor mai mici pătrate (LS).

Totul este clar vizibil pe grafice. Linia roșie este linia dreaptă găsită y = 0,165x+2,184, linia albastră este , punctele roz sunt datele originale.

De ce este nevoie de acest lucru, de ce toate aceste aproximări?

Eu personal îl folosesc pentru a rezolva probleme de netezire a datelor, probleme de interpolare și extrapolare (în exemplul original li se poate cere să găsească valoarea unei valori observate y la x=3 sau când x=6 folosind metoda celor mai mici pătrate). Dar vom vorbi mai multe despre asta mai târziu într-o altă secțiune a site-ului.

Dovada.

Așa că atunci când este găsit AȘi b funcția ia cea mai mică valoare, este necesar ca în acest moment matricea formei pătratice a diferenţialului de ordinul doi pentru funcţie a fost pozitiv definit. Să o arătăm.

Dacă o anumită mărime fizică depinde de o altă mărime, atunci această dependență poate fi studiată prin măsurarea y la diferite valori ale lui x. În urma măsurătorilor, se obțin un număr de valori:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Pe baza datelor unui astfel de experiment, este posibil să se construiască un grafic al dependenței y = ƒ(x). Curba rezultată face posibilă aprecierea formei funcției ƒ(x). Cu toate acestea, coeficienții constanți care intră în această funcție rămân necunoscuți. Ele pot fi determinate folosind metoda celor mai mici pătrate. Punctele experimentale, de regulă, nu se află exact pe curbă. Metoda celor mai mici pătrate necesită ca suma pătratelor abaterilor punctelor experimentale de la curbă, i.e. 2 a fost cel mai mic.

În practică, această metodă este folosită cel mai des (și cel mai simplu) în cazul unei relații liniare, adică Când

y = kx sau y = a + bx.

Dependență liniară foarte răspândită în fizică. Și chiar și atunci când relația este neliniară, de obicei încearcă să construiască un grafic astfel încât să obțină o linie dreaptă. De exemplu, dacă se presupune că indicele de refracție al sticlei n este legat de lungimea de undă a luminii λ prin relația n = a + b/λ 2, atunci dependența lui n de λ -2 este reprezentată pe grafic.

Luați în considerare dependența y = kx(o linie dreaptă care trece prin origine). Să compunem valoarea φ suma pătratelor abaterilor punctelor noastre de la dreapta

Valoarea lui φ este întotdeauna pozitivă și se dovedește a fi mai mică cu cât punctele noastre sunt mai aproape de linia dreaptă. Metoda celor mai mici pătrate afirmă că valoarea pentru k ar trebui aleasă astfel încât φ să aibă un minim

sau
(19)

Calculul arată că eroarea pătratică medie în determinarea valorii lui k este egală cu

, (20)
unde n este numărul de măsurători.

Să luăm acum în considerare un caz ceva mai dificil, când punctele trebuie să satisfacă formula y = a + bx(o linie dreaptă care nu trece prin origine).

Sarcina este de a găsi cele mai bune valori ale lui a și b din setul disponibil de valori x i, y i.

Să compunem din nou forma pătratică φ, egală cu suma abaterilor pătrate ale punctelor x i, y i de la dreapta

și găsiți valorile lui a și b pentru care φ are un minim

;

.

Rezolvarea comună a acestor ecuații dă

(21)

Erorile pătratice medii ale determinării lui a și b sunt egale

(23)

.  (24)

La prelucrarea rezultatelor măsurătorilor folosind această metodă, este convenabil să rezumați toate datele într-un tabel în care sunt calculate preliminar toate cantitățile incluse în formulele (19)(24). Formele acestor tabele sunt date în exemplele de mai jos.

Exemplul 1. A fost studiată ecuația de bază a dinamicii mișcare de rotațieε = M/J (linia care trece prin origine). La diferite valori ale momentului M, a fost măsurată accelerația unghiulară ε a unui anumit corp. Este necesar să se determine momentul de inerție al acestui corp. Rezultatele măsurătorilor momentului de forță și accelerației unghiulare sunt enumerate în a doua și a treia coloană tabelul 5.

Tabelul 5

Folosind formula (19) determinăm:

.

Pentru a determina eroarea pătratică medie, folosim formula (20)

0.005775kg-1 · m -2 .

Conform formulei (18) avem

S J = (2,996 0,005775)/0,3337 = 0,05185 kg m2.

După ce am stabilit fiabilitatea P = 0,95, folosind tabelul coeficienților Student pentru n = 5, găsim t = 2,78 și determinăm eroarea absolută ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kg m2.

Să scriem rezultatele sub forma:

J = (3,0 ± 0,2) kg m2;

Exemplul 2. Să calculăm coeficientul de temperatură al rezistenței metalului folosind metoda celor mai mici pătrate. Rezistența depinde liniar de temperatură

Rt = R0 (1 + a t°) = R0 + R0 a t°.

Termenul liber determină rezistența R 0 la o temperatură de 0 ° C, iar coeficientul unghiular este produsul coeficient de temperaturăα la rezistența R 0 .

Rezultatele măsurătorilor și calculelor sunt prezentate în tabel ( vezi tabelul 6).

Tabelul 6

Folosind formulele (21), (22) determinăm

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Să găsim o eroare în definiția lui α. Deoarece , atunci conform formulei (18) avem:

.

Folosind formulele (23), (24) avem

;

0.014126 Ohm.

După ce am stabilit fiabilitatea la P = 0,95, folosind tabelul coeficienților Student pentru n = 6, găsim t = 2,57 și determinăm eroarea absolută Δα = 2,57 0,000132 = 0,000338 grade -1.

α = (23 ± 4) 10 -4 grindină-1 la P = 0,95.

Exemplul 3. Este necesară determinarea razei de curbură a lentilei folosind inelele lui Newton. Au fost măsurate razele inelelor lui Newton r m și au fost determinate numerele acestor inele m. Razele inelelor lui Newton sunt legate de raza de curbură a lentilei R și de numărul inelului prin ecuație

r 2 m = mλR - 2d 0 R,

unde d 0 grosimea spațiului dintre lentilă și placa plan-paralelă (sau deformarea lentilei),

λ lungimea de undă a luminii incidente.

A = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

atunci ecuația va lua forma y = a + bx.

Rezultatele măsurătorilor și calculelor sunt introduse tabelul 7.

Tabelul 7

Are multe aplicații, deoarece permite o reprezentare aproximativă a unei anumite funcții de către altele mai simple. LSM poate fi extrem de util în procesarea observațiilor și este utilizat în mod activ pentru a estima unele cantități pe baza rezultatelor măsurătorilor altora care conțin erori aleatoare. În acest articol, veți învăța cum să implementați calculele celor mai mici pătrate în Excel.

Enunțarea problemei folosind un exemplu specific

Să presupunem că există doi indicatori X și Y. Mai mult, Y depinde de X. Deoarece OLS ne interesează din punct de vedere al analizei de regresie (în Excel metodele sale sunt implementate folosind funcții încorporate), ar trebui să trecem imediat la luarea în considerare a unui problemă specifică.

Deci, să fie X spațiul de vânzare cu amănuntul al unui magazin alimentar, măsurat în metri patrati, iar Y este cifra de afaceri anuală, determinată în milioane de ruble.

Este necesar să se facă o prognoză a cifrei de afaceri (Y) va avea magazinul dacă are cutare sau cutare spațiu comercial. Evident, funcția Y = f (X) este în creștere, deoarece hipermarketul vinde mai multe mărfuri decât taraba.

Câteva cuvinte despre corectitudinea datelor inițiale utilizate pentru predicție

Să presupunem că avem un tabel construit folosind date pentru n magazine.

Conform statisticilor matematice, rezultatele vor fi mai mult sau mai puțin corecte dacă se examinează datele pe cel puțin 5-6 obiecte. În plus, rezultatele „anomale” nu pot fi utilizate. În special, un mic butic de elită poate avea o cifră de afaceri de multe ori mai mare decât cifra de afaceri a unui mare puncte de vânzare cu amănuntul Clasa „Masmarket”.

Esența metodei

Datele din tabel pot fi reprezentate pe un plan cartezian sub forma punctelor M 1 (x 1, y 1), ... M n (x n, y n). Acum soluția problemei se va reduce la selectarea unei funcții de aproximare y = f (x), care are un grafic care trece cât mai aproape de punctele M 1, M 2, .. M n.

Desigur, puteți folosi un polinom grad înalt, dar această opțiune nu este doar dificil de implementat, ci și pur și simplu incorectă, deoarece nu va reflecta tendința principală care trebuie detectată. Soluția cea mai rezonabilă este căutarea dreptei y = ax + b, care aproximează cel mai bine datele experimentale, sau mai precis, coeficienții a și b.

Evaluarea acurateței

Cu orice aproximare, evaluarea acurateței sale este de o importanță deosebită. Să notăm cu e i diferența (abaterea) dintre valorile funcționale și experimentale pentru punctul x i, adică e i = y i - f (x i).

Evident, pentru a evalua acuratețea aproximării, puteți utiliza suma abaterilor, adică atunci când alegeți o linie dreaptă pentru o reprezentare aproximativă a dependenței lui X de Y, ar trebui să acordați prioritate celei cu cea mai mică valoare a sum e i la toate punctele luate în considerare. Cu toate acestea, nu totul este atât de simplu, deoarece împreună cu abaterile pozitive vor exista și unele negative.

Problema poate fi rezolvată folosind module de abatere sau pătratele acestora. Ultima metodă este cea mai utilizată. Este folosit în multe domenii, inclusiv în analiza de regresie (implementată în Excel folosind două funcții încorporate) și și-a dovedit de mult eficacitatea.

Metoda celor mai mici pătrate

După cum știți, Excel are o funcție încorporată AutoSum care vă permite să calculați valorile tuturor valorilor situate în intervalul selectat. Astfel, nimic nu ne va împiedica să calculăm valoarea expresiei (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

În notație matematică, aceasta arată astfel:

Deoarece a fost luată inițial decizia de a aproxima folosind o linie dreaptă, avem:

Astfel, sarcina de a găsi linia dreaptă care descrie cel mai bine dependența specifică a mărimilor X și Y se rezumă la calcularea minimului unei funcții a două variabile:

Pentru a face acest lucru, trebuie să echivalați derivatele parțiale față de noile variabile a și b la zero și să rezolvați un sistem primitiv format din două ecuații cu 2 necunoscute de forma:

După câteva transformări simple, inclusiv împărțirea cu 2 și manipularea sumelor, obținem:

Rezolvând-o, de exemplu, folosind metoda lui Cramer, obținem un punct staționar cu anumiți coeficienți a * și b *. Acesta este minimul, adică pentru a prezice ce cifră de afaceri va avea un magazin pentru o anumită zonă, este potrivită linia dreaptă y = a * x + b *, care este un model de regresie pentru exemplul în cauză. Bineînțeles că nu te va lăsa să găsești rezultat exact, dar vă va ajuta să vă faceți o idee dacă achiziționarea unei anumite zone pe credit magazin va da roade.

Cum se implementează cele mai mici pătrate în Excel

Excel are o funcție pentru calcularea valorilor folosind cele mai mici pătrate. Are următoarea formă: „TENDINȚA” (valori Y cunoscute; valori X cunoscute; valori X noi; constantă). Să aplicăm formula de calcul OLS în Excel la tabelul nostru.

Pentru a face acest lucru, introduceți semnul „=” în celula în care ar trebui să fie afișat rezultatul calculului folosind metoda celor mai mici pătrate în Excel și selectați funcția „TENDINȚA”. În fereastra care se deschide, completați câmpurile corespunzătoare, evidențiind:

• intervalul de valori cunoscute pentru Y (în acest caz, date pentru cifra de afaceri comercială);
• interval x 1 , …x n , adică dimensiunea spațiului comercial cu amănuntul;
• atât valorile cunoscute, cât și cele necunoscute ale lui x, pentru care trebuie să aflați dimensiunea cifrei de afaceri (pentru informații despre locația lor pe foaia de lucru, consultați mai jos).

În plus, formula conține variabila logică „Const”. Dacă introduceți 1 în câmpul corespunzător, aceasta va însemna că trebuie să efectuați calculele, presupunând că b = 0.

Dacă trebuie să aflați prognoza pentru mai mult de o valoare x, atunci după introducerea formulei nu trebuie să apăsați „Enter”, ci trebuie să introduceți combinația „Shift” + „Control” + „Enter” pe tastatură.

Unele caracteristici

Analiza de regresie poate fi accesibilă chiar și pentru manechin. Formula Excel pentru prezicerea valorii unei matrice de variabile necunoscute — TREND — poate fi folosită chiar și de cei care nu au auzit niciodată de cele mai mici pătrate. Este suficient doar să cunoașteți câteva dintre caracteristicile muncii sale. În special:

• Dacă aranjați intervalul de valori cunoscute ale variabilei y într-un rând sau coloană, atunci fiecare rând (coloană) cu valori cunoscute ale lui x va fi perceput de program ca o variabilă separată.
• Dacă fereastra TREND nu indică un interval cu x cunoscut, atunci dacă funcția este utilizată în programul Excelîl va trata ca o matrice formată din numere întregi, al căror număr corespunde intervalului cu valorile date ale variabilei y.
• Pentru a scoate o matrice de valori „prevăzute”, expresia pentru calcularea tendinței trebuie introdusă ca formulă matrice.
• Dacă nu sunt specificate valori noi ale lui x, atunci funcția TREND le consideră egale cu cele cunoscute. Dacă nu sunt specificate, atunci tabloul 1 este luat ca argument; 2; 3; 4;…, care este proporțional cu intervalul cu parametrii deja specificați y.
• Intervalul care conține noile valori x trebuie să aibă aceleași sau mai multe rânduri sau coloane ca și intervalul care conține valorile y date. Cu alte cuvinte, trebuie să fie proporțional cu variabilele independente.
• O matrice cu valori x cunoscute poate conține mai multe variabile. Cu toate acestea, dacă vorbim despre unul singur, atunci este necesar ca intervalele cu valorile date ale lui x și y să fie proporționale. În cazul mai multor variabile, este necesar ca intervalul cu valorile y date să se încadreze într-o coloană sau un rând.

Funcția PREDICTION

Implementat folosind mai multe funcții. Una dintre ele se numește „PREDICȚIE”. Este similar cu „TENDINȚA”, adică oferă rezultatul calculelor folosind metoda celor mai mici pătrate. Cu toate acestea, doar pentru un X, pentru care valoarea lui Y este necunoscută.

Acum cunoașteți formule în Excel pentru manechine care vă permit să preziceți valoarea viitoare a unui anumit indicator în conformitate cu o tendință liniară.

Metoda celor mai mici pătrate este una dintre cele mai comune și mai dezvoltate datorită ei simplitatea și eficiența metodelor de estimare a parametrilor liniar. În același timp, atunci când îl utilizați, trebuie să aveți grijă, deoarece modelele construite folosindu-l pot să nu satisfacă o serie de cerințe pentru calitatea parametrilor lor și, ca urmare, să nu reflecte „bine” modelele de dezvoltare a procesului. suficient.

Să luăm în considerare mai detaliat procedura de estimare a parametrilor unui model econometric liniar folosind metoda celor mai mici pătrate. Acest model în vedere generala poate fi reprezentat prin ecuația (1.2):

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t.

Datele inițiale la estimarea parametrilor a 0 , a 1 ,..., a n sunt un vector de valori ale variabilei dependente y= (y 1 , y 2 , ... , y T)" și matricea valorilor variabilelor independente

în care prima coloană, formată din unele, corespunde coeficientului de model.

Metoda celor mai mici pătrate și-a primit numele pe baza principiului de bază conform căruia estimările parametrilor obținute pe baza ei trebuie să satisfacă: suma pătratelor erorii de model ar trebui să fie minimă.

Exemple de rezolvare a problemelor folosind metoda celor mai mici pătrate

Exemplul 2.1.Întreprinderea comercială are o rețea de 12 magazine, informații despre activitățile cărora sunt prezentate în tabel. 2.1.

Conducerea întreprinderii ar dori să știe cum depinde suma anuală de spațiul de vânzare cu amănuntul al magazinului.

Tabelul 2.1

Soluția celor mai mici pătrate. Să notăm cifra de afaceri anuală a celui de-al-lea magazin, milioane de ruble; — suprafața de vânzare cu amănuntul a celui de-al-lea magazin, mii m2.

Fig.2.1. Scatterplot pentru Exemplul 2.1

Pentru a determina forma relației funcționale dintre variabile și vom construi o diagramă de dispersie (Fig. 2.1).

Pe baza diagramei de dispersie, putem concluziona că cifra de afaceri anuală este dependentă pozitiv de spațiul comercial (adică, y va crește odată cu creșterea ). Cea mai potrivită formă de conexiune funcțională este liniar.

Informațiile pentru calcule suplimentare sunt prezentate în tabel. 2.2. Folosind metoda celor mai mici pătrate, estimăm parametrii unui model econometric liniar cu un singur factor

Tabelul 2.2

Prin urmare,

Prin urmare, cu o creștere a spațiului de vânzare cu amănuntul cu 1 mie m2, celelalte lucruri fiind egale, cifra de afaceri medie anuală crește cu 67,8871 milioane de ruble.

Exemplul 2.2. Conducerea companiei a observat că cifra de afaceri anuală depinde nu doar de aria de vânzare a magazinului (vezi exemplul 2.1), ci și de numărul mediu de vizitatori. Informațiile relevante sunt prezentate în tabel. 2.3.

Tabelul 2.3

Soluţie. Să notăm numărul mediu de vizitatori la cel de-al-lea magazin pe zi, mii de oameni.

Pentru a determina forma relației funcționale dintre variabile și vom construi o diagramă de dispersie (Fig. 2.2).

Pe baza graficului de dispersie, putem concluziona că cifra de afaceri anuală depinde pozitiv de numărul mediu de vizitatori pe zi (adică, y va crește odată cu creșterea ). Forma dependenței funcționale este liniară.

Orez. 2.2. Scatterplot pentru Exemplul 2.2

Tabelul 2.4

În general, este necesar să se determine parametrii unui model econometric cu doi factori

y t = a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informațiile necesare pentru calcule ulterioare sunt prezentate în tabel. 2.4.

Să estimăm parametrii unui model econometric liniar cu doi factori folosind metoda celor mai mici pătrate.

Prin urmare,

Estimarea coeficientului =61,6583 arată că, în condițiile egale, cu o creștere a spațiului comercial cu 1 mie m 2, cifra de afaceri anuală va crește cu o medie de 61,6583 milioane ruble.