[wiskunde] kleinste kwadraten benadering

[damaetas]

pfrt okeej ff vraagje:
(in wat volgt: 'x' is vector x )

een (strijdig) stelsel A.'x' = 'b' kan benadert worden door de vector ||A.'x' - 'b'|| te minimaliseren. in de oefenzitting rekenden we dan gewoon die norm van product/verschil uit en zochten dan het minimum. maar in het boek staat ook nog deze formule:

A^t.A.'x' = A^t.'b'

waar dient die dan voor???

en welke moet ik toepassen als er wat gevraagd wordt?

[mathfreak]

De formule die jij geeft ontstaat door te eisen dat de partiële afgeleiden naar x_i van (||A.'x' - 'b'||)² de waarde nul hebben. Deze eis is de voorwaarde voor het te vinden minimum en voert tot A^t.A.'x' = A^t.'b'. Deze transformatie staat bekend als de Gausstransformatie en geeft de gevraagde vector 'x' waarvoor (||A.'x' - 'b'||)² minimaal is.

[damaetas]

mathfreak schreef:
De formule die jij geeft ontstaat door te eisen dat de partiële afgeleiden naar x_i van (||A.'x' - 'b'||)² de waarde nul hebben. Deze eis is de voorwaarde voor het te vinden minimum en voert tot A^t.A.'x' = A^t.'b'. Deze transformatie staat bekend als de Gausstransformatie en geeft de gevraagde vector 'x' waarvoor (||A.'x' - 'b'||)² minimaal is.

het dikke snap ik al : nabla(f) is nul bij een kritiek punt.

die 'x' in die formule is dan de kleinste kwadraten oplossing?
OOOWWWWJAAH dusseuh die 'x' (in beide formules) ligt het dichtst bij de oplossing van het stelsel; die je niet exact kan vinden, want ze bestaat niet in de opgespannen deelruimte. ja? *kijkt bang en afwachtend naar de heer mathfreak*

(spannend he)

[mathfreak]

damaetas schreef:
het dikke snap ik al : nabla(f) is nul bij een kritiek punt.

die 'x' in die formule is dan de kleinste kwadraten oplossing?
OOOWWWWJAAH dusseuh die 'x' (in beide formules) ligt het dichtst bij de oplossing van het stelsel; die je niet exact kan vinden, want ze bestaat niet in de opgespannen deelruimte. ja? *kijkt bang en afwachtend naar de heer mathfreak*

(spannend he)

Helemaal correct.

[EvilSmiley]

mathfreak schreef:
Helemaal correct.

hoi!

[Tampert]

die methode heb ik ook moeten kennen ja

ben hem helemaal kwijt

[damaetas]

mathfreak schreef:
Helemaal correct.

[damaetas]

Tampert schreef:
die methode heb ik ook moeten kennen ja

ben hem helemaal kwijt

HUH? jij doet toch natuurkunde he? moet je die dan ni kennen voor datafitting? of doen jullie alles met puters.

[damaetas]

mathfreak schreef:
A^t.A.'x' = A^t.'b'. Deze transformatie staat bekend als de Gausstransformatie en geeft de gevraagde vector 'x' waarvoor (||A.'x' - 'b'||)² minimaal is.

hm (nu zit ik aan oefeningen bezig) als er een stelsel gegeven is en je moet daar de kleinste kwadratenoplossing van vinden .... hoe doe je dat dan?
A^t.A.'x' = A^t.'b' : moet je hier dan 'x' uit zoeken? en hoe moet dat dan?

Eva (die wiskunde maar eindeloos vindt duren )

[mathfreak]

damaetas schreef:
hm (nu zit ik aan oefeningen bezig) als er een stelsel gegeven is en je moet daar de kleinste kwadratenoplossing van vinden .... hoe doe je dat dan?
A^t.A.'x' = A^t.'b' : moet je hier dan 'x' uit zoeken? en hoe moet dat dan?

Eva (die wiskunde maar eindeloos vindt duren )

Stel A^t.A=B, dan gaat de vergelijking over in B.'x' = A^t.'b'. Voer nu aan beide zijden van het gelijkteken een linksvermenigvuldiging uit met
B^-1=A^-1.(A^t)^-1. Dit geeft: 'x' =B^-1.A^t.'b'=A^-1.(A^t)^-1.A^t.'b'=A^-1.'b'.

[damaetas]

hm (seems like a lot of work for 3 uurtjes examen )

enneuh met (||A.'x' - 'b'||)2 ? zo hebben we een halve oefening in de oefenzitting gemakt, maar dan krijg je toch extreem vaal kwadraten van veeltermen. moet je die dan allemaal uitrekenen en et minimum van de gevonden functie zoeken?

[mathfreak]

damaetas schreef:
hm (seems like a lot of work for 3 uurtjes examen )

enneuh met (||A.'x' - 'b'||)2 ? zo hebben we een halve oefening in de oefenzitting gemakt, maar dan krijg je toch extreem vaal kwadraten van veeltermen. moet je die dan allemaal uitrekenen en et minimum van de gevonden functie zoeken?

Zoals ik al vermeldde leidt de voorwaarde dat (||A.'x' - 'b'||)² minimaal is tot de eis dat de partiële afgeleiden naar x_i van deze uitdrukking de waarde nul hebben. Deze eis is de voorwaarde voor het te vinden minimum en voert tot de Gausstransformatie die ik vermeldde. Je weet nu dus de voorwaarde voor het minimum en je kent tevens de waarde die de gezochte vector 'x' in dat geval moet hebben, aangezien die uit de Gausstransformatie kan worden afgeleid.

[damaetas]

hm daar heb ik zo mogelijk nog minder van begrepen sorry.

ik heb ondertussen een of andere uitkomst gevonden. het is een kritiek punt van de functie die ik kreeg uit (||A.'x' - 'b'||)^2
maar ik kan de oplossing niet verifiëren om da (oh ironie) net dat deel van de oplossingen op internet ontbreekt
maar ik ga het ook even op het klasseforum vragen.