Problems for chapter 8

8.1    Fitting a constant Function using Least squares

use the method of least squares, ind the constant function f (①) = C that best its the data.

(a).   Data set 1:

(b).   Data set 2:

(c).    Given a general data set  (①k, g k) for k = O, 1, . . . , m, ind the constant function f (①) = C that best it the data.  Derive the formula for C.  Does the formula depend on the points ①k？Are you surprised with the formula？

8.2    Fitting Functions with one parameter with Least squares

For each of the problem, derive the general formula for general data set  (①i, gi), i = O, 1, . . . , m. Then apply it to the following data set:

(a).    suppose that the table is known to conform to a function like

g = ①2  — ① + c.

what value of c is obtained by the least-squares theory？

(b).    suppose that the table is thought to be represented by a function

g = K . log | ① | .

(Here and below, log denotes the natural log.)  If so, what value for K is the best it according to the least-squares theory？

(c).    Now, if the table is thought to conform to a relationship

g = log(β| ① |),

what is the value of β obtained by the method of least squares？

Hints: There are possibly several ways of solving.  There we suggest two of them. (i) utilize the identity logab = loga + logb; (ii) Express β in terms of (①, g).

You are encouraged to try both.   Do  you  get the same  answer？  would  you like to comment on that？

8.3    The Method of Least squares with polynomial 大egression

(a).    what straight line best its the following data in the least-squares sense？

(b).    Find the values a and b such that the function     g(①) = a① +b     best approximate

the data:

(c).    Find the  equation of a parabola of form g  = a①2  + b  that best represents the following data, in least-squares sense:

8.4    The method of least squares with non-polynomial functions

(a).    we are given a data set (①k, g k), with k = O, . . . , m.  we seek a function of the form

g(①)  =  asin ① + β cos ①

that best approximates the data.  set up the normal equations, which solve the problem with the method of least squares.

compute the values of a and β which provide the best it to the particular data

(b).    Let  f (①) be a given function and ①k   (k  =  O, . . . m) be a set of points.   what constant c makes the expression

 [f (①k) — ce从k ]2

as small as possible？

8.5    Miscellaneous Exercises

(a).    show that the solution of the normal equations (8.2.5) (on p. 198 of the textbook) can not give a maximum point for the error function ψ.  (Hint：Recall the 2nd derivative test for multivariable functions.)

(b).    show that if a straight line is itted to a table  (①i, gi) by the method of least squares,  then the  line will pass through the point  (①* , g* ) where ①*   and  g*   are  the averages of the ①i,s and gi,s, respectively.  (Hint：stare at the normal equations (8.2.5) on page 198 in the textbook.)

(c).    An experiment involves two independent variables (①, g) and one dependent vari- able 从 . How can a function

从 (①, g) = a + b① + cg

be itted to the table of points  (①k, gk, 从k) with k  = O, 1, . . . , m？ Derive the normal equations.

8.6    Least squares for over-determined systems

(a).    consider the over-determined system

a kj①j  = bk ,       O 三 k 三 m,       n < m.

In general, since the number of equations m + 1 is larger than the number of unknown n + 1, the system has no solutions.

A“best solution” can be deined as the one that minimizes the error

ψ(①0, ① 1 , . . .  , ①n) = 

Derive the normal equations.

a kj①j — bk)2 .

(b).    Determine the“best solution” (in the least square sense) for the following system

,(2① + 3g = 1,

〈 ① — 4g = —9,

(，2① — g = — 1.

(c).    Now, expression the system in matrix-vector form

A① = b

where A is a rectangular matrix, which has more rows than columns.  show that the normal equations can be written as

(AT A)① = ATb.

8.7    Application:  A population model

Assume that the growth of the world,s population could be described by the ODE

dtp(t)  =  Kp (t),

where

p   =   world population, in millions of people

t   =   time, measured in years

K   =   growth rate

The general solution of this ODE has the form

p(t) =  .  .                                                 (*) for some constants K, to.  Throughout the past, we have recorded the following historical data:

(a).  consider the new variables g = 1O6/p, and ① = t — 183O.  Rewrite the equation (*) in the form g(①) = ao  + a1①.

(b).  use the method of least squares to determine ao  and a1 .

(c).  Going back to the original variables, ind K and to.  Now you can write out the function p(t) that describes the population p as a function of time t.

(d).  use the model to predict the population for t = 198O, t = 2OOO and t = 2O1O. Are you happy with the result？ comparing to the actual population in 2O11, which is about 7.1 billions, what would you say about this model？

8.8    Quasi-linear method of least squares

For the table

we seek a least squares approximation of the form

g (①)   =   ao  . (1 十(ea)①(1从))a2  ）

where ao , a1  and a2  are three unknown coe伍cients.

(a). write the normal equations for your approximation.

Try to reformulate the problem in a suitable away, so that, after a variable change, you get a linear system.

(b).  use Matlab to compute the solution to the normal equations. Make a plot which shows the data points and the least squares approximation (①).  compute the sum of squares

k(Σ)(g k  — g (①k))2 .

8.9    The method of least squares in Matlab

Given data set

use Matlab function polyfit to ind respectively the irst, second, fourth and eighth order polynomials that best it the data, using the method of least squares. You should also plot your polynomials, together with the data set.

what to hand in：  The script ile, the plots, and your comments.

8.10    Least squares approximation of functions

Let f (①) be a function deined on the interval [ — 1）1], as

f (①) = { —1(1)））        —O(1) 三(三) ①(①) 三 1(< O).）

we want to approximate f (①) by a function of the form

g(①)  =  a cos(π①) 十 bsin(π①).

Find the best possible constants a and b, by the method of least squares.

8.11    Misc on Fitting Functions

(a).    Find the constant c that makes the expression

l01 (e从  — c①)2 d①

a minimum.

(b).    Find the constant c for which c① is the best approximation in the sense of least squares to the function sin ① on the interval [o, π/2].

Do the same for e从  on  [o, 1].

(c).    In itting a table of values to a function of the form

a + b① -1 + c① -2

we try to make each point lie on the curve. This leads to

a + b①k(-)1  + c①k(-)2 = gk ,       o 三 k 三 m.

An equivalent equation is

a①k(2) + b①k  + c = g k①k(2) ,       o 三 k  三 m.

(1)

(2)