The key concepts in this lecture are:

Differentiation and integration of power series (Theorem 2).

Weierstrass M-test (Theorem 3).

Binomial theorem.

Weierstrass approximation (Theorem 4) and Bernstein polynomials.

Power Series

1   Differentiation and integration of power series

Theorem 1  Let 对 an xn   be a power series with radius of convergence r > 0 .  Then f(x) = 对 an xn  is continuous on (−r,r) .

Proof ▷ The partial sums fn (x) = 对k(n)=0 ak xk  are polynomials and so they are continuous on (−r,r). We show fn  → f uniformly on [−s,s] for 0 ≤ s < r. It is important to note that fn  → f pointwise but the convergence on (−r,r) may not be uniform.  We have 对 |an |xn exists for |x| ≤ s. Also |an xn | ≤ |an |sn  for x ∈ [−s,s]. Then

∞

σn  = sup{|fn (x) − f(x)| : −s ≤ x ≤ s} ≤  工  |an |sn .                  (1.1)

k=n+1

Since 对 |an |sn  is convergent, Cauchy’s criterion shows σn  → 0 as n → ∞ .  Therefore for any s ∈ [0,r), fn (x) converges uniformly to f(x) for x ∈ [−s,s].  By Theorem 5 in the last lecture, f is continuous on [−s,s]. Since this is true for any s ∈ [0,r), and fn  → f pointwise

on (−r,r), f is continuous on (−r,r).

The geometric series  对 xn   =  x/(1 − x) has radius of convergence  1,  and partial sums fn (x) = x(1 − xn )/(1 − x). However fn  → f but not uniformly on (−1, 1):

sup{|fn (x) − f(x)| : −1 < x < 1} = sup{  : −1 < x < 1}              (1.2)

which is infinite. Nevertheless, x/(1 − x) is continuous on (−1, 1), according to Theorem 1. The next theorem shows that differentiation and integration of power series are term-by-term within the radius of convergence.

Theorem 2  Let f(x) =对 an xn  have radius of convergence r > 0 .  Then

(i)    \0x f(t)dt =对  for |x| < r .

(ii)   f\ (x) =对 nan xn − 1  for |x| < r .

Proof ▷ Proof of (i) : Let fn (x) be the nth partial sum of f(x). The first thing to prove is

that

The integrals exist since fn (t) and f(t) are continuous on the interval of integration and fn converges uniformly to f  on (−r,r).  For |x| >  0 and ϵ  >  0, there exists N  such that for n > N , |fn (t) − f(t)| < ϵ/|x|.

'\0 x f(t)dt − \0 x fn (t)dt' = '\0 x (f(t) − fn (t))' < ϵ .

(1.4)

This proves the convergence tol0x f(t)dt . Now

\0 x f(t)dt =n(l) \0 x  ak tk dt =n(l)  \0 x ak tk dt

since the sum in the integral is finite, so we can interchange the sum and the integral. The integral in the sum is ak xk+1/(k + 1) and so the expression is

n(l) 工(n) 

Note that the series is convergent for −r < x < r, since the radius of convergence is

kl  = kl  · kl  = r.                                    (1.7)

This proves (i). We omit the proof of (ii), which is similar.                                                  

This theorem allows us to recognize certain familiar functions in terms of power series.

Example 1.    Let f(x) = 对(−1)n+1xn /n where −1 < x  ≤ 1.  Note that this series is convergent for x  ∈ (−1, 1].  Then using the geometric series, for −1 < x  ≤ 1, and the last theorem (i),

f(x) =  \0 x (−1)n+1tn − 1 dt = \0 x (−1)n+1tn − 1 dt = \0 x dt = log(1 + x).      (1.8)

We conclude for −1 < x ≤ 1,

log(1 + x) =   .                                                      (1.9)

In

particular,

log 2 = 1 −  +  −  + ....

(1.10)

Example 2.   Let f(x) =对 nxn where −1 < x < 1. This series has radius of convergence

r = 1 and we may write

∞

f(x) = x 工nxn − 1  = xg\ (x)

n=1

where

g(x) =工(∞)xn  =  .

This implies g\ (x) = 1/(1 − x)2  and so by the last theorem (ii):

(1.11)

(1.12)

for −1 < x < 1.

Example 3.   We show that f(x) =对 xn+1/n(n+1) is continuous on [−1, 1]. Certainly by Theorem 1 it is continuous on (−1, 1), since f has radius of convergence equal to 1. One may use Cauchy’s criterion and the definition of uniform convergence that sup{|fn (x)−f(x)| : −1 ≤ x ≤ 1} → 0 as n → ∞, or we may also use integration:  the reader will check by

integrating twice that

  =  \0 x (\0 t sn − 1 ds)dt.

Since the sum of sn − 1  is a geometric series, equal to 1/(1 − s), we obtain

f(x) = \0 x \0 t dsdt = \0 x −log(1 − t)dt = x + (1 − x)log(1 − x).

This is continuous on  [−1, 1]:  the only issue might be when x =  1, however limx→ 1 (1 − x)log(1 − x) = 0 by l’Hˆopital’s rule. Therefore f : [−1, 1] → R is the continuous function

f(x) = {1(x) + (1 − x)log(1 − x)

for  − 1 ≤ x < 1

for x = 1.

(1.16)

We have avoided a discussion of convergence and continuity of power series at the ends of the interval of convergence, which is a more advanced topic.

2   Weierstrass’ M-test

For k ∈ N, let fk (x) : S → R. In this section we state a sufficient condition for convergence of a series 对 fk (x) of functions for x ∈ S .

Theorem 3  For k ∈ N, let fk (x) : S → R, and suppose supx∈S |fk (x)| ≤ Mk for each k ≥ 1 . If 对 Mk  converges, then 对 fk  converges uniformly on S .

Proof ▷ Let gn  =对k(n)=1 fk  and g = limn→∞ gn . By the Cauchy criterion, for any ϵ > 0 there exists N such that for n > m > N , |Mn − Mm | < ϵ . Then for n > m > N ,

n                                     n

|gn (x) − gm (x)| = I  工  fk (x)I ≤  工  |fk (x)| ≤ |Mn − Mm | < ϵ .

k=m+1                       k=m+1

for all x ∈ S . So gn  satisfies Cauchy’s criterion on S, and gn  → g uniformly on S .

Example 4.   Let fn (x) = xn /(2n −xn ) where −1 ≤ x ≤ 1 and f(x) =对 xn /(2n −xn ). This is not a power series, but we may use Weierstrass’ M-test to show that 对 fn (x) converges uniformly to f on [−1, 1]. For each n ≥ 1, sup{|fn (x)| : −1 ≤ x ≤ 1} = 1/(2n − 1) ≤ 1/2n − 1 for n ≥ 1. Since对 1/2n − 1  converges, 对 fn  converges uniformly to f on [−1, 1].

3   Weierstrass’ approximation theorem

In the last section we saw that a function f represented by a power series can be approximated uniformly by polynomials within the radius of convergence of the power series – namely take the nth partial sum of f . However, not all continuous functions can be represented as a power series, for instance, f(x) = |x| cannot be represented as a power series.  In this section, we see that any continuous function f  on a closed interval can be uniformly approximated by polynomials.  This is  Weierstrass’  approximation  theorem, and the Bernstein polynomials are the polynomials we used:

Theorem 4  (Weierstrass’ approximation theorem) Let f : [0, 1] → R be a continuous function.   Then there  exist polynomials  (fn )n≥1   where fn   :  [0, 1] → R such that fn   → f uniformly on [0, 1] .

We recall that (k(n)) = n!/k!(n − k)! is the number of subsets of {1, 2, . . . ,n} of size k . For a continuous function f : [0, 1] → R and n ∈ N, the Bernstein polynomials are defined by

fn (x) =工(n) f(k/n) (  )k(n) xk (1 − x)n −k .

(3.1)

It will be shown that these converge uniformly to f  on [0, 1].  First we need the binomial theorem :

Theorem 5  (The binomial theorem) Let x ∈ R and n ∈ N .  Then

 (  )k(n) xk (1 − x)n −k  = 1.                                                        (3.2)

Proof ▷ Consider (x + y)n  = (x + y)(x + y) ... (x + y). The coefficient of xk yn −k  when we expand the product is exactly (k(n)), since we have to chose x from k of the terms, and y from the remaining n − k terms. Therefore

(x + y)n  =  (  )k(n) xk yn −k .

(3.3)

Setting y = 1 − x gives the theorem.

We use the following fact from probability,  but which the reader can prove directly by evaluating the sum:

Lemma 6  For x ∈ R and n ∈ N,

(k − nx)2 (  )k(n) xk (1 − x)n −k  = nx(1 − x).

Proof of Theorem 4.   Recall that since f   :  [0, 1]  → R is continuous, it is uniformly continuous on [0, 1] and so by definition of uniform continuity, for any ϵ  >  0 there exists δ   >  0 such that  |x − y|  <  δ  implies  |f(x) − f(y)|  <  ϵ/2 where x,y   ∈  [0, 1].   By the extreme value  theorem , f  has a maximum and minimum value on [0, 1], and so M  = max{|f(x)| : 0 ≤ x  ≤ 1} exists.  We show there exists N  such that |fn (x) − f(x)| < ϵ for all x ∈ [0, 1], whenever n > N, which establishes the uniform convergence fn  → f . We will take N = M/ϵδ 2 . Let gn,k (x) = (k(n))xk (1 − x)n −k . By the binomial theorem,

n

f(x) =工 f(x)gn,k (x).

k=0

So by the triangle inequality,

n

|f(x) − fn (x)| ≤工 |f(k/n) − f(x)|gn,k (x).

k=0

(3.5)

(3.6)

If A is the set of k such that |k/n−x| < δ, then |f(k/n)−f(x)| < ϵ/2 and so by the binomial

theorem:

工 |f(k/n) − f(x)|gn,k (x) <工(ϵ/2)gn,k (x) = ϵ/2.                               (3.7)

k∈A                                                               k=0

For the remaining values of k, we have |k/n − x| ≥ δ and so (k − nx)2  ≥ n2 δ 2 . Therefore

工 |f(k/n) − f(x)|gn,k (x)

k\∈A

≤   max{|f(k/n) − f(x)| : 0 ≤ x ≤ 1} · 工 gn,k (x)

k\∈A

(k − nx)2

k\∈A

k=0

By Lemma 6, the sum is nx(1 − x). Since 0 ≤ x ≤ 1, this is at most n/4. So we concluder

工 |f(k/n) − f(x)|gn,k (x) ≤  .

This motivated our choice of N : for n > N, this is at most ϵ/2. Therefore

|f(x) − fn (x)| ≤工 |f(k/n) − f(x)|gn,k (x) +工 |f(k/n) − f(x)|gn,k (x) < ϵ .

k∈A                                                              k\∈A

This completes the proof.

Example 5.     Let f(x) = ex .  Find for each n  ≥ 1 a polynomial fn (x) of degree n  such that fn   → f  uniformly on  [0, 1].   By Weierstrass’ approximation theorem, the Bernstein polynomials fn (x) will do. The Bernstein polynomials are

fn (x)   =    ek/n (  )k(n) xk (1 − x)n −k

=    (  )k(n) (xe1/n)k (1 − x)n −k     =   (xe1/n + 1 − x)n

by the binomial theorem. So fn (x) = (xe1/n +1−x)n  uniformly approximate f(x) on [0, 1].

The polynomials fn (x) do not necessarily approximate f(x) on the entire real line.  In the last example, let xn  = 1/(e1/n − 1), so that

sup{|fn (x) − f(x)| : x ∈ R} ≥ |2n − en | = en − 2n

and this diverges to infinity. So fn  → f is not uniform on the whole real line (similar to the example with f(x) = ex  and fn (x) = (1 + x/n)n ).