線性代數（第6版） Introduction to Linear Algebra, Sixth Edition

Table    of Contents

1 Vectors and Matrices 1

1.1 Vectors and Linear Combinations 2

1.2 Lengths and Angles from Dot Products 9

1.3 Matrices and Their Column Spaces 18

1.4 Matrix Multiplication AB and CR 27

2 Solving Linear Equations Ax = b 39

2.1 Elimination and Back Substitution 40

2.2 Elimination Matrices and Inverse Matrices 49

2.3 Matrix Computations and A = LU 57

2.4 Permutations and Transposes 64

2.5 Derivatives and Finite Difference Matrices 74

3 The Four Fundamental Subspaces 84

3.1 Vector Spaces and Subspaces 85

3.2 Computing the Nullspace by Elimination: A = CR 93

3.3 The Complete Solution to Ax = b 104

3.4 Independence, Basis, and Dimension 115

3.5 Dimensions of the Four Subspaces 129

4 Orthogonality 143

4.1 Orthogonality of Vectors and Subspaces 144

4.2 Projections onto Lines and Subspaces 151

4.3 Least Squares Approximations 163

4.4 Orthonormal Bases and Gram-Schmidt 176

4.5 The Pseudoinverse of a Matrix 190

5 Determinants 198

5.1 3 by 3 Determinants and Cofactors 199

5.2 Computing and Using Determinants 205

5.3 Areas and Volumes by Determinants 211

6 Eigenvalues and Eigenvectors 216

6.1 Introduction to Eigenvalues : Ax = λx 217

6.2 Diagonalizing a Matrix 232

6.3 Symmetric Positive De?nite Matrices 246

6.4 Complex Numbers and Vectors and Matrices 262

6.5 Solving Linear Differential Equations 270

vii

viii Table of Contents

7 The Singular Value Decomposition (SVD)   286

7.1 Singular Values and Singular Vectors 287

7.2 Image Processing by Linear Algebra 297

7.3 Principal Component Analysis (PCA by the SVD) 302

8 Linear Transformations   308

8.1 The Idea of a Linear Transformation 309

8.2 The Matrix of a Linear Transformation 318

8.3 The Search for a Good Basis 327

9 Linear Algebra in Optimization   335

9.1 Minimizing a Multivariable Function 336

9.2 Backpropagation and Stochastic Gradient Descent 346

9.3 Constraints, Lagrange Multipliers, Minimum Norms 355

9.4 Linear Programming, Game Theory, and Duality 364

10 Learning from Data   370

10.1 Piecewise Linear Learning Functions 372

10.2 Creating and Experimenting 381

10.3 Mean, Variance, and Covariance 386

Appendix 1 The Ranks of AB and A + B 400

Appendix 2 Matrix Factorizations 401

Appendix 3 Counting Parameters in the Basic Factorizations 403

Appendix 4 Codes and Algorithms for Numerical Linear Algebra 404

Appendix 5 The Jordan Form of a Square Matrix 405

Appendix 6 Tensors 406

Appendix 7 The Condition Number of a Matrix Problem 407

Appendix 8 Markov Matrices and Perron-Frobenius 408

Appendix 9 Elimination and Factorization 410

Appendix 10 Computer Graphics 414

Index of Equations   419

Index of Notations 422

Index 423