1. ICA_ correlation_covariance Varriance

2. Phương sai variance Standard Deviation Covariance Correlation Phương sai và độ lệch chuẩn tính cho một biến, Hiệp phương sai và tương quan cho hai biến

3. Hiệp phương sai là phương sai kết hợp cho hai biến

4. Whitening Random vector= Stochastic process Random Process =Random variable stochastic or random processes are random functions of time

7. Whitening Dữ liệu tương quan Dữ liệu không tương quan Rx Covariance

8. cross-correlation matrix UNCORRELATEDNESS AND INDEPENDENCE uncorrelated Không tương quan thì hiệp tương quan 2 biến =0 Tương quan tích bằng tích các tương quan leading to the uncorrelatedness condition Phươn g sai Covariance matrix In particular, random vectors having zero mean and unit covariance

9. independent Ch ư a đ ủ, các thống kê bậc cao phải thỏa

10. Bản chất của ICA Bản chất của biến đ ổi mix x Nh ư ng do x có liên quan tới s là x=As nên y có liên quan tới s S là các thành phần đ ộc lập ban đ ầu có chuẩn ph ươ ng sai bằng 1 và trị trung bình bằng 0 Bài toán ICA : tín hiệu s ban đầu là độc lập thống kê có phân bố phi gause (phân bố đều hoặc siêu gause, dùng hàm Kurtust để tính thì ra -1 hoặc 1) X thu đư ợc phải có tính Gauss ( đ ịnh lý gh trung tâm) Khi biến đ ổi dữ liệu x thành y thực chất là phép biến đ ổi này như vậy nếu ta lý luận y= q T s là thành phần độc lập bằng cách cực đại tính phi gause từ y= q T s thì nó cũng đúng với phép biến đổi của ta lúc đầu y=b T x, nhưng lý luận tìm thành phần độc lập từ y= q T s cho ta kết quả trực quan hơn Trở lại với phép biến đổi y=b T x, ta ngầm hiểu y= q T s và do đó : Kurt(y) là hàm đ o tính gause của y Ràng buộc của ICA (1) statistically independent, (2) nongaussian distributions, (3) unknown mixing matrix is square- thu 3 cảm biến thì không thể xác đ ịnh 4 nguồn Không xác đ ịnh thứ tự của các nguồn đ ộc lập, ph ươ ng sai và dấu

11. Tính không rõ ràng của ICA và các giả định để giải quyết

12. Kurt là hàm momen bậc 4 E{y 4 } Y là biến Gaussian  Kurt(y)=0

13. Bản chất của ICA Do giả sử ban đầu si là các thành phần độc lập có phân bố phi gause nên |kurt(si)|=1 ( chú ý nếu si có tính gause (|kurt(si)|=0 )thì đây là cấm đối với ICA vì tổng của các thành phần có tính gause sẽ là có tính gause) Là biểu thức cần tính cực đại theo điều kiện phương sai bằng 1 F(q)=1 càng tốt đạt cực đại tính phi gause Giả đ ịnh ICA Suy ra Chỉ có được khi cực đại của phép quay y=W T x thông qua cực đại tính phi Gausse, max( kurt(y)) Lý luận cực đại tính phi Gause của biến trộn sẽ tìm thành phần độc lập

14. Gauss hơn Bung ra, trắng hóa Xoay nữa sẽ có tính Gause

15. Infer (deduced) –predict of mix signal can be obtained Bung ra, trắng hóa Vận tốc và vị trị ban đầu chưa biết t (t=0 Gia tốc và vị trị lúc sau có thể dự đoán thông qua giá trị đầu qua ma trận tổ hợp liên quan thời gian t Một mình biến chưa biết các tham số phụ thuộc để suy ra Có thể suy diễn dựa vào thời gian và vị trí đầu gọi là sự tổ hợp nhiều biến theo định lý CLT

16. Quay ngược lại ban đầu là cực đại phi Gausse

17. Giải thích trắng hóa whitening Independent components are the maximally nongaussian components

18. Uncorrelated variables are only partly independent A weaker form of independence is uncorrelatedness. Two random variables y1 and y2 are said to be uncorrelated, if their covariance is zero:

19. Matrix resume Rank Rank measures the linear independence of the columns/rows of A. It is the dimension span by these columns/rows. The rank of a matrix equals For any matrix, the column space and row space have the same dimension (rank). Therefore, the rank of a matrix can be calculated either from rows or columns. The following are the ranks for different matrices. Tổ hợp của các vecto trong A phải sinh ra vectơ mới thì độc lập tuyến tính ( row 3 là một vecto cũ trong A) for a square matrix, if columns/rows are linearly dependent, the matrix is singular and not invertible.

20. Rank of Matrix-Pivots variables ( Biến then chốt) The rank of a matrix equals the number of pivots If an n × n matrix has less than n pivots, the matrix is singular

21. Nullspace & left nullspace The space span by x below is called the nullspace of A, with notation N(A). The row space of A is orthogonal to the nullspace of A. Vuông góc với x (x1,x2,x3)

22. Sigular matrix and Non singular matrix

23. Matrix and solved equation

25. Basis A basis for a vector space is a series of linearly independent vectors that span this space Cơ sở của một không gian vecto là tập hợp các vecto độc lập tuyến tính span cho không gian đó n linearly independent vectors are needed to form a basis for Rⁿ x can have a functional basis like (1, x, x², x³) and y has a basis of (x, x², x’).

26. Consider a vector x with its basis being the column of the matrix V.

27. Basis and span A basis for a vector space is a series of linearly independent vectors that span this space The same vector can be represented in two different bases (purple and red arrows). A linear combination of one basis of vectors (purple) obtains new vectors (red). If they are linearly independent, these form a new basis. The linear combinations relating the first basis to the other extend to a linear transformation, called the change of basis.linear combinationlinearly independentlinear transformation Cơ sở màu tím vuôn g góc Cơ sở màu tím vuông góc kết hợp tuyến tính thành cơ sở màu đỏ vuông góc Và ngược lại Cơ sở màu đỏ vuông góc kết hợp tuyến tính thành cơ sở màu tím vuông góc

28. Span của 2 vectơ độc lập tuyến tính là R 2 không gian 2D Span của 3 vectơ độc lập tuyến tính là R 3 không gian 3D Tạo không gian 1D ( span= R 1 ) 2 vec tơ phụ thuộc tuyến tính 2 vec tơ độc lập tuyến tính, tổ hợp với hệ số khác không của chúng sẽ không trùng với bất kỳ vectơ nào trong 2 vecto trên Tạo không gian 2D ( span= R 2 )

29. Basis of vecto space Let’s say ₁, ₂ are the basis of vector space V. it means every vector in V can be expressed as a linear combination of basis and there is only one way of expression for each vector ∈.

30. Quadratic form equation in Matrix A quadratic equation can be written as: When x equals to the eigenvector of A, f equals to its corresponding eigenvalue. If x is a unit vector, the quadratic equation f(x) = xᵀAx will have the maximum and the minimum value equals to the maximum and the minimum of the eigenvalues λ of A.

31. Maximum & minimum value of a quadratic function The matrix A in representing the quadratic equations here is symmetrical. The lower and upper bound of such quadratic functions equals the minimum and the maximum of the eigenvalues of A respectively.

32. It has zero solution if b is not in the column space of A. i.e. the linear combination of columns in A cannot reach b.

34. Dependent Example:

35. Independent Example:

36. Span and basis