Bài viết này tổng hợp lại các kí hiệu toán học được sử dụng trong blog. Về cơ bản, tôi sẽ cố gắng đồng bộ hết sức có thể các kí hiệu này với các kí hiệu thường được các nhà học máy và toán học sử dụng. Ở đây tôi không đề cập tới cách tính từng phép toán cụ thể vì tôi đã trình bày trong các chuỗi bài về Toán và Xác Suất rồi. Show Mục lụcTập hợpKí hiệuÝ nghĩa$\mathbb{A}$Tập $\mathbb{A}$ bất kì$\mathbb{N}$Tập số tự nhiên$\mathbb{Z}$Tập số nguyên$\mathbb{Q}$Tập số hữu tỉ$\mathbb{I}$Tập số vô tỉ$\mathbb{R}$Tập số thực$\{x,y,z\}$Tập chứa các phần tử $x,y,z$$\{a_1,a_2,…,a_n\}$Tập chứa các số nguyên từ $a_1$ tới $a_n$$[a,b]$Tập chứa các số thực trong khoảng $a<b$, bao gồm cả $a$ và $b$$(a,b)$Tập chứa các số thực trong khoảng $a<b$, không bao gồm cả $a$ và $b$$[a,b)$Tập chứa các số thực trong khoảng $a<b$, gồm $a$ nhưng không gồm $b$$(a,b]$Tập chứa các số thực trong khoảng $a<b$, gồm $b$ nhưng không gồm $a$$x^{(i)}$Đầu vào thứ $i$ trong tập huấn luyện$y^{(i)}$Đầu ra thứ $i$ trong tập huấn luyện ứng với đầu vào $x^{(i)}$ Số và ma trậnKí hiệuÝ nghĩa$a$Số thực $a$$\mathbf{a}$Véc-to cột $\mathbf{a}$$\mathbf{A}$Ma trận $\mathbf{A}$$[a_i]_n$ hoặc $(a_1,….,a_m)$Véc-to hàng $\mathbf{a}$ cấp $n$$[a_i]_n^{\intercal}$ hoặc $(a_1,….,a_m){\intercal}$Véc-to cột $\mathbf{a}$ cấp $n$$\mathbf{a}\in\mathbb{R^n}$Véc-to cột số thực $\mathbf{a}$ cấp $n$$[A_{ij}]_{mn}$Ma trận $\mathbf{A}$ cấp $m \times n$$\mathbf{A}\in\mathbb{R{m \times n}}$Ma trận số thực $\mathbf{A}$ cấp $m \times n$$\mathbf{I}_n$Ma trận đơn vị cấp $n$$\mathbf{A}{\dagger}$Giả nghịch đảo của ma trận $A$ (Moore-Penrose pseudoinverse)$\mathbf{A}\odot\mathbf{B}$Phép nhân phần tử Hadamard của ma trận $\mathbf{A}$ với ma trận $\mathbf{B}$ (element-wise (Hadamard))$\mathbf{a}\otimes\mathbf{b}$Phép nhân ngoài của véc-to $\mathbf{a}$ với véc-to $\mathbf{b}$ (outer product): $\mathbf{a}\mathbf{b}{\intercal}$$\Vert\mathbf{a}\Vert_p$Norm cấp $p$ của véc-to $\mathbf{a}$: $\Vert\mathbf{a}\Vert=\bigg(\sum_i\vert x_i\vert^p\bigg)\frac{1}{p}$$\Vert\mathbf{a}\Vert$Norm cấp 2 của véc-to $\mathbf{a}$ (độ dài véc-to)$a_i$Phần tử thứ $i$ của véc-to $\mathbf{a}$$A_{i,j}$Phần tử hàng $i$, cột $j$ của ma trận $\mathbf{A}$$A_{i_1:i_2,j_1:j_2}$Ma trận con từ hàng $i_1$ tới $i_2$ và cột $j_1$ tới $j_2$ của ma trận $\mathbf{A}$$A_{i,:}$ hoặc $\mathbf{A}{(i)}$Hàng $i$ của ma trận $\mathbf{A}$$A_{:,j}$Cột $j$ của ma trận $\mathbf{A}$ Giải tíchKí hiệuÝ nghĩa$f:\mathbb{A}\mapsto\mathbb{B}$Hàm số $f$ với tập xác định $A$ và tập giá trị $B$$f(x)$Hàm số 1 biến $f$ theo biến $x$$f(x,y)$Hàm số 2 biến $f$ theo biến $x$ và $y$$f(\mathbf{x})$Hàm số $f$ theo véc-to $\mathbf{x}$$f(\mathbf{x};\theta)$Hàm số $f$ theo véc-to $\mathbf{x}$ có tham số véc-to $\theta$$f(x){\prime}$ hoặc $\dfrac{df}{dx}$Đạo hàm của hàm $f$ theo $x$$\dfrac{\partial{f}}{\partial{x}}$Đạo hàm riêng của hàm $f$ theo $x$$\nabla_\mathbf{x}f$Gradient của hàm $f$ theo véc-to $\mathbf{x}$$\int_a^bf(x)dx$Tích phân tính theo $x$ trong khoảng $[a,b]$$\int_\mathbb{A}f(x)dx$Tích phân toàn miền $\mathbb{A}$ của $x$$\int f(x)dx$Tích phân toàn miền giá trị của $x$$\log{x}$ hoặc $\ln{x}$Logarit tự nhiên: $\log{x}\triangleq\ln{x}\triangleq\log_e{x}$$\sigma(x)$Hàm sigmoid (logistic sigmoid): $\dfrac{1}{1+e{-x}}=\dfrac{1}{2}\Bigg(\tanh\bigg({\dfrac{x}{2}}\bigg)+1\Bigg)$ Xác suất thống kêKí hiệuÝ nghĩa$\hat{y}$Đầu ra dự đoán$\hat{p}$Xác suất dự đoán$\hat{\theta}$Tham số ước lượng$J(\theta)$Hàm chi phí (cost function) hay hàm lỗi (lost function) ứng với tham số $\theta$I.I.DMẫu ngẫu nhiên (Independent and Identical Distribution)$LL(\theta)$Log Likelihood của tham số $\theta$MLEƯớc lượng hợp lý cực đại (Maximum Likelihood Estimation)MAPCực đại xác suất hậu nghiệm (Maximum A Posteriori) \[\boxed{\forall i\neq j, A_i\cap A_j=\emptyset\quad\textrm{ và }\quad\bigcup_{i=1}^nA_i=S}\]  Định lý Bayes mở rộng Cho $\{A_i, i\in[\![1,n]\!]\}$ là một phân vùng của không gian mẫu. Ta có: \[\boxed{P(A_k|B)=\frac{P(B|A_k)P(A_k)}{\displaystyle\sum_{i=1}^nP(B|A_i)P(A_i)}}\] Sự kiện độc lập Hai sự kiện $A$ và $B$ được coi là độc lập khi và chỉ khi ta có: \[\boxed{P(A\cap B)=P(A)P(B)}\] Biến ngẫu nhiênĐịnh nghĩaBiến ngẫu nhiên Một biến ngẫu nhiên, thường được kí hiệu là $X$, là một hàm nối mỗi phần tử trong một không gian mẫu thành một số thực. Hàm phân phối tích lũy (CDF) Hàm phân phối tích lũy $F$, là một hàm đơn điệu không giảm, sao cho $\underset{x\rightarrow-\infty}{\textrm{lim}}F(x)=0$ và $\underset{x\rightarrow+\infty}{\textrm{lim}}F(x)=1$, được định nghĩa là: \[\boxed{F(x)=P(X\leqslant x)}\] Hàm mật độ xác suất (PDF) Hàm mật độ xác suất $f$ là xác suất mà $X$ nhận các giá trị giữa hai giá trị thực liền kề của biến ngẫu nhiên. Mối quan hệ liên quan giữa PDF và CDF Dưới đây là các thuộc tính quan trọng cần biết trong trường hợp rời rạc (D) và liên tục (C). Trường hợp CDF $F$ PDF $f$ Thuộc tính của PDF (D) $\displaystyle F(x)=\sum_{x_i\leqslant x}P(X=x_i)$ $f(x_j)=P(X=x_j)$ $\displaystyle0\leqslant f(x_j)\leqslant1\textrm{ và }\sum_{j}f(x_j)=1$ (C) $\displaystyle F(x)=\int_{-\infty}xf(y)dy$ $f(x)=\displaystyle \frac{dF}{dx}$ $\displaystyle f(x)\geqslant0\textrm{ và }\int_{-\infty}{+\infty}f(x)dx=1$ Kỳ vọng và moment của phân phối Dưới đây là các biểu thức của giá trị kì vọng $E[X]$, giá trị kì vọng tổng quát $E[g(X)]$, moment bậc $k$ $E[X^k]$ và hàm đặc trưng $\psi(\omega)$ cho các trường hợp rời rạc và liên tục: Case $E[X]$ $E[g(X)]$ $E[X^k]$ $\psi(\omega)$ (D) $\displaystyle \sum_{i=1}nx_if(x_i)$ $\displaystyle \sum_{i=1}^ng(x_i)f(x_i)$ $\displaystyle \sum_{i=1}^nx_i^kf(x_i)$ $\displaystyle\sum_{i=1}^nf(x_i)e{i\omega x_i}$ (C) $\displaystyle \int_{-\infty}{+\infty}xf(x)dx$ $\displaystyle \int_{-\infty}{+\infty}g(x)f(x)dx$ $\displaystyle \int_{-\infty}{+\infty}x^kf(x)dx$ $\displaystyle\int_{-\infty}{+\infty}f(x)e^{i\omega x}dx$ Phương sai Phương sai của một biến ngẫu nhiên, thường được kí hiệu là Var$(X)$ hoặc $\sigma^2$, là một độ đo mức độ phân tán của hàm phân phối. Nó được xác định như sau: \[\boxed{\textrm{Var}(X)=E[(X-E[X])^2]=E[X^2]-E[X]^2}\] Độ lệch chuẩn Độ lệch chuẩn của một biến ngẫu nhiên, thường được kí hiệu $\sigma$, là thước đo mức độ phân tán của hàm phân phối của nó so với các đơn vị của biến ngẫu nhiên thực tế. Nó được xác định như sau: \[\boxed{\sigma=\sqrt{\textrm{Var}(X)}}\] Biến đổi các biến ngẫu nhiên Đặt các biến $X$ và $Y$ được liên kết với nhau bởi một hàm. Kí hiệu $f_X$ và $f_Y$ lần lượt là các phân phối của $X$ và $Y$, ta có: \[\boxed{f_Y(y)=f_X(x)\left|\frac{dx}{dy}\right|}\] Quy tắc tích phân Leibniz Gọi $g$ là hàm của $x$ và có khả năng $c$, và $a$,$b$ là các ranh giới có thể phụ thuộc vào $c$. Chúng ta có: \[\boxed{\frac{\partial}{\partial c}\left(\int_a^bg(x)dx\right)=\frac{\partial b}{\partial c}\cdot g(b)-\frac{\partial a}{\partial c}\cdot g(a)+\int_a^b\frac{\partial g}{\partial c}(x)dx}\] Phân bố xác suấtBất đẳng thức Chebyshev Gọi $X$ là biến ngẫu nhiên có giá trị kỳ vọng $\mu$. Với $k, \sigma>0$, chúng ta có bất đẳng thức sau: \[\boxed{P(|X-\mu|\geqslant k\sigma)\leqslant\frac{1}{k^2}}\] Các phân phối chính Dưới là các phân phối chính cần ghi nhớ: Phân phối đồng thời biến ngẫu nhiênMật độ biên và phân phối tích lũy Từ hàm phân phối mật độ đồng thời $f_{XY}$, ta có Trường hợp Mật độ biên Hàm tích lũy (D) $\displaystyle f_X(x_i)=\sum_{j}f_{XY}(x_i,y_j)$ $\displaystyle F_{XY}(x,y)=\sum_{x_i\leqslant x}\sum_{y_j\leqslant y}f_{XY}(x_i,y_j)$ (C) $\displaystyle f_X(x)=\int_{-\infty}^{+\infty}f_{XY}(x,y)dy$ $\displaystyle F_{XY}(x,y)=\int_{-\infty}^x\int_{-\infty}^yf_{XY}(x',y')dx'dy'$ Mật độ có điều kiện Mật độ có điều kiện của $X$ với $Y$, thường được kí hiệu là $f_{X|Y}$, được định nghĩa như sau: \[\boxed{f_{X|Y}(x)=\frac{f_{XY}(x,y)}{f_Y(y)}}\] Tính chất độc lập Hai biến ngẫu nhiên $X$ và $Y$ độc lập nếu ta có: \[\boxed{f_{XY}(x,y)=f_X(x)f_Y(y)}\] Hiệp phương sai Chúng ta xác định hiệp phương sai của hai biến ngẫu nhiên $X$ và $Y$, thường được kí hiệu $\sigma_{XY}^2$ hay $\textrm{Cov}(X,Y)$, như sau: \[\boxed{\textrm{Cov}(X,Y)\triangleq\sigma_{XY}^2=E[(X-\mu_X)(Y-\mu_Y)]=E[XY]-\mu_X\mu_Y}\] Hệ số tương quan Kí hiệu $\sigma_X$,$\sigma_Y$ là độ lệch chuẩn của $X$ và $Y$, chúng ta xác định hệ số tương quan giữa $X$ và $Y$, kí hiệu $\rho_{XY}$, như sau: \[\boxed{\rho_{XY}=\frac{\sigma_{XY}^2}{\sigma_X\sigma_Y}}\] Ước lượng tham sốĐịnh nghĩaMẫu ngẫu nhiên Mẫu ngẫu nhiên là tập hợp của $n$ biến ngẫu nhiên $X_1, ..., X_n$ độc lập và được phân phối giống hệt với $X$. Công cụ ước tính Công cụ ước tính (estimator) là một hàm của dữ liệu được sử dụng để suy ra giá trị của một tham số chưa biết trong mô hình thống kê. Thiên vị Thiên vị (bias) của Estimator $\hat{\theta}$ được định nghĩa là chênh lệch giữa giá trị kì vọng của phân phối $\hat{\theta}$ và giá trị thực, tức là \[\boxed{\textrm{Bias}(\hat{\theta})=E[\hat{\theta}]-\theta}\] Ước lượng trung bìnhGiá trị trung bình mẫu Giá trị trung bình mẫu của mẫu ngẫu nhiên được sử dụng để ước tính giá trị trung bình thực $\mu$ của phân phối, thường được kí hiệu $\overline{X}$ và được định nghĩa như sau: \[\boxed{\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i}\] Định lý giới hạn trung tâm Giả sử chúng ta có một mẫu ngẫu nhiên $X_1, ..., X_n$ theo một phân phối nhất định với trung bình $\mu$ và phương sai $\sigma^2$, sau đó chúng ta có: \[\boxed{\overline{X}\underset{n\rightarrow+\infty}{\sim}\mathcal{N}\left(\mu, \frac{\sigma}{\sqrt{n}}\right)}\] |
