표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(k \, ; a, b, n)$$
$$U\{a,b\}$$
$a$와 $b$
$a$와 $b$는 정수
$$b \geq a$$
$$n=b-a+1$$
$$k \in \{a,a+1,\ldots, b-1,b\}$$
$$f(k \, ; a, b, n)=\dfrac{1}{n}$$
for $a\leq k\leq b$
$$f(k \, ; a, b, n)=0$$
if not $a\leq k\leq b$
$$\dfrac{e^{at}-e^{(b+1)^t}}{n(1-e^t)}$$
평균 : $\dfrac{a+b}{2}$
분산 : $\dfrac{n^2-1}{12}$
$$\mathrm{ln}(n)$$
표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(0, 1 ; p)$$
$${Bern}(x ; p)$$
$$p$$
$p$는 성공확률
$$0 < p < 1$$
$q$는 실패확률
$$q=1-p$$
$$\{0, 1\}$$
$x$는 $0$ 또는 $1$
$$f(0, 1 ; p)=\mathrm{Pr}(X=0)=1-p$$
$$f(0, 1 ; p)=\mathrm{Pr}(X=1)=p$$
$$Bern(x \, ; p) = p^x(1-p)^{(1-x)}$$
표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(k \, ; n,p)$$
$${Bin}(k \, ; n,p)$$
$n$과 $p$
$n$은 시행횟수
$n \geq 0$
$p$는 성공확률
$0 \leq p \leq 1$
$q$는 실패확률
$q=1-p$
$$k \in \{0, \ldots , n\}$$
$k$는 성공횟수
$$f(k \, ; n,p)=\dbinom{n}{k}p^k q^{n-k}$$
$$(1-p+pe^t)^n$$
평균 : $np$
분산 : $npq$
$$\dfrac{1}{2}\mathrm{ln}(2\pi nep(1-p))+O\left(\dfrac{1}{n}\right)$$
표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(k \, ; N, K, n)$$
$$Hyper(k \, ; N, K, n)$$
$N$과 $K$와 $n$
$$N \in \{0,1,\ldots\} $$
$$K \in \{0,1,\ldots,N\} $$
$$n \in \{0,1,\ldots,N\} $$
$$k \in \mathrm{max}(0, n+K=N), \ldots ,\mathrm{min} (n,k)$$
$$f(k \, ; N, K, n)=$$
$$\dfrac{\dbinom{K}{k}\dbinom{N-K}{n-k}}{\dbinom{N}{n}}$$
$$\dfrac{\dbinom{N-K}{n} \sideset{_2}{_1}F(-n,-K;N-K-n+1:e^t)}{\dbinom{N}{n}}$$
평균 : $n\dfrac{K}{N}$
분산 : $n\dfrac{K}{N}\dfrac{N-K}{N}\dfrac{N-n}{N-1}$
표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(k \, ; p)$$
$$p$$
$p$는 성공확률
$$0＜ p ≤ 1$$
$$k\in \{1,2,\ldots\}$$
$k$는 시도회수
or
$$k\in \{0,1,2,\ldots\}$$
$k$는 실패회수
$$f(k \, ; p)=$$
$$\mathrm{Pr}(X=k)=(1-p)^{k-1}p$$
or
$$f(k \, ; p)=$$
$$\mathrm{Pr}(Y=k)=(1-p)^{k}p$$
$$\dfrac{pe^t}{1-(1-p)e^t}$$
여기서, $t < \mathrm{ln}(1-p)$
평균 : $\dfrac{1}{p}$
분산 : $\dfrac{1-p}{p^2}$
or
$$\dfrac{p}{1-(1-p)e^t}$$
여기서, $t < \mathrm{-ln}(1-p)$
평균 : $\dfrac{1-p}{p}$
분산 : $\dfrac{1-p}{p^2}$
$$\dfrac{-(1-p)\mathrm{log}_2 (1-p)-p\ \mathrm{log}_2 p}{p}$$
or
$$\dfrac{-(1-p)\mathrm{log}_2 (1-p)-p\ \mathrm{log}_2 p}{p}$$
표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(k \, ; \lambda)$$
$$\mathrm{Pois}(k \, ; \lambda)$$
$$\mathrm{Pois}(\lambda)$$
$$\lambda$$
$\lambda$는 rate
$$\lambda \in (0,\infty)$$
$$k$$
$k$는 $0$과 자연수
$$f(k \, ; \lambda)=\dfrac{\lambda^k e^{-\lambda}}{k!}$$
$$\mathrm{exp}(\lambda(e^t -1))$$
평균 : $\lambda$
분산 : $\lambda$
$$\lambda[1-\mathrm{log}(\lambda)]+e^{-\lambda}\sum_{k=0}^{\infty}\dfrac{\lambda^k\mathrm{log}(k!)}{k!}$$
표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(k \, ; r,p)$$
$$NB(k \, ; r,p)$$
$$NB(r,p)$$
$r$과 $p$
$r$은 시행이 끝날 때까지 성공횟수
$$r > 0$$
$p$는 성공확률
$$p \in [0,1]$$
$$k \in \{0,1,2,\ldots\}$$
$k$는 실패할 때까지 시행횟수 – 시행은 실패할 때까지 지속
$$f(k \, ; r,p)=$$
$$k \mapsto \dbinom{k+r-1}{k} \cdot (1-p)^r p^k$$
$$\left(\dfrac{1-p}{1-pe^t}\right)^r$$
$$\text{for} \ t<-\mathrm{log}p$$
평균 : $\dfrac{pr}{1-p}$
분산 : $\dfrac{pr}{(1-p)^2}$
$$r=\dfrac{{\rm E}[X]^2}{{\rm Var}[X]-E[X]}$$
$$p=1-\dfrac{{\rm E}[X]}{{\rm Var}[X]}$$
표기
Parameter
Support
확률분포도
확률질량함수
모멘트생성함수
엔트로피
$$f(x_i \, ; n,p_i)$$
$n$과 $k$와 $p_k$
$n$은 시도횟수
$n$은 $0$과 자연수
$k$는 독립시행 수
$k$는 $0$과 자연수
$p_k$는 $k$시행에서의 확률질량
$$p_k=p_1, \ldots, p_n$$
$$\sum_\limits{i=1}^{n} p_i=1$$
$$x_{i}\in \{0,\dots ,n\}$$
$$i \in \{1,\dots ,k\}$$
$$\sum\limits_{i} x_{i}=n$$
$$f(x_i \, ; n,p_i)=$$
$$\dfrac{n!}{x_1! \cdots x_k!}p_1^{x_1} \cdots p_k^{x_k}$$
$$\left(\sum_{i=1}^{k}p_i e^{t_i}\right)^n$$
평균 : ${\operatorname {E}}[X_i]=n{p_i}$
분산 : ${\operatorname {Var}}(X_i)=n{p_i}(1-p_i)$
$${\operatorname {Cov}}(X_i,X_j)=-n{p_i}{p_j}\ \ (i\neq j)$$
$$-\mathrm{log}(n!)-n\sum_{i=1}^{k}p_i\mathrm{log}(p_i)+$$
$$\sum_{i=1}^{k} \sum_{x_i=0}^{n} \dbinom{n}{x_i}p_i^{x_i} (1-p_i)^{n-x_i}\mathrm{log}(x_i !)$$
기호
Parameter
Support
확률분포도
확률밀도함수 - 누적분포함수
모멘트생성함수
엔트로피
$$f(x \, ; a, b)$$
$$U(x \, ; a,b)$$
$$U_{[a,b]}$$
$a$와 $b$
$a$와 $b$는 실수
$$ a < b $$
$$x \in [a, b]$$
$$f(x \, ; a, b)=\dfrac{1}{(b-a)}$$
for $a ≤ x ≤ b$
$$f(x \, ; a, b)=0$$
for $x < a $ or $x > b$
$$F(x \, ; a, b)=0$$
for $x < a$
$$F(x \, ; a, b)=\dfrac{x-a}{b-a}$$
for $a < x < b$
$$F(x \, ; a, b)=1$$
for $b < x$
$$\dfrac{e^{tb}-e^{ta}}{t(b-a)}$$
평균 : $\dfrac{1}{2}(a+b)$
분산 : $\dfrac{1}{12}(b-a)^2$
$$\mathrm{ln}(b-a)$$
기호
Parameter
Support
확률분포도
확률밀도함수 - 누적분포함수
모멘트생성함수
엔트로피
$$f(x \, ; \lambda)$$
$$Exp(x \, ; \lambda)$$
$$\lambda$$
$\lambda$는 rate, inverse scale
$\lambda$는 양의실수
$$x \in [0, +\infty)$$
$$f(x \, ; \lambda)=\lambda e^{-\lambda x}=\lambda \left(\dfrac{1}{e}\right)^{\lambda x}$$
for $x ≥ 0$
$$f(x \, ; \lambda)=0$$
for $x < 0$
$$F(x \, ; \lambda)=1-e^{-\lambda x}=1-\left(\dfrac{1}{e}\right)^{\lambda x}$$
for $x ≥ 0$
$$F(x \, ; \lambda)=0$$
for $x < 0$
$$\dfrac{\lambda}{\lambda -t} \,\, \ \text{for} \ t<\lambda$$
평균 : $\dfrac{1}{\lambda}$
분산 : $\dfrac{1}{\lambda^2}$
$$1-\ln \lambda$$
기호
Parameter
Support
확률분포도
확률밀도함수 - 누적분포함수
모멘트생성함수
엔트로피
$$f(x \, ; \mu, \sigma_X^2)$$
$$N(x \, ; \mu, \sigma_X^2)$$
$$N(\mu, \sigma^2)$$
$\mu$와 $\sigma^2$
$\mu$는 평균
$\mu$는 실수
$\mu$는 location
$\sigma^2$은 분산
$\sigma^2$은 양의 실수
$\sigma^2$은 squared scale
$$x\in[-\infty, +\infty]$$
$$f(x \, ; \mu, \sigma^2)=$$
$$\dfrac{1}{\sqrt{2\pi}\sigma} \mathrm{exp} \left(-\dfrac{(x-\mu)^2}{2\sigma^2}\right)$$
$$F(x \, ; \mu, \sigma^2)=$$
$$\dfrac{1}{2}\left(1+\operatorname {erf}\left(\dfrac{x-\mu}{\sqrt{2}\sigma}\right)\right)$$
여기서, $\operatorname {erf} (x)=\dfrac {2}{\sqrt {\pi }}\int _{0}^{x}e^{-t^2}\,dt$
$$M_X (t)=\mathrm{exp}\left(\mu t+\dfrac{\sigma^2 t^2}{2}\right)$$
평균 : $\mu$
분산 : $\sigma^2$
$$12\ln(2πσ^2)+12$$
기호
Parameter
Support
확률분포도
확률밀도함수
모멘트생성함수
엔트로피
$$f(x \, ; \alpha, \beta)$$
$${\rm B}(x \, ; \alpha, \beta)$$
$${\rm B}(\alpha, \beta)$$
$\alpha$와 $\beta$
$\alpha$는 shape
$\alpha$는 양의 실수
$\beta$는 shape
$\beta$는 양의 실수
$$x \in [0, 1]$$
or
$$x \in (0, 1)$$
$$f(x \, ; \alpha, \beta)=\dfrac {x^{\alpha -1}(1-x)^{\beta -1}}{\mathrm {B} (\alpha ,\beta)}$$
여기서, $\mathrm {B} (\alpha ,\beta )=\dfrac {\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )}$
$$1+\sum _{k=1}^{\infty }\left(\prod _{r=0}^{k-1}{\frac {\alpha +r}{\alpha +\beta +r}}\right){\frac {t^{k}}{k!}}$$
평균 :
$$\mathrm {E} [X]=\dfrac{\alpha}{\alpha +\beta}$$
$$\mathrm {E} [\ln X]=\psi (\alpha )-\psi (\alpha +\beta)$$
분산 :
$$ \mathrm {Var} (X)={\dfrac {\alpha \beta }{(\alpha +\beta )^{2}(\alpha +\beta +1)}}$$
$$\mathrm {Var} (\ln X)=\psi _{1}(\alpha )-\psi _{1}(\alpha +\beta )$$
$$\ln \mathrm {B} (\alpha ,\beta )-(\alpha -1)\psi (\alpha )$$
$$-(\beta -1)\psi (\beta )$$
$$+(\alpha +\beta -2)\psi (\alpha +\beta )$$
기호
Parameter
Support
확률분포도
확률밀도함수
모멘트생성함수
엔트로피
$$f(x \, ; k,\theta)$$
$$\Gamma(x \, ; k,\theta)$$
or
$$f(x \, ; \alpha, \beta)$$
$$\Gamma(x \, ; \alpha, \beta)$$
$k$와 $\theta$ or $\alpha$와 $\beta$
$k$는 shape
$k$는 양의 실수
$$k=\dfrac{{\rm E}[X]^{2}}{{\rm Var}[X]}$$
$\theta$는 shape
$\theta$는 양의 실수
$$ \theta =\dfrac{{\rm Var}[X]}{{\rm E}[X]}$$
or
$\alpha$는 shape
$\alpha$는 양의 실수
$$\alpha=\dfrac{{\rm E}[X]^{2}}{{\rm Var}[X]}$$
$\beta$는 shape
$\beta$는 양의 실수
$$\beta =\dfrac{{\rm E}[X]}{{\rm Var}[X]}$$
$$x∈(0,+\infty)$$
$$X\sim \Gamma (k,\theta )$$
$$\equiv \operatorname {Gamma} (k,\theta)$$
or
$$X\sim \Gamma (\alpha,\beta)$$
$$\equiv \operatorname {Gamma} (\alpha,\beta)$$
$$f(x \, ; k,\theta)=x^{k-1}\dfrac{\mathrm{exp}\left(\frac{-x}{\theta}\right)}{\Gamma (k)\theta^k}$$
or
$$f(x \, ; \alpha, \beta)={\dfrac{\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}$$
$$(1-\theta t)^{-k} \ \text{for} \ t < \dfrac{1}{\theta}$$
평균 : $k\theta$
분산 : $k\theta^2$
or
$$ \left(1-\dfrac{t}{\beta}\right)^{-\alpha } \ \text{for} \ t<\beta$$
평균 : $\dfrac{\alpha}{\beta}$
분산 : $\dfrac{\alpha}{\beta^2}$
$$k + \ln\theta+\ln\Gamma(k)+(1-k)\psi(k)$$
or
$$\alpha + \ln\beta+\ln\Gamma(\alpha)+(1-\alpha)\psi(\alpha)$$
기호
Parameter
Support
확률분포도
확률밀도함수
모멘트생성함수
엔트로피
$$f(x \, ; k)$$
$$\chi^2(x \, ; k)$$
$$\chi_k^2$$
$$k$$
$k$는 자유도
$k$는 양의 실수
$$x \in (0, +\infty)$$
$k=1$인 경우
$$x \in [0, +\infty)$$
$k≠1$인 경우
$$f(x \, ; k)=\dfrac{1}{2^{\frac{k}{2}}\Gamma\left(\frac{k}{2}\right)}x^{\frac{k}{2}-1}e^{-\frac{x}{2}}$$
$$(1-2t)^{\frac{-k}{2}}$$
for $t<\dfrac{1}{2}$
평균 : $k$
분산 : $2k$
$$\dfrac{k}{2}+\mathrm{ln}\left(2\Gamma\left(\dfrac{k}{2}\right)\right)$$
$$+\left(1-\dfrac{k}{2}\right)\psi\left(\dfrac{k}{2}\right)$$
기호
Parameter
Support
확률분포도
확률밀도함수
모멘트생성함수
엔트로피
$$f(t \, ; \nu)$$
$$t_{\nu}$$
$$\nu$$
$\nu$는 자유도
$\nu$는 degree of freedom, df
$$t \in (-\infty, +\infty)$$
$$t≡\dfrac{z}{\sqrt {\dfrac{V}{\nu}}}=\dfrac {{\bar {x}}-\mu }{\dfrac{s}{\sqrt {n}}}$$
여기서, $z$는 표준정규분포함수
$V$는 카이제곱
$\nu$는 자유도
$$f(t \, ; \nu)=$$
$$\dfrac{\Gamma \left({\dfrac{\nu +1}{2}}\right)}{\sqrt{\nu \pi}\Gamma \left(\dfrac{\nu }{2}\right)}\left(1+\dfrac {t^2}{\nu }\right)^{-\dfrac{\nu +1}{2}}$$
여기서, $t$는 t분포를 나타내는 확률변수
$\nu$는 자유도
$\Gamma$는 감마함수
$M_{X}(t)$는 없음
평균 : $0$
for $\nu >1$
분산 : $\dfrac{\nu}{\nu-2}$
for $\nu >2$
분산 : $\infty$
for $1 < \nu ≤ 2$
$$\dfrac{\nu +1}{2}\left[\psi \left(\dfrac{1+\nu}{2}\right)-\psi \left(\dfrac{\nu}{2}\right)\right]$$
$$+\ln \left[\sqrt{\nu}{\rm B}\left(\dfrac{\nu}{2},\dfrac{1}{2}\right)\right]$$
여기서, $\psi$는 digamma function
$\rm B$는 beta function
표기
Parameter
Support
확률분포도
확률밀도함수
모멘트생성함수
엔트로피
$$f(x \, ; d_1, d_2)$$
$$F(d_1, d_2)$$
$$F_{d_1, d_2}$$
$d_1$과 $d_2$
$d_1$과 $d_2$는 자유도
$d_1$과 $d_2$는 양의 실수
$$x \in (0, +\infty)$$
$d_1=1$인 경우
$$x \in [0, +\infty)$$
$d_1≠1$인 경우
$$X=\dfrac{V_1}{d_1} \div \dfrac{V_2}{d_2}$$
$$x={\dfrac {s_{1}^{2}}{\sigma _{1}^{2}}}\div {\dfrac {s_{2}^{2}}{\sigma _{2}^{2}}}$$
여기서, $X$는 독립변수
$x$는 독립변수값
$V_1$과 $V_2$는 집단1과 집단2의 $\chi^2$
$$f(x; d_1, d_2) = \frac{\Gamma(\frac{d_1 + d_2}{2})}{\Gamma(\frac{d_1}{2})\Gamma(\frac{d_2}{2})} \left(\frac{d_1}{d_2}\right)^{\frac{d_1}{2}} x^{\frac{d_1}{2} – 1} \left(1 + \frac{d_1}{d_2}x\right)^{-\frac{d_1 + d_2}{2}}$$
여기서, $x$는 F분포를 나타내는 확률변수: $F$
$d_1$과 $d_2$는 각각 분자와 분모의 자유도
$\Gamma(\,\,)$는 감마함수
$M_{X}(t)$는 없음
평균 :
$$\dfrac{d_2}{d_2-2}$$
for $d_2 > 2$
분산 :
$$\dfrac{{2d_2^2}({d_1}+{d_2}-2)}{d_{1}(d_{2}-2)^{2}(d_{2}-4)}$$
for $d_2 >4$
$$\ln \Gamma \left({\tfrac {d_{1}}{2}}\right)+\ln \Gamma \left({\tfrac {d_{2}}{2}}\right)-\ln \Gamma \left({\tfrac {d_{1}+d_{2}}{2}}\right)$$
$$\left(1-{\tfrac {d_{1}}{2}}\right)\psi \left(1+{\tfrac {d_{1}}{2}}\right)$$
$$-\left(1+{\tfrac {d_{2}}{2}}\right)\psi \left(1+{\tfrac {d_{2}}{2}}\right)$$
$$+\left({\tfrac {d_{1}+d_{2}}{2}}\right)\psi \left({\tfrac {d_{1}+d_{2}}{2}}\right)+\ln {\frac {d_{1}}{d_{2}}}$$
표기
Parameter
Support
확률분포도
확률밀도함수
모멘트생성함수
엔트로피
$$f(\boldsymbol {x} \, ; \boldsymbol {\mu} , \boldsymbol {\Sigma})$$
$$\mathcal{N}(\boldsymbol{\mu}, \, \boldsymbol{\Sigma})$$
$\boldsymbol{\mu}$와 $\boldsymbol\Sigma$
$\boldsymbol{\mu}$는 평균
$$\boldsymbol{\mu} \in \Bbb{R}^k $$
$\boldsymbol\Sigma$는 공분산행렬
$\boldsymbol\Sigma \in \Bbb{R}^{k \times k}$
$$\boldsymbol {x} \in \boldsymbol \mu +\text{span}(\boldsymbol \Sigma)\subseteq \Bbb{R}^k$$
$$f(\boldsymbol {x} \, ; \boldsymbol {\mu} , \boldsymbol {\Sigma})=$$
$$(2\pi )^{-k/2}\det({\boldsymbol {\Sigma }})^{-1/2}$$
$$\exp \left(-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})\right)$$
$\boldsymbol{\Sigma}$가 positive-define일 때만 존재
$$\mathrm{exp}\left(\boldsymbol{\mu}^{\mathsf{T}}{\boldsymbol{t}}+\dfrac{1}{2}\boldsymbol{t}^{\mathsf{T}}\boldsymbol{\Sigma} \boldsymbol{t}\right)$$
평균 : $\boldsymbol {\mu}$
분산 : $\boldsymbol \Sigma$
$$\dfrac{1}{2} \ln \det \left(2\pi \mathrm {e} \boldsymbol {\Sigma}\right)$$