% !TEX TS-program = LuaLaTeX
% !TEX encoding = UTF-8 Unicode 
% !TEX root = ../../mal-core.tex

\gdef\mujnazevCS{Bayesovské odhady: Přirozený nástroj pro využití apriorní informace}
\gdef\mujnazevEN{Bayesian estimates: tool for processing prior information}
\gdef\mujnazevPR{\mujnazevCS}
\gdef\mujnazevDR{\mujnazevEN}
\gdef\mujauthor{Jan Kalina, Lubomír Soukup}

\bonushyper

\nazev{Bayesovské odhady: Přirozený nástroj\\ pro využití apriorní informace}

\nazev{\mujnazevEN}

\author{Jan Kalina$\bf^{1,2}$, Lubom\'\i{}r Soukup$\bf^{3}$}

\Adresa{$^1$Ústav informatiky AV ČR, Pod Vodárenskou věží 2, 182\,07 Praha~8,
$^2$Univerzita Karlova, Matematicko-fyzikální fakulta, Sokolovská 83, 186\,75 Praha 8,
$^3$Ústav teorie informace a~automatizace AV ČR, Pod Vodárenskou věží 4, 182\,00 Praha 8}

\Email{kalina@cs.cas.cz}

\Abstrakt{Tento článek studuje některé základní statistické modely a~za\-mýšlí se nad situací, zda a~jak bayesovské odhady jejich parametrů odpovídají intuici v~případě, že se kombinují naměřená data s~výsledky předchozích měření prováděných za stejných podmínek. Konkrétně se věnujeme bayesovským odhadům parametrů pro normální nebo binomické rozdělení, li\-neární regresi, ale i~regularizačním sítím z~oblasti strojového učení.}
\smallskip
\KlicovaSlova{Bayesovské odhady, apriorní informace, předchozí měření, regularizace}

%\bigskip\noindent{\textbf{Abstract}: 

\Abstract{This paper considers some fundamental statistical models and investigates whether Bayesian estimates of their parameters correspond to intuition in the situation, when observed data are combined with results of previous (prior) measurements obtained under the same conditions. % as the observed data. 
Particularly, the paper considers Bayesian estimates of parameters for the normal or binomial distributions, linear regression, or regularization networks from the field of machine learning.}
\smallskip
\KeyWords{Bayesian estimation, prior information, previous measurements, regularization}



%\nazev{Bayesovské odhady: Přirozený\\nástroj pro vyuŽití apriorní\\informace}

%\noindent{\it E-mail:} {\tt kalina@cs.cas.cz}


\section{Bayesovské odhady} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% kap. 1

Bayesovské bodové odhady jsou v~souladu s~intuicí, a~to aspoň v~některých poměrně jednoduchých situacích, kdy je třeba zkombinovat dostupná měření (či výsledky experimentů) s~výsledky předchozích měření. V~učebních textech bayesovské statistiky, a~to ani v~těch fundovaných jako \cite{hus} nebo kap.~XVI knihy \cite{and}, však není prostor na podrobné rozepsání vzorců a~intuitivní interpretování bayesovských odhadů; těmto otázkám se věnuje tento článek.

V~příkladech v~následujících kapitolách se bayesovský odhad typicky určí jako střední hodnota aposteriorního rozdělení, kterou zde nebudeme přímo odvozovat. Postup pro odvození pro různé situace lze najít v~široké nabídce dostupné literatury 
(např.~\cite{rob}), a~tak se raději zaměříme na interpretaci výsledků v~situaci, kdy je předchozích $R$~měření (pro $R \geq 1$) prováděno za stejných podmínek jako stávající (nová) data. Vysvětlíme, zda bayesovské odhady opravdu považují   
(např.~fyzikální) konstanty za náhodné veličiny. Hlubší filozofickou obhajobu bayesovského uvažování lze nalézt např. 
v~knize~\cite{jay}, která prezentuje (bayesovské) pravděpodobnostní uvažování jako při\-ro\-zenou nadstavbu matematické logiky a~zdravého rozumu.
%Takový postup je obvyklý při minimalizaci kvadratického rizika.
%která se označuje jako MAP ({\it maximum a~posteriori}) odhad.

\section{Střední hodnota normálního rozdělení}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% kap. 2
\label{sec:mu}

\subsection{Jednorozměrný případ} %%%%%%%%%%%%%%%%%%%%%%%%%%%%% 2.1

Uvažujeme náhodný výběr $X_1,\dots,X_n$, kde $X_i$ pochází z~normál\-ního rozdě\-lení $X_i \sim {\sf N}(\theta,\sigma^2)$ pro 
$i=1,\dots,n$. Může jít např.~o~výsledky měření rychlosti světla, kterou zde tím pádem označujeme jako $\theta$. Normalita hodnot 
$X_i$ může být poměrně přirozená\footnote{Simon Newcomb (1835--1909) provedl v~roce 1882 celkem 66 měření rychlosti světla. Data jsou k~dispozici v~knihovně {\tt BayesDA} softwaru R a~historii jejich zpracování shrnul Stigler \cite{sti1973}. Už Newcomb přiřazoval malé váhy \uv{diskordantním} pozorováním; když se odlehlé hodnoty vynechají, normální rozdělení je vhodným modelem 
(\cite{sti1977}, str.~1070).}, pokud se každé jednotlivé měření $X_i$ realizuje jako průměr několika nezávis\-lých měření a~pokud data neobsahují odlehlé hodnoty\footnote{Ostatně již Carl Friedrich Gauss (1777--1855), otec teorie chyb měření, modeloval
chyby měření pomocí normálního rozdělení~\cite{kal}.}. Jako $\overline{X}$ označíme průměr pozorovaných dat, pro nějž 
samozřejmě\footnote{Daný vztah lze zdůvodnit také z~hlediska bayesovského přístupu za předpokladu neinformativního apriorního rozdělení.} platí ${\sf var}\, \overline{X}=\sigma^2/n$.

Nezávisle na naměřených datech mějme k~dispozici výsledky předchozích měření. Odhady $\theta$ získané z~těchto apriorních měření  označíme jako $t_1,\dots,t_R$. Dejme tomu, že každý z~nich byl získán také jako realizace normálně rozdělené náhodné veličiny. Označme $\overline{t} = \sum_{r=1}^R t_r/R$. %průměr odhadů $\widehat{c}_1,\dots,\widehat{c}_R$ jako

Nyní postupujme velmi pomalu. Znalost $t_1,\dots,t_R$ nám snižuje nejistotu (neurčitost) o~neznámé hodnotě $\theta$. 
Očekáváme, že hodnota $\overline{t}$ bude blízká skutečné, neznámé hodnotě veličiny $\theta$, neboť považujeme za nedůvěryhodné, aby
skutečná hodnota $\theta$ byla výrazně odchýlená od experimentálně určeného průměru $\overline{t}$.
Neznáme příčinu tohoto odchýlení, proto jej považujeme za ná\-hodné. Věříme, že odchylka určité velikosti je
stejně pravděpodobná, ať nastane na jednu nebo na druhou (opačnou) stranu od skutečné hodnoty veli\-činy~$\theta$. Zahrnutí pojmů nahodilost, pravděpodobnost do naší úvahy znamená, že nejistota ohledně hodnoty $\theta$ může být vyjádřena pojmem náhodná veličina. Tím ovšem netvrdíme, že $\theta$ je objektivně náhodná veličina, protože to by byl pouhý sebeklam\footnote{Čtenář se smyslem pro humor může v~kontextu rychlosti světla prohlásit, že její nenáhodný charakter je nad slunce jasnější.}. 
Vzhledem ke stejné pravděpodobnosti odchýlení na obě strany 
můžeme považovat rozdělení příslušné nejistotě ohledně hodnoty $\theta$ za symetrické. Zde jej považujme za normální
\begin{equation}
\theta \sim {\sf N}(\overline{t}, \gamma^2),
\end{equation}
kde $\gamma^2= {\sf var}\,\theta$ je vypočteno pomocí vzorce pro rozptyl aritmetického průměru
\begin{equation}
\gamma^2=\frac{\beta^2}{R}.
\end{equation}
Parametr $\beta$ udává míru přesnosti (standardní odchylku), se kterou byly
naměřeny hodnoty $t_1,\dots,t_R$. %$t_{r} \;, \; r \in \{1,2, \dots , R\}$.

Obecně je možné Bayesovu větu (viz např.~\cite{and,hus}) interpretovat dvěma způsoby, které jsou matematicky shodně vyjádřeny:
\begin{enumerate}[(I)]
\item Apriorní rozdělení odpovídá {\bf nejistotě}, kterou máme o~odhadovaném parametru.\footnote{V přístupu (I), kterého se držíme, se pracuje s~nejistotou, se kterou operoval už Pierre\z Simon Laplace (1749--1827), propagátor bayesovského uvažování. Ten jistě nepovažoval fyzikální konstanty za náhodné už jen kvůli tomu, že vnímal svět a~vesmír do značné míry deterministicky. Obecně můžeme nejistotu vnímat buď objektivně ve smyslu teorie informace, anebo subjektivně jako stupeň víry (přesvědčení).}
\item Odhadovaný parametr je {\bf náhodná} veličina, o~jejímž rozdělení nás informuje náhodný výběr $X_1,\dots,X_n$ (viz 
\cite{and}, od str.~279).
\end{enumerate}
%Můžeme také ověřit, že histogram hodnot $\widehat{c}_1,\dots,\widehat{c}_R$ připomíná histogram normálně rozděleného náhodného výběru.

Střední hodnota aposteriorního rozdělení, tedy bayesovský odhad parametru $\theta$, má pak tvar (viz \cite{and}, str.~287; 
\cite{hus}, str.~20)
\begin{equation}
\begin{split}
\widehat{\theta} &= \frac{\sigma^{-2}\sum_{i=1}^n X_i + \gamma^{-2} \overline{t}}{n\sigma^{-2} + \gamma^{-2}}\\
&= \frac{n \gamma^2 \overline{X} + \sigma^2 \overline{t}}{n\gamma^2 + \sigma^2}.
\label{e:slunce}
\end{split}
\end{equation}
Snadno můžeme (\ref{e:slunce}) upravit do tvaru
\begin{equation}
\widehat{\theta} = (1-\delta) \overline{X} + \delta \overline{t}, \quad\mbox{kde}\quad \delta=\frac{\gamma^{-2}}{n\sigma^{-2} + \gamma^{-2}}.
\end{equation}

Uvažujme speciální situaci, kdy je každá z~hodnot $t_1,\dots,t_R$ (tak jako hodnota $\overline{X}$ spočtená z~měření) získána 
z~celkového počtu $n$ měření s~rozptylem $\sigma^2$. Protože ${\sf var}\,t_r=\sigma^2/n$ pro $r=1,\dots,R$, platí ${\sf var}\,\overline{t}=\sigma^2/(nR)$. Obvykle se v~literatuře jen stroze uvádí, že $\gamma$ lze odhadnout z~před\-chozích měření; zde je nicméně
přirozené pro ${\sf var}\,\theta$ konkrétně zvolit $\gamma^2=\sigma^2/(nR)$. Pak získáváme 
\begin{equation}
\delta=\frac{R}{R+1} \quad\mbox{a}\quad \widehat{\theta} = \frac{1}{R+1} \overline{X} + \frac{R}{R+1} \overline{t}.
\label{e:jednorozm}
\end{equation}
Výsledný odhad je vlastně průměr všech dostupných měření, který se získá zahrnutím předchozích (předběžných) měření mezi ostatní, později naměřené hodnoty.
%pozorný čtenář jistě očekával takový výsledek ve formě kombinace předcho\-zích a současných měření.
V~praxi často bývají předběžná měření méně přesná než aktuální měření. Ovšem i~v~situaci, kdy nemáme k~dispozici 
předchozí měření $t_1,\dots,t_R$ a~je zafixován poměr $\sigma^2/(n \gamma^2)$, platí výsledek obdobný vztahu (\ref{e:jednorozm}).

\subsection{Mnohorozměrný případ}%%%%%%%%%%%%%%%%%%%%%%%% 2.2

Uvažujme $p$-rozměrný náhodný výběr $\X_1,\dots,\X_n$, kde $\X_i$ pochází z~normál\-ního rozdělení ${\sf N}_p (\mmu,\ssigma)$ pro 
$i=1,\dots,n$. Postupujme obdobně jako v~kapitole~2.1, ale již stručněji. 
Z~předchozích měření jsou k~dispozici odhady
parametru~$\mmu$, které ozna\-číme jako ${\bf t}_1,\dots,{\bf t}_R$.
Označíme výběrové průměry jako  %Průměr pozorování označíme klasicky jako 
\begin{equation}
\overline{\X}=\frac{1}{n} \sum_{i=1}^n \X_i \quad\mbox{a}\quad \overline{\bf t}=\frac{1}{R}\sum_{r=1}^R {\bf t}_r.
\end{equation}
%a průměr hodnot ${\bf t}_1,\dots,{\bf t}_R$ jako
%$\overline{\X}\in\real^p$ a  $\overline{\bf t} \in\real^p$.
%Předpokládáme dále, že data v předchozích i současných měřeních jsou vycentrována tak, že průměr hodnot ${\bf t}_1,\dots,
%{\bf t}_R$ je roven {\bf 0}. 
%Bayesovský odhad $\mmu$ je prezentovaný v~článku~\cite{efr} pro  
Pokud předběžnou znalost vektorového parametru $\mmu$ modelujeme normálním rozdělením $\mmu \sim {\sf N}_p(\overline{\bf t}, \eeta)$, pak je střední hodnota aposteriorního rozdělení vektoru $\mmu$ vyjádřena v~\cite{eva} vztahem
\begin{equation}
\widehat{\mmu} =(n\ssigma^{-1}+\eeta^{-1})^{-1} (n \ssigma^{-1} \overline{\X}+ \eeta^{-1} \overline{\bf t}).
\label{e:mnoho}
\end{equation}

Speciálně uvažujme, že $\ssigma=\sigma^2 \tuci$. Předpokládejme, že přesnost všech složek vektoru $\mmu$ je stejná 
a že předběžnou znalost vektorového parametru $\mmu$ lze modelovat normálním rozdělením 
\begin{equation}
\mmu \sim {\sf N}_p(\overline{\bf t}, {\sf diag}(\gamma^2,\dots,\gamma^2)).% \quad\mbox{pro}\quad \gamma>0. 
\end{equation}
Střední hodnota (\ref{e:mnoho}) aposteriorního rozdělení vektoru $\mmu$ pak odpovídá vztahu
\begin{equation}
\widehat{\mmu} =\frac{n\gamma^2 \overline{\X}+ \sigma^2\overline{\bf t}}{n \gamma^2+\sigma^2},
\end{equation}
který můžeme vyjádřit jako
\begin{equation}
\widehat{\mmu}= (1-\delta) \overline{\bf X}+\delta \overline{\bf t}, \quad\mbox{kde}\quad 
\delta =\frac{\gamma^{-2}}{n \sigma^{-2}+\gamma^{-2}}=\frac{\sigma^2}{n \gamma^2+\sigma^2}.
\end{equation}

Ještě speciálněji předpokládejme, že každá z~hodnot ${\bf t}_1,\dots,{\bf t}_R$ získaná z~před\-chozích měření pochází 
z~celkového počtu $n$ měření s~rozptylem $\sigma^2$. Protože ${\sf var}\,\overline{\X}=\sigma^2\tuci/n$, přirozeně volíme 
$\gamma^2 = \sigma^2/(nR)$. Získáváme pak 
\begin{equation}
\delta=\frac{R}{R+1} \quad\mbox{a}\quad \widehat{\mmu} = \frac{1}{R+1} \overline{\X} + \frac{R}{R+1} \overline{\bf t}.
\label{e:stein}
\end{equation}
Tuto mnohorozměrnou obdobu (\ref{e:jednorozm}) lze interpretovat jako odhad $\mmu$ smrštěný k~hodnotě 
$\overline{\bf t}$. O~smrštěných ({\it shrinkage}) odhadech pojednal Stein~\cite{ste}; obvykle se smrštěný odhad $\mmu$ formuluje 
při vycentrování $\overline{\bf t}=0$, kdy (\ref{e:stein}) odpovídá konvexní lineární kombinaci průměru pozorovaných hodnot a~nuly \cite{efr}.

\section{Varianční matice mnohorozměrného normálního\\rozdělení}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% kap. 3

Je k~dispozici $p$-rozměrný náhodný vektor ${\X}_1,\dots,{\X}_n$ pocházející z~nor\-mál\-ního rozdělení ${\sf N}_p(\mmu, \ssigma)$
se známým $\mmu$ a~neznámou maticí $\ssigma \in {\sf PD}(p)$, kde ${\sf PD}(p)$ značí množinu všech pozitivně definitních matic velikosti $p \times p$. Je přirozené odhadovat $\ssigma$ pomocí matice $\U/n$, kde
\begin{equation}
\U= \sum_{i=1}^n ({\X}_i-\mmu) ({\X}_i-\mmu)^T
\end{equation}
s~využitím známého $\mmu$. V~dané situaci se matice $\U$ řídí Wishartovým roz\-dělením $W_p(\ssigma,n)$ a~tedy platí 
$E\,\U/n=\Sigma$. Je obvyklé modelovat nejistotu o~$\ssigma$ (vlastně $\ssigma^{-1}$) pomocí Wishartova rozdělení 
$\ssigma^{-1} \sim W_p(\nu+p-1, \oomega^{-1})$ pro určité $\nu>0$ a~určitou $\oomega \in {\sf PD}(p)$ \cite{eva}. V~takové situaci má $\ssigma$ inverzní Wishartovo rozdělení $W^{-1}_p(\nu+p-1,\oomega)$. Přitom platí 
\begin{equation}
{\sf E}\ssigma^{-1}= (\nu+p-1) \oomega^{-1} \quad\mbox{a ovšem}\quad {\sf E}\ssigma= \oomega/(\nu-2). 
\label{e:esigma}
\end{equation}
Aposteriorní střední hodnota $\ssigma$ je pak rovna
\begin{equation}
\widehat{\ssigma} = \frac{\U+\oomega}{n+\nu-2}.
\label{e:hatsigma}
\end{equation}
Bayesovské riziko empirických bayesovských odhadů $\ssigma$, které odhadují hyperparametry z~dat, v~dané situaci studoval článek
\cite{haf}.  

Zde ovšem uvažujme, že máme z~předchozích měření spočítané odhady $\ssigma$ ve tvaru $\U_1/n,\dots,\U_R/n$. Jinými slovy představují matice $\U_1,\dots,\U_R$ apriorní protějšky $\U$. Dejme tomu, že každý z~před\-chozích experimentů proběhl přes $n$ měření, a~to se stejnou variabilitou jako současná měření. 
Je přirozené volit $\oomega$ a~$\nu$ tak, aby
\begin{equation}
\frac{1}{R}\sum_{r=1}^R \frac{U_r}{n} = \frac{\oomega}{\nu-2},
\end{equation}
tedy vzít $\oomega=\sum_{r=1}^R \U_r$ a~$\nu=Rn+2$. Odhad (\ref{e:hatsigma}) pak získáme jako intuitivní kombinaci výsledku měření s~výsledky předchozích měření ve tvaru
%a zároveň $\nu=2$, a to s~ohledem na druhý vztah v~(\ref{e:esigma}), abychom získali ${\sf E}\ssigma = \oomega/(n-2)$. Musí být vidět analogie s~předchozími kapitolami. Pak  odpovídá intuici, protože má tvar
\begin{equation}
\widehat{\ssigma}= \frac{1}{n(R+1)}\left( \U + \sum_{r=1}^R \U_r \right).
\end{equation}

\section{Binomické rozdělení}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% kap. 4

%Dalším jednoduchým příkladem je Začněme úlohou odhadnout parametr binomického (vlastně alternativního) rozdělení. 
Při výrobě nějakého výrobku v~dané výrobní lince bylo zjištěno, že z~celkového počtu $n$ výrobků jich bylo $m$ vadných. Nahlížíme na $m$ jako na realizaci náhodné veličiny $M$, která se řídí binomickým rozdě\-lením $Bi(n,p)$. Úkolem je odhadnout neznámou pravděpodobnost vadného výrobku $p$. Při bayesovském odhadu $p$ je obvyklé modelovat nejistotu o~$p$ tak, že se za apriorní rozdělení pro $p$ zvolí beta rozdělení $p \sim {\sf beta}(a,b)$ s~konkrétními parametry $a>0$ a~$b>0$; pak platí
${\sf E}\,p=a/(a+b)$. Tento model studoval Anděl (\cite{and}, str.~279) a~odvodil střední hodnotu aposteriorního rozdělení jako 
\begin{equation}
{\sf E}(p|m)=\frac{a+m}{a+b+n}.
\label{e:binom}
\end{equation}

Uvažujme nyní, že v~dané situaci máme k~dispozici $R$ předchozích  navzá\-jem nezávislých kontrol kvality při výrobě daného výrobku. V~$r$-tém z~nich bylo zjištěno, že z~celkového počtu $n_r$ výrobků jich bylo $m_r$ vadných. 

Pak $\sum_{r=1}^R m_r$ představuje realizaci náhodné veličiny, která se řídí rozdělením $Bi(\sum_{r=1}^R n_r, p)$. Označíme $\overline{p}=\sum_{r=1}^R 
m_r / (\sum_{r=1}^R n_r)$. Pro apriorní beta roz\-dělení se nabízí jako přiro\-zené zvolit parametry apriorního rozdělení tak, že
%parametry 
\begin{equation}
p \sim {\sf beta}\left(\sum_{r=1}^R m_r, \sum_{r=1}^R (n_r-m_r)\right), 
%a= \sum_{r=1}^R m_r \quad\mbox{a}\quad b = \sum_{r=1}^R n_r,
\end{equation}
protože s~touto volbou je středního hodnota a~rozptyl apriorního rozdělení
\begin{equation}
{\sf E}p=\overline{p} %\frac{\sum_{r=1}^R m_r}{\sum_{r=1}^R n_r} 
\quad\mbox{a}\quad {\sf var}\,p=\frac{(\sum_{r=1}^R m_r)(\sum_{r=1}^R 
(n_r-m_r))}{(\sum_{r=1}^R n_r)^2 (1+\sum_{r=1}^R n_r)};
\end{equation}
hodnota ${\sf var}\,p$ je tedy blízká hodnotě ${\sf var}\,\overline{p} = p(1-p)/(\sum_{r=1}^R n_r)$. Nyní je aposteriorní střední hodnota $p$ daná vzorcem (\ref{e:binom}) rovna
\begin{equation}
\widehat{p} = \frac{\sum_{r=1}^R m_r + m}{\sum_{r=1}^R n_r + n},
\end{equation}
tedy počtu vadných výrobků vydělenému celkovým počtem měření. Jinými slovy jde o~zcela přirozený odhad pravděpodobnosti zdaru, kdy kombinujeme předchozí měření s~nově naměřenou informací.

\section{Lineární regrese} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% kap. 5

Uvažujeme klasický lineární regresní model
\begin{equation}
Y_i = {\X}_i^T \bbeta + e_i, \quad i=1,\dots,n,
\label{e:lin}
\end{equation}
kde pozorujeme spojitou odezvu i~$p$-rozměrné regresory (pro $p \geq 1$) pro celkový počet $n$ pozorování. 
Maticově vyjádříme (\ref{e:lin}) jako ${\Y} = \X \bbeta + \e$. Předpokládáme nezávislé normálně rozdělené chyby $e_i \sim 
{\sf N}(0,\sigma^2)$ pro $i=1,\dots,n$ s~danou směrodatnou odchylkou $\sigma>0$. Pak se i~odhad parametru $\bbeta=(\beta_1,\dots,\beta_p)^T$ metodou nejmenších čtverců řídí normálním rozdělením, konkrétně 
\begin{equation}
\bb_{LS}  = (b_1^{LS},\dots,b_p^{LS})^T \sim {\sf N}_p(\bbeta, \sigma^2({\X}^T {\X})^{-1}).
\end{equation}
Mějme k~dispozici $R$ před\-chozích sad měření, pro něž pomocí metody nejmen\-ších čtverců získáme odhady $\bbeta$ označené jako $\bb_1,\dots, \bb_R$.

\subsection{Hřebenová regrese} %%%%%%%%%%%%%%%%%%%%%%%%% 5.1
\label{sec:ridge}

Uvažujme nejprve, že nejistotu ohledně $\bbeta$ modelujeme pomocí apriorního roz\-dělení pro $\bbeta$ za podmínky známé hodnoty 
$\sigma^2$ ve tvaru $\bbeta \sim {\sf N}({\bf 0}, \sigma^2 \ppsi^{-1})$ s~danou maticí $\ppsi \in {\sf PD}(p)$. Nulovost střední hodnoty zjednoduší následující výsledky; můžeme bez újmy na obecnosti předpokládat, že data  upravíme tak, aby průměr hodnot 
$\bb_1,\dots,\bb_R$ byl nulový. Střední hodnota aposteriorního roz\-dělení 
pak dá odhad $\bbeta$ ve tvaru (viz např.~\cite{has})
\begin{equation}
\widehat{\bbeta} = \left({\X}^T {\X} + \ppsi\right)^{-1} {\X}^T {\Y},
\label{e:ridgeest}
\end{equation}
což je odhad známý jako hřebenová regrese ({\it ridge regression}), resp.~hřebe\-novou regresí se ovšem často myslí speciální případ při $\ppsi = \lambda \tuci$ s~nějakým $\lambda >0$.

Speciálně předpokládejme, že $R$ předchozích měření proběhlo ve stejných podmínkách, v~nichž byla získána nová data. To znamená předpokládat, že každé z~$\bb_r$ pro $r=1,\dots,R$ bylo získáno v~lineárním modelu se stejnými regresory i~se stejným počtem pozorování jako (\ref{e:lin}). Nyní je přirozené zvolit $\ppsi^{-1}= ({\X}^T {\X})^{-1}/R$ a~tudíž $\widehat{\bbeta}$ 
(\ref{e:ridgeest}) má tvar
\begin{equation}
\widehat{\bbeta} = \left(\X^T \X+R \X^T \X\right)^{-1} \X^T {\Y} = \frac{1}{R+1} \bb_{LS},
\label{e:ridgefinal}
\end{equation}
který odpovídá intuici, protože představuje jako v~(\ref{e:stein}) konvexní lineární kombinaci klasického odhadu a~nuly.

\subsection{Lasso} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 5.2

Apriorní rozdělení pro $\beta_j$ pro $j=1,\dots,p$ za podmínky známé hodnoty $\sigma^2$ nyní uvažujme jako Laplaceovo se střední hodnotou 0 a~parametrem měřítka $\tau>0$, tedy s~rozptylem ${\sf var}\,\beta_j = 2/\tau^2$. Apriorní rozdělení pro celý vektor $\bbeta$ přitom bereme jako součin jednotlivých apriorních rozdělení pro $\beta_1,\dots,\beta_p$. Speciálně ještě 
předpokládejme $\X^T \X = \tuci$. Směřujeme k~tomu, abychom získali lasso odhad vektoru $\bbeta$ jako bayesovský odhad. Není ovšem pravda (ani za daných specifických předpokladů), že by šlo získat lasso odhad jako střední hodnotu aposteriorního rozdělení.
Je ovšem známo \cite{tib,han}, že modus aposteriorního rozdělení je dán jako řešení úlohy
\begin{equation}
\min_{\bb \in \real^p} \left\{ ||\Y-\X\bb||_2^2 + 2 \tau \sigma^2 \sum_{j=1}^p |b_i| \right\};
\label{e:lasso1}
\end{equation}
jde o~lasso odhad, v~němž penalizační parametr lze označit jako $\lambda = 2 \tau \sigma^2$.

Nechť je jako v~kap.~5.1 k~dispozici $R$ předchozích měření se stejnými regresory a~stejným počtem pozorování jako 
v~(\ref{e:lin}). Máme tedy odhady~$\bbeta$ označené jako $\bb_1,\dots,\bb_R$. Předpokládejme, že jejich průměr $\overline{\bb}$ je roven nule. Samozřejmě platí ${\sf var}\,\overline{\bb} = \sigma^2 \tuci/R$. Uvažujme nyní analogicky jako v~před\-chozích kapitolách. 
Pokud položíme ${\sf var}\,\bbeta={\sf var}\,\overline{\bb}$, tzn.~pokud požadujeme $2/\tau^2=\sigma^2/R$, pak dostáváme
\begin{equation}
\tau=\sqrt{2R}/\sigma \quad\mbox{a tedy}\quad \lambda=2\sigma \sqrt{2R}. 
\end{equation}
Lasso odhad daný (\ref{e:lasso1}), který označíme jako $\widehat{\bbeta} = (\widehat{\beta}_1,\dots,\widehat{\beta}_p)^T$, lze vyjádřit explicitně (viz např.~\cite{wie}). Za našich předpokladů vyjádříme složky~(\ref{e:lasso1}) jako
\begin{equation}
\begin{split}
\widehat{\beta}_j &= {\sf sgn}(b_j^{LS}) \left( |b_j^{LS}|-\frac{\lambda}{2}\right)_+ = {\sf sgn}(b_j^{LS}) \max\left(0, |b_j^{LS}|-\frac{\lambda}{2}\right)=\nonumber\\
&= b_j^{LS} \max\left( 0, 1-\frac{\lambda}{2|b_j^{LS}|}\right), \quad j=1,\dots,p,
\end{split}
\label{e:lasso2}
\end{equation}
kde $(x)_+$ označuje kladnou část $x\in\real$. Získaný bayesovský odhad $\bbeta$ zde závisí na hodnotě $\sigma$, což je rozdíl oproti hřebenové regresi; každopádně lze $\sigma$ odhadnout z~dat. Ani v~našem speciálním případě ale (\ref{e:lasso2}) není lineární kombinací pozorovaných dat a~apriorní informace, ale smrštění odhadu získaného z~pozorování směrem k~výsledkům předchozích měření. Přitom pokud pro některé $j=1,\dots,p$ platí 
\begin{equation}
|b_j^{LS}| \leq \sigma \sqrt{2R},
\end{equation}
pak už nutně $\widehat{\beta}_j=0$.

\section{Regularizační sítě}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% kap. 6

Regularizační sítě ({\it regularization networks}) představují jednu z~metod strojového učení, která je zajímavá tím, že ji lze odvodit v~kontextu bayesovské statistiky \cite{ner}. Zdůrazněme ovšem, že nemáme na mysli regularizované sítě ({\it regularized 
networks}) \cite{hay}, tedy regularizované verze obvyklých typů neuronových sítí.

Máme k~dispozici $n$ hodnot spojité odezvy ${\Y}=(Y_1,\dots,Y_n)^T$ a~k~tomu $n$~hodnot $p$-rozměrných regresorů $\X_1,\dots,
\X_n$. Cílem je odhadnout regresní funkci
\begin{equation}
f({\bf x}) = {\sf E}(Y|\X={\bf x}), \quad {\bf x}\in\real^p,
\label{e:r}
\end{equation}
na základě dat, přičemž tvar funkce $f$ je neznámý a~jen předpokládáme, že $f$ existuje. 
%Uvažujeme regresní model $Y_i = f(\X_i) + e_i$ s neznámou nelineární funkcí $f$ a chybami $e_1,\dots,e_n$. I.i.d.?
%Složitým postupem, který využívá teorii prostorů s reprodukčním jádrem (RKHS, ), lze
%vyřešit úlohu odhadnout $f$ 
Jednou možností je odhadnout $f$ jako řešení optimalizační úlohy
\begin{equation}
\min_{f \in H_K} \left\{ \sum_{i=1}^n \left( Y_i - f(\X_i)\right)^2 + \lambda ||f||_{H_K} \right\}, %\quad \lambda>0,
\label{e:hk}
\end{equation}
s~regularizačním parametrem $\lambda>0$, kde $f$ hledáme v~prostoru s~reprodukčním jádrem (RKHS, {\it reproducing kernel Hilbert spaces}) $H_K$, přísluš\-ném Hilbertově prostoru reálných funkcí na $\real^p$ \cite{has}. V~následujícím postupu se typicky volí 
$K$ jako Gaussovské jádro
\begin{equation}
K(\x,\y) =  \exp \left\{ - \frac{||\x-\y||^2}{2\sigma^2} \right\}, \quad \x,\y \in \real^p
\end{equation}
pro pevné $\sigma>0$, které lze odhadnout z~dat. Uvažovanou úlohu (\ref{e:hk}) lze vyjádřit jako
\begin{equation}
\min_{\alpha} \left\{ ||\Y-\K\alfa||^2 + \lambda \alfa^T \K \alfa \right\},
\end{equation}
kde $\alfa=(\alpha_1,\dots,\alpha_n)^T$ je vektor parametrů a~$\K$ je symetrická matice s~hodnotami $K_{ij}=K(\X_i,\X_j)$ pro $i,j=
1,\dots,n$. Derivacemi zjistíme, že minimum nastává pro vektor
\begin{eqnarray}
\widehat{\alfa} &= &\left( \K^T \K + \lambda \K\right)^{-1} \K^T \Y\nonumber\\
&= & \left[ (\K+\lambda \tuci)\K\right]^{-1} \K^T \Y \nonumber\\
&= & \left(\K + \lambda \tuci\right)^{-1} \Y, %\nonumber%\\
\label{e:alfa}
\end{eqnarray}
který zřejmě odpovídá odhadu metodou hřebenové regrese v~lineárním modelu $\Y=\K\alfa + \e$; proto se v~literatuře také nazývá {\it generalized ridge estimator.} 
Vyhlazená hodnota pro nové pozorování $\Z \in \real^p$ se pak získá jako 
\begin{equation}
\widehat{f}(\Z) = \sum_{i=1}^n \widehat{\alpha}_i K(\Z, \X_i).% \quad Z \in \real^p.$$
\end{equation}

Odhad regresních parametrů (\ref{e:alfa}) lze získat bayesovským postupem podle kap.~5.1, pokud volíme apriorní rozdělení
$\alfa \sim {\sf N}\left({\bf 0}, \sigma^2 (\lambda \K)^{-1}\right)$, které ovšem na rozdíl od volby v~(\ref{e:ridgefinal}) není podle našeho názoru intuitivní.

\section{Závěr} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% kap. 7

Vzhledem k~tomu, jak narůstá objem dostupných dat v~různých oborech lidské činnosti, narůstá i~možnost (a~někdy i~potřeba) kombinovat naměřená data s~výsledky předchozích měření. Čím dál častěji budeme mít k~dispozici apriorní znalosti nebo představy o~neznámých parametrech, které se mají odhadnout. Takto se v~mnoha aplikačních oblastech rozšiřuje prostor pro možné uplatnění bayesovských metod. 

Jako příklad lze uvést regularizované postupy pro vysoce dimenzionální data (tj.~pro klasifikaci, regresi \cite{has:lasso} či testování hypotéz~\cite{hwa}), které lze často odvodit v~bayesovském kontextu \cite{cal,pou}. Ve strojovém učení má velký význam bayesovské učení, které v~posledních letech výrazně přispělo k~pokrokům v~robotice, a~dále bayesovská optimalizace nebo bayesovské sítě; samotné bodové odhady pomocí neuronových sítí ale obvykle nelze uvažovat v~bayesovském kontextu, protože většina odhadů v~úlohách strojového učení ani není založena na věrohodnostní funkci. 

%Tento 
Článek ilustruje na vybraných modelech, že bayesovské odhady umož\-ňu\-jí přirozeným a~intuitivním postupem provést syntézu naměřené a~apriorní informace. Pokud je apriorní informace získaná z~měření za stejných podmínek, za jakých jsou získána aktuální pozorovaná data, pak se konkrétní volba hyperparametrů nabízí přirozeným (odpovídajícím) způsobem. V~ně\-kterých z~popsaných příkladů jsme také schopni uhodnout, jak by měl výsled\-ný odhad vypadat. Všechny výsledky v~tomto článku ve skutečnosti platí 
i~pro $R=0$. 

Přestože je náš pohled díky specifickým předpokladům na apriorní měření značně zúžený, šlo by využít některé uvedené příklady např.~při výuce statistiky, protože učební texty obvykle prezentují co nejobecnější verze daných postupů. Zároveň je třeba přiznat, že i~v~jiných poměrně základních úlohách může být bayesovské odhadování dost složité. To je třeba příklad logistické regrese, pro niž byl teprve v~práci \cite{che} navržen konjugovaný systém hustot\footnote{Konjugovaným systémem 
se rozumí takový systém pravděpodobnostních rozdělení, kdy při volbě libovolné apriorní hustoty z~daného systému do něj patří i~aposteriorní hustota.}.

Zatímco bayesovská statistika je na Wikipedii\footnote{\url{ https://cs.wikipedia.org/wiki/Bayesovská_statistika}} podivně představena jako {\it\uv{větev relativně moderní statistiky}}, můžeme závěrem říci, že bayesovské uvažování má nejen dlouhou a~velmi zajímavou tradici\footnote{Zatímco je dobře známo, že Bayesovu větu publikovanou roku 1763 znovuobjevil v~roce 1774 a~následně zpopularizoval Pierre\z Simon Laplace, zůstává obvykle opomíjeno, že bayesovsky uvažoval i~Carl Friedrich Gauss. Právě bayesovskou úvahou ve svém významném díle \cite{gau} definoval metodu maximální věrohodnosti i~získal normální rozdělení jako to, pro nějž
maximálně věrohodný odhad střední hodnoty odpovídá aritmetickému průměru.}, ale zároveň také slibnou budoucnost.
%Bayesovské uvažování má tedy  to není ani zdaleka zřejmé z~článku na wikipedii, který podivně představuje jako 
%Samozřejmě i historie bayesovského uvažování představuje téma, které by si také zaslouží také pozornost.

%Krom toho, že bayesovské metody umožňují provést syntézu naměřené a apriorní informace, mohou uvažovat subjektivní pravděpodobnosti nebo stupeň víry v určitou událost \cite{jay}. 

\section*{Poděkování}

Článek vznikl s~podporou grantů GA19-05704S a~GA21-19311S Grantové agentury České republiky. Autoři děkují Petře Vidnerové (ÚI AV ČR) za diskusi ke kap.~6.

\selectlanguage{english}
%\addcontentsline{toc}{section}{Literatura}
\def\refname{Literatura} %%%%%%%%%%%%%%%%%%%% opravuje chybu v ibcs.sty


\begin{thebibliography}{99}
\setlength{\itemsep}{2pt}
%\bibitem{agr}
%Agresti A. (2002): {\it Categorical data analysis.} Second edition. Wiley, New York.
\bibitem{and}
Anděl J. (1978): {\it Matematická statistika.} SNTL/ALFA, Praha.
%\bibitem{bar}
%Barlow J.L., Bosner N., Drmač Z. (2005): A new stable bidiagonal reduction algorithm. {\it Linear Algebra and its Applications} {\bf 397}, 35\,--\,84.

\bibitem{cal}
Calvetti D., Somersalo, E. (2018): Inverse problems: From regularization to Bayesian inference. {\it WIREs Computational Statistics} {\bf 10}, e1427.

\bibitem{che}
Che M.\,H., Ibrahim J.\,G. (2003): Conjugate priors for generalized linear models. {\it Statistica Sinica} {\bf 13}, 461\,--\,476.

\bibitem{efr}
Efron B., Morris C. (1973): Stein's estimation rule and its competitors---An empirical Bayes approach. {\it Journal of the American Statistical Association} {\bf 68}, 117\,--\,130.

\bibitem{eva}
Evans I.\,G. (1965): Bayesian estimation of parameters of a~multivariate normal distribution. {\it Journal of the Royal Statistical Society B} {\bf 27}, 279\,--\,283.

\bibitem{gau}
Gauss C.\,F. (1809): Theoria motus corporum coelestium in sectionibus conicis solem ambientum. Perthes \& Besser, Hamburg.

\bibitem{haf}
Haff L.\,R. (1980): Empirical Bayes estimation of the multivariate normal covariance matrix. {\it Annals of Statistics} {\bf 8}, 
586\,--\,597.

\bibitem{han}
Hans C. (2009: Bayesian lasso regression. {\it Biometrika} {\bf 96}, 835\,--\,845.

\bibitem{has}
Hastie T., Tibshirani R., Friedman J. (2001): {\it The elements of statistical learning.} Springer, New York.

\bibitem{has:lasso}
Hastie T., Tibshirani R., Wainwright M. (2015): {\it Statistical learning with sparsity: The lasso and generalizations.} CRC Press, Boca Raton.

\bibitem{hay}
Haykin S.\,O. (2009): {\it Neural networks and learning machines: A~comprehensive foundation.} 2.~vydání. Prentice hall, Upper Saddle River.

\bibitem{hus}
Hušková M. (1985): {\it Bayesovské metody.} Univerzita Karlova, Praha.

\bibitem{hwa}
Hwang J.\,T.\,G., Liu P. (2007): Optimal tests shrinking both means and variances applicable to microarray data analysis. {\it Statistical Applications in Genetics and Molecular Biology} {\bf 9}, Article 36. %pages not numbered

\bibitem{jay}
Jaynes E.\,T. (2003): {\it Probability theory. The logic of science.} Cambridge University Press, Cambridge.

\bibitem{kal}
Kalina J., Soukup L. (2019): Průkopníci statistiky ve vědách o~člověku v~19.~století. {\it Informační bulletin České statistické společnosti} {\bf 30}(3), 1\,--\,15.

\bibitem{ner}
Neruda R., Vidnerová P. (2009): Learning errors by radial basis function neural networks and regularization networks. {\it International Journal of Grid and Distributed Computing} {\bf 1}, 49\,--\,57.

\bibitem{pou}
Pourahmadi M. (2013): {\it High-dimensional covariance estimation.} Wiley, Hoboken.

\bibitem{rob}
Robert C.\,P. (2001): {\it The Bayesian choice.} 2.~vydání. Springer, New York.

\bibitem{ste}
Stein C. (1956): Inadmissibility of the usual estimator for the mean of a~multivariate normal distribution. {\it Proceedings of the Third Berkeley Symposium on Mathematical Statistics and Probability} {\bf 1}, University of California Press, Berkeley, 
197\,--\,206.

\bibitem{sti1973}
Stigler S.\,M. (1973): Simon Newcomb, Percy Daniell, and the history of robust estimation 1885--1920. {\it Journal of the American Statistical Association} {\bf 68}, 872\,--879.

\bibitem{sti1977}
Stigler S.\,M. (1977): Do robust estimators work with {\it real} data? {\it Annals of Statistics} {\bf 5}, 1055\,--\,1098.

\bibitem{tib}
Tibshirani R. (1996): Regression shrinkage and selection via the Lasso. {\it Journal of the Royal Statistical Society B} {\bf 58},
267\,--\,288.

\bibitem{wie}
van Wieringen W.\,N. (2020): Lecture notes on ridge regression. arXiv: 1509.09169.

\end{thebibliography}


