機械学習におけるハイパーパラメータチューニングを効率的に行うpythonライブラリとして「optuna」があります。
optunaでのチューニングでは「ベイズ最適化」という手法を用いており、そして、その手法は「ガウス過程」という確率分布を用いて「効率的なパラメータ探索を行う」ものになります。
ガウス過程、ベイズ最適化の理論を学びたい方にオススメする書籍を紹介します。
なお、ベイズ最適化のpython実装については下記を参照ください。
１．ガウス過程と機械学習 (機械学習プロフェッショナルシリーズ)
持橋 大地, 大羽 成征 (著)
こちらの書籍で（ベイズ最適化を含め）ガウス過程に関連した機械学習についての理論が載っています。数式で厳密に説明しているだけでなく、グラフの例もたくさん載っていて直感的に説明内容のイメージができる形になっているので、大変分かりやすいと思います。
２．Kaggleで勝つデータ分析の技術
門脇大輔(著),阪田隆司(著),保坂桂佑(著),平松雄司(著)
こちらはkaggle等のコンペで使える事項がまとめられている本ですが、ベイズ最適化の理論について要点を絞って説明が載っています。
３．Optunaによるブラックボックス最適化
佐野正太郎(著),秋葉拓哉(著),今村秀明(著),太田健(著),水野尚人(著),柳瀬利彦(著)
optunaの使い方は勿論の事、ベイズ最適化含む、optuna内部のロジックについて詳細に説明が載っています。