butch’s blog

メモ置き場。

制限ボルツマンマシン

機械学習

参考資料：

https://www.jstage.jst.go.jp/article/jjsai/28/3/28_474/_pdf

  • データの生成モデル (Generative Model)
    • ボルツマン分布に従う。
    • ボルツマン分布のエネルギー関数はバイアス項に$\theta$, 相互作用項に$w$でパラメトライズされている。
    • これらのパラメータを観測データを用いて学習する。
  • 学習には勾配法が用いられる。
    • パラメータの微分値にボルツマン分布による期待値が含まれるため計算量が大きい。
    • MCMCやCD法などの近似手法で計算されている。
  • 制限ボルツマンマシン(RBM)
    • ノードを可視変数$v$と隠れ変数$w$に分けて異なる種類の変数間にしかエッジがない完全2部グラフで表されるモデル。
    • 「条件付き独立」と「周辺確率」で重要な性質を持っている。
  • 条件付き独立
    • 可視変数を固定した時の隠れ変数の条件付き確率がシグモイド関数の積で表される。
    • あるいはその逆もまた然り。
    • 確率変数の積の形になっているのでそれぞれを独立にサンプリングできる。
    • ギブスサンプリングを行って状態を更新して行く時の計算量が減る。CD法を用いる。
    • CD法：観測データを初期値に設定してサンプリングを行う。
  • 周辺確率：
    • 最終的に欲しい確率は可視変数の周辺確率なので隠れ変数については和をとって削除する。
    • 隠れ変数に対して周辺化した確率が解析的に表現できる。
    • $\ln{\cosh{\lambdaH_j}}$ が含まれている。$\lambdaH_j = \thetaH_j + \sum_i w_{ij} v_i$
    • これを$w$についてテイラー展開すると$v$の2次以上の高次の項が発生する。
    • よって隠れ変数の導入によりモデルが複雑化されている。

【線形計画法】凸多面体、凸集合

最適化

線形不等式の許容領域は凸多面体である。
変数が$n$個の場合は$n$次元空間内の凸多面体である。

集合$S$が凸であるとは、集合$S$に属する任意の2点$x, y\in S$に対して、$x$と$y$を結ぶ線分上の全ての点が$S$に属することを言う。

最適解が存在しないのは、

  • 可能領域が有界でなく、目的関数が発散する。
  • 可能領域が空集合である。(可能解が存在しない)

可能領域が有界でなくても目的関数の形によっては最適解が存在する場合がある。
目的関数の形に依存する。

半径$S$の球に含まれる集合を有界であるという。

【BBC】

BBC

youtu.be

  • contentious: 争いを好む、議論好きな、議論のある

    • contentious case: 係争事件
    • contentious decision: 議論のある決定

  • neurology: 神経学

  • via infusion: 点滴で (ヴァイア)

  • mixed up: 関わる、混乱状態にある

    • He was mixed up with the matter: 彼はその問題に関わっていた。
    • My feelings were all mixed up: 心の中がぐちゃぐちゃだ。

  • written off as a failure: 失敗として切り捨てる、asとして忘れ去られる

  • abandon: 捨てる。

  • pivotal moment: 重要な瞬間、中枢の

  • flop: 計画が潰れる、ポシャる

    • This anime kinda flopped in the US.

  • redouble effects: 効果を倍増させる

  • jury: 陪審員、審査員

  • persuasive evidence: 説得できるほどの証拠

ベルヌーイ試行のサンプル数と誤差の関係

統計学

ベルヌーイ試行のサンプル数$n$と誤差$\epsilon$の関係

\begin{align} n \simeq O(\epsilon^{-2}) \end{align}

の導出に関するメモです。
導出は以下の資料を参考にしています。

[http://www3.u-toyama.ac.jp/kkarato/2020/statistics/handout/Statistics[B]-2020-19-0703.pdf]

ベルヌーイ分布に従う$X_i$からスタートして次の様に変形していく。

\begin{align} X_i &\sim B(1, p) \\ \bar{X} = \sum^N_{I=1}X_i &\sim B(n, p) \end{align}

$\bar{X}$の期待値は$np$、分散は$np(1-p)$になる。
$n$が十分大きい場合は正規分布に従う。

\begin{align} \bar{X} &\sim B(np, np(1-p)) \end{align}

標本比率$\hat{p}$を導入する。

\begin{align} \hat{p}=\frac{\bar{X}}{n} & \sim N(p, \frac{p(1-p)}{n}) \end{align}

サプリングした標本から得られた該当する結果の割合で実測値です。
結果ごとに値が決まるが、上の確率分布に従う確率変数です。
標準化すると、

\begin{align} Z = \frac{\hat{p} - p}{\sqrt{\frac{p(1-p)}{n}}} \sim N(0, 1) \end{align}

標準正規分布に対して信頼区間$\alpha$%の時の値を$z_{\alpha}$とすると、

\begin{align} |Z| \le z_{\alpha} \Leftrightarrow |\hat{p} - p| \le z_{\alpha} \sqrt{\frac{p(1-p)}{n}} \end{align}

$|\hat{p} - p|$を推定誤差と呼ぶ。
($p$が真の値であり$\hat{p}$が推定される値だから？) この誤差が$\epsilon$以下になる条件は、

\begin{align} |\hat{p} - p| \le z_{\alpha} \sqrt{\frac{p(1-p)}{n}} \le \epsilon \end{align}

です。

\begin{align} z_{\alpha} \sqrt{\frac{p(1-p)}{n}} \le \epsilon \end{align}

これを整理すると、

\begin{align} n \ge \biggl( \frac{z_{\alpha}}{\epsilon} \biggr)^2 p(1-p) \end{align}

となり、$n \simeq O(\epsilon^{-2})$であることが分かる。

「量子コンピュータを用いた高速数値積分」における誤差評価

https://www.mizuho-ir.co.jp/publication/giho/pdf/010_01.pdf

上のpdfの式(26)以降の計算についてレビューします。
以下の確率変数$z$が標準正規分布に従うとします。

\begin{align} z = \frac{\hat{p}-p}{\sqrt{\frac{p(1-p)}{N}}} \end{align}

これを適当な定数$c_1$の範囲に収めると、

\begin{align} |\hat{p} - p| \le c_1 \sqrt{\frac{p(1-p)}{N}} = \epsilon_p \end{align}

今は$p=S(f)^{2}$の関係があるので、

\begin{align} |\hat{S(f)}^2- S(f)^2| \le c_1 \sqrt{\frac{S(f)^2(1-S(f)^2)}{N}} \end{align}

上の左辺の絶対値の中に含まれる平方根を除去したいので「誤差の伝播公式」を利用する。

mathwords.net

これは一旦$p$に戻って以下の式に対して、

\begin{align} |\hat{p} - p| \le c_1 \sqrt{\frac{p(1-p)}{N}} \end{align}

$S(f)=\sqrt{p}$より、

\begin{align} |\hat{S(f)} - S(f)| & \le \sqrt{\biggl(\frac{\sqrt{p}}{\partial p}\biggr)^2 \epsilon^2_p}\\ &= \frac{1}{2\sqrt{p}} c_1 \sqrt{\frac{p(1-p)}{N}} \\ &= \frac{c_1}{2}\sqrt{\frac{1-p}{N}} \le \frac{c_1}{2}\sqrt{\frac{1}{N}} \end{align}

となり、式(28)が得られる。

【BBC】Johnson & Johnson vaccine delayed in Europe due to safety concerns

youtu.be

  • rollout: 市場への導入

  • abundance: 大量の、存在
    an abundance of caution was cited: 対数の注意が言及された、挙げられた。

  • adverse event: 有害事象

  • go forward: 計画を前進する

  • smuggle: 秘密裏に持ち出す、密輸する
    smuggle in heroin
    smuggle the gene from coronavirus spike protein into your arm

  • uptake: 取り込み、摂取
    a stunning level of uptake: 高いレベルで摂取している

【BBC】Caribbean volcano eruption sparks mass evacuation in St Vincen

BBC 英語

youtu.be

  • awe: 畏敬の念を起こさせる
    awe-inspiring frightening sight: 畏敬の念を起こさせる恐ろしい光景

  • fled: fleeの過去形、逃げる
    they fled the town area after the earthquake. 自身のあとその町から逃げた。(他動詞)
    自動詞ではto, fromを伴う。

  • plum: 羽毛、煙・雲の柱

  • handful: ひとつかみ、少量の、手に負えない人・仕事・もの(名詞)
    a hand full of supporters: 少数の支持者(a handful ofの形で少数)
    That boy is a handful: あの子は手に負えない。

  • amid: の最中に
    amid pandemic: パンデミックの最中に

【BBC】Brazil hits grim new Covid death record

BBC 英語

www.youtube.com

  • on the brink of : ~にひんして、~の目前で
    Four major insurance companies are on the brink of bankrupt.

  • brew: 醸造する、いれる、たくらむ、起こす
    a storm is brewing: 嵐が今にも起ころうとしている。
    brew a mischief: いたずらを企む(ビールを醸造する→何かを作る、企む→引き起こす)

  • confront: 直面する、困難が立ちはだかる、対比する
    a great problem confronted them.