Intro to Gaussian Process Regression

import%20marimo%0A%0A__generated_with%20%3D%20%220.14.17%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%40title%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20scipy%20as%20sp%0A%20%20%20%20import%20seaborn%20as%20sns%0A%20%20%20%20from%20matplotlib%20import%20pyplot%20as%20plt%0A%20%20%20%20from%20plotly%20import%20graph_objs%20as%20go%0A%0A%20%20%20%20%23%20plt.rcParams%5B%22font.family%22%5D%20%3D%20%5B%22sans-serif%22%5D%20%20%23%20Use%20only%20sans-serif%20fonts%0A%20%20%20%20%23%20plt.rcParams%5B%22font.sans-serif%22%5D%20%3D%20%5B%0A%20%20%20%20%23%20%20%20%20%20%22Arial%22%2C%0A%20%20%20%20%23%20%20%20%20%20%22DejaVu%20Sans%22%2C%0A%20%20%20%20%23%20%20%20%20%20%22Helvetica%22%2C%0A%20%20%20%20%23%20%5D%20%20%23%20Specify%20specific%20fonts%0A%0A%20%20%20%20np.random.seed(42)%0A%20%20%20%20return%20go%2C%20np%2C%20pd%2C%20plt%2C%20sns%2C%20sp%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20The%20First%20Blog%20Post%20You%20Should%20Read%20about%20Gaussian%20Processes%20(With%20Interactive%20Plots)%20%0A%0A%20%20%20%20%23%23%20Why%20Read%20This%20Post%3F%0A%20%20%20%20Is%20this%20the%2010th%20blog%20post%20you've%20read%20about%20Gaussian%20Processes%20and%20still%20don't%20quite%20understand%20them%3F%0A%0A%20%20%20%20When%20I%20set%20out%20to%20learn%20about%20%22Gaussian%20Processes%22%20(really%20Gaussian%20Process%20Regression)%2C%20I%20ended%20up%20jumping%20around%20between%20many%20different%20resources%20and%20it%20took%20hours%20before%20the%20core%20idea%20hit%20me.%20This%20post%20should%20get%20you%20to%20**core%20idea%20in%20~30%20minutes%20using%20interactive%20plots**.%0A%0A%20%20%20%20After%20that%2C%20I'd%20encourage%20you%20to%20read%20the%20references%20at%20the%20end%20for%20more%20detail%20and%20rigor.%20They'll%20now%20be%20more%20digestible.%0A%0A%20%20%20%20%3E%20Prerequisites%3A%20basic%20linear%20algebra%20and%20statistics.%0A%20%20%20%20%3E%20%0A%20%20%20%20%3E%20If%20you%20know%20python%2Fnumpy%20you%20might%20find%20it%20helpful%20to%20look%20at%20the%20code%20under%20the%20hood.%20Just%20click%20the%20ellipses%20in%20the%20upper%20right%20corner.%0A%20%20%20%20%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Why%20Gaussian%20Process%20Regression%3F%0A%0A%20%20%20%201.%20It's%20a%20non-linear%20regression%20model%20%0A%20%20%20%201.%20It%20also%20does%20built-in%20modeling%20of%20uncertainties%20(cool)%0A%0A%20%20%20%20The%20following%20plot%20from%20the%20sci-kit%20learn%20documentation%20shows%20the%20output%20of%20GP%20regression%20model.%20Note%20the%20beautifully%20curved%20uncertainty%20bands.%20Where%20does%20all%20this%20come%20from%3F%0A%0A%20%20%20%20!%5B%5D(https%3A%2F%2Fscikit-learn.org%2F0.17%2F_images%2Fplot_gp_regression_001.png)%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20GP%20Regression%3A%20The%20One%20Line%20Definition%0A%20%20%20%20Turns%20out%20GP%20regression%20can%20be%20described%20in%20one%20(somewhat%20loaded)%20line%3A%0A%0A%20%20%20%20**GP%20Regression%3A%20A%20Multivariate%20Gaussian%20Distribution%20over%20functions%2C%20conditioned%20on%20some%20training%20data.**%0A%0A%20%20%20%20Hmm.%20Maybe%20not%20so%20terrible%3F%20But%20how%20does%20this%20connect%20to%20the%20idea%20of%20%22a%20nonlinear%20regression%20that%20models%20uncertainty%22%3F%0A%0A%20%20%20%20Let's%20unpack%20this%20definition%20bit%20by%20bit%2C%20starting%20with%20%22distribution%20over%20functions%22.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Prequel%3A%20Distributions%20over%20Functions%0A%0A%20%20%20%20We%20all%20know%20linear%20regression.%20Given%20some%20data%2C%20we%20assume%20it%20has%20the%20form%20%24y%20%3D%20%5Cbeta_0%20%2B%20%5Cbeta_1%20x%20%2B%20%5Cepsilon%24.%20We%20have%20some%20data%20%24x%24%20and%20%24y%24%2C%20and%20we%20want%20to%20find%20the%20%24%5Chat%7B%5Cbeta_0%7D%24%20and%20%24%5Chat%7B%5Cbeta_1%7D%24%20(%22%5E%22%20means%20%22estimated%22)%20that%20describe%20a%20line%20of%20best%20fit.%20We%20can%20do%20this%20using%20OLS%20(ordinary%20least%20squares)%2C%20and%20we%20end%20up%20with%20a%20linear%20function%20%24f(x)%20%3D%20%5Chat%7B%5Cbeta_0%7D%20%2B%20%5Chat%7B%5Cbeta_1%7D%20x%24%2C%20that%20for%20any%20%24x%24%20gives%20us%20a%20prediction%20for%20%24y%24.%0A%0A%20%20%20%20Note%20that%20we%20don't%20model%20%24%5Cepsilon%24%3B%20what%20if%20we%20want%20some%20notion%20of%20the%20uncertainty%20in%20our%20predictions%3F%0A%0A%20%20%20%20For%20example%2C%20look%20at%20the%20two%20plots%20below%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20sns)%3A%0A%20%20%20%20_fig%2C%20(ax1%2C%20ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(12%2C%204))%0A%20%20%20%20x_reg%20%3D%20np.linspace(-3%2C%203%2C%2010)%0A%20%20%20%20NOISE_VARIANCE%20%3D%201%0A%20%20%20%20y_noise%20%3D%20x_reg%20%2B%20np.random.normal(0%2C%20NOISE_VARIANCE%2C%2010)%0A%20%20%20%20LOW_NOISE_VARIANCE%20%3D%200.1%0A%20%20%20%20y_low_noise%20%3D%20x_reg%20%2B%20np.random.normal(0%2C%20LOW_NOISE_VARIANCE%2C%2010)%0A%20%20%20%20sns.regplot(x%3Dx_reg%2C%20y%3Dy_noise%2C%20ax%3Dax1%2C%20ci%3DNone%2C%20color%3D%22red%22).set_title(%22A%22)%0A%20%20%20%20sns.regplot(x%3Dx_reg%2C%20y%3Dy_low_noise%2C%20ax%3Dax2%2C%20ci%3DNone).set_title(%22B%22)%0A%20%20%20%20return%20LOW_NOISE_VARIANCE%2C%20NOISE_VARIANCE%2C%20x_reg%2C%20y_low_noise%2C%20y_noise%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%23%20TODO%3A%20reindex%20to%20be%20better%2C%20alpha%20and%20beta%0A%20%20%20%20%20%20%20%20%23%20TODO%3A%20remember%2C%20when%20we%20draw%20a%20function%2C%20we're%20just%20plotting%20a%20lot%20of%20points%20and%20connecting%20them%20together%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Even%20though%20the%20data%20on%20the%20left%20is%20much%20more%20noisy%2C%20both%20linear%20regressions%20model%20the%20data%20with%20the%20sample%20simple%20line.%20There's%20no%20measure%20of%20uncertainty.%20Let's%20try%20to%20add%20some.%0A%0A%20%20%20%20%20%20%20%20What%20if%20(just%20for%20fun)%20we%20assumed%20%24%5Cbeta_0%24%20and%20%24%5Cbeta_1%24%20were%20actually%20random%20variables%2C%20and%20that%20they%20are%20normally%20distributed%20with%20variance%20equal%20to%20the%20variance%20in%20the%20data%3F%20Then%20our%20linear%20regression%20equation%20would%20look%20like%20this%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20y%20%3D%20B_0%20%2B%20B_1%20x%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20where%20we've%20converted%20our%20betas%20to%20random%20variables%20as%20follows%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20B_0%20%5Csim%20N(%5Cbeta_0%2C%20%5Csigma%5E2)%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20B_1%20%5Csim%20N(%5Cbeta_1%2C%20%5Csigma%5E2)%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20This%20reads%20%22%24B_0%24%20is%20a%20random%20variable%20distributed%20according%20to%20a%20Gaussian%20with%20mean%20%24%5Cbeta_0%24%20and%20variance%20%24%5Csigma%5E2%24%22.%0A%20%20%20%20%20%20%20%20We'll%20set%20%24%5Csigma%5E2%24%20to%20be%20the%20variance%20of%20the%20data%20about%20the%20best%20fit%20line%20(the%20variance%20of%20the%20residuals).%20For%20the%20plots%20a%20and%20b%20above%2C%20then%20we'd%20have%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20y_a%20%3D%20B_%7B0a%7D%20%2B%20B_%7B1a%7D%20x%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20y_b%20%3D%20B_%7B0b%7D%20%2B%20B_%7B1b%7D%20x%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20where%20%24B_0%24%20and%20%24B_1%24%20are%20gaussians%20with%20variance%20equal%20to%20the%20variance%20of%20the%20residuals%20in%20each%20case%3A%20%24%5Csigma%5E2_a%24%20and%20%24%5Csigma%5E2_b%24%0A%0A%0A%20%20%20%20%20%20%20%20Now%20that%20the%20betas%20are%20random%20variables%2C%20let's%20sample%20from%20them%2C%20and%20plot%20the%20resulting%20lines%3A%0A%0A%20%20%20%20%20%20%20%20(Click%20the%20%22New%20Sample%22%20button%20below)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(button%2C%20clear_button%2C%20get_fig_A%2C%20get_fig_B%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_A()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_B()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbutton%2C%20clear_button%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20LOW_NOISE_VARIANCE%2C%0A%20%20%20%20NOISE_VARIANCE%2C%0A%20%20%20%20go%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20x_reg%2C%0A%20%20%20%20y_low_noise%2C%0A%20%20%20%20y_noise%2C%0A)%3A%0A%20%20%20%20%23%20---%20Initial%20parameters%20and%20helper%20function%20---%0A%20%20%20%20beta_0%20%3D%200%0A%20%20%20%20beta_1%20%3D%201%0A%20%20%20%20beta_1_1%20%3D%20np.corrcoef(x_reg%2C%20y_noise)%5B0%2C%201%5D%20*%20np.std(y_noise)%20%2F%20np.std(x_reg)%0A%0A%20%20%20%20%23%20Define%20color%20schemes%20for%20each%20plot%0A%20%20%20%20colors_subplot1%20%3D%20%5B%22%23ff4d4d%22%2C%20%22%23ff8533%22%2C%20%22%23ffcc00%22%2C%20%22%23ff6b6b%22%2C%20%22%23ff9966%22%5D%20%20%23%20Warm%20colors%0A%20%20%20%20colors_subplot2%20%3D%20%5B%22%234d4dff%22%2C%20%22%2333cc33%22%2C%20%22%236666ff%22%2C%20%22%2300cccc%22%2C%20%22%239933ff%22%5D%20%20%23%20Cool%20colors%0A%0A%20%20%20%20def%20calculate_figure_height(num_traces)%3A%0A%20%20%20%20%20%20%20%20base_height%20%3D%20300%20%20%23%20Base%20height%20for%20plot%0A%20%20%20%20%20%20%20%20legend_rows%20%3D%20max(1%2C%20(num_traces%20-%202))%20%20%23%20For%20separate%20figures%2C%20initial%20trace%20count%20is%202%0A%20%20%20%20%20%20%20%20legend_height%20%3D%2040%20%2B%20(legend_rows%20*%2020)%20%20%23%20Base%20legend%20height%20%2B%20height%20per%20row%0A%20%20%20%20%20%20%20%20return%20base_height%20%2B%20legend_height%0A%0A%20%20%20%20%23%20---%20Create%20two%20separate%20figures%20---%0A%20%20%20%20%23%20Figure%20for%20Plot%20A%20(left%20figure)%0A%20%20%20%20fig_A%20%3D%20go.Figure()%0A%20%20%20%20fig_A.update_layout(%0A%20%20%20%20%20%20%20%20title_text%3D%22A%22%2C%0A%20%20%20%20%20%20%20%20height%3Dcalculate_figure_height(2)%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20entrywidth%3D0.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20entrywidthmode%3D%22fraction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yanchor%3D%22bottom%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D-0.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xanchor%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordercolor%3D%22LightGrey%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20borderwidth%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20itemsizing%3D%22constant%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20itemwidth%3D30%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20groupclick%3D%22toggleitem%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20valign%3D%22middle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xref%3D%22container%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yref%3D%22container%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20traceorder%3D%22grouped%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D10)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20autosize%3DTrue%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%20%20%20%20fig_A.update_xaxes(range%3D%5B-3%2C%203%5D%2C%20fixedrange%3DTrue)%0A%0A%20%20%20%20%23%20Figure%20for%20Plot%20B%20(right%20figure)%0A%20%20%20%20fig_B%20%3D%20go.Figure()%0A%20%20%20%20fig_B.update_layout(%0A%20%20%20%20%20%20%20%20title_text%3D%22B%22%2C%0A%20%20%20%20%20%20%20%20height%3Dcalculate_figure_height(2)%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20entrywidth%3D0.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20entrywidthmode%3D%22fraction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yanchor%3D%22bottom%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D-0.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xanchor%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordercolor%3D%22LightGrey%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20borderwidth%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20itemsizing%3D%22constant%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20itemwidth%3D30%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20groupclick%3D%22toggleitem%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20valign%3D%22middle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xref%3D%22container%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yref%3D%22container%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20traceorder%3D%22grouped%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D10)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20autosize%3DTrue%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D80)%2C%0A%20%20%20%20)%0A%20%20%20%20fig_B.update_xaxes(range%3D%5B-3%2C%203%5D%2C%20fixedrange%3DTrue)%0A%20%20%20%20fig_B.update_yaxes(range%3D%5B-5%2C%205%5D%2C%20fixedrange%3DTrue)%0A%0A%20%20%20%20%23%20---%20Add%20initial%20traces%20to%20each%20figure%20---%0A%20%20%20%20%23%20Compute%20the%20lines%20for%20each%20plot%0A%20%20%20%20line_A%20%3D%20x_reg%20*%20beta_1_1%20%2B%20beta_0%0A%20%20%20%20line_B%20%3D%20x_reg%20*%20beta_1%20%2B%20beta_0%0A%0A%20%20%20%20%23%20For%20Plot%20A%3A%20Noisy%20data%20and%20its%20fit%0A%20%20%20%20scatter_A%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_reg%2C%0A%20%20%20%20%20%20%20%20y%3Dy_noise%2C%0A%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(size%3D10%2C%20color%3Dcolors_subplot1%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20name%3D%22Hi%20Noise%20Data%22%2C%0A%20%20%20%20%20%20%20%20legendgroup%3D%22Plot%20A%22%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20line_A_trace%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_reg%2C%0A%20%20%20%20%20%20%20%20y%3Dline_A%2C%0A%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolors_subplot1%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20name%3D%22True%20Fit%20Hi%20Noise%22%2C%0A%20%20%20%20%20%20%20%20legendgroup%3D%22Plot%20A%22%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20fig_A.add_trace(scatter_A)%0A%20%20%20%20fig_A.add_trace(line_A_trace)%0A%0A%20%20%20%20%23%20For%20Plot%20B%3A%20Low%20noise%20data%20and%20its%20fit%0A%20%20%20%20scatter_B%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_reg%2C%0A%20%20%20%20%20%20%20%20y%3Dy_low_noise%2C%0A%20%20%20%20%20%20%20%20mode%3D%22markers%22%2C%0A%20%20%20%20%20%20%20%20marker%3Ddict(size%3D10%2C%20color%3Dcolors_subplot2%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20name%3D%22Low%20Noise%20Data%22%2C%0A%20%20%20%20%20%20%20%20legendgroup%3D%22Plot%20B%22%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20line_B_trace%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20x%3Dx_reg%2C%0A%20%20%20%20%20%20%20%20y%3Dline_B%2C%0A%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolors_subplot2%5B1%5D)%2C%0A%20%20%20%20%20%20%20%20name%3D%22True%20Fit%20Low%20Noise%22%2C%0A%20%20%20%20%20%20%20%20legendgroup%3D%22Plot%20B%22%2C%0A%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20fig_B.add_trace(scatter_B)%0A%20%20%20%20fig_B.add_trace(line_B_trace)%0A%0A%20%20%20%20%23%20---%20Save%20figures%20to%20state%20(using%20your%20mo.state%20API)%20---%0A%20%20%20%20get_fig_A%2C%20set_fig_A%20%3D%20mo.state(fig_A)%0A%20%20%20%20get_fig_B%2C%20set_fig_B%20%3D%20mo.state(fig_B)%0A%0A%20%20%20%20%23%20---%20Callback%20functions%20---%0A%20%20%20%20def%20add_plot_to_fig(_)%3A%0A%20%20%20%20%20%20%20%20%23%20Retrieve%20the%20current%20figures%20from%20state%0A%20%20%20%20%20%20%20%20fig_A%20%3D%20get_fig_A()%0A%20%20%20%20%20%20%20%20fig_B%20%3D%20get_fig_B()%0A%0A%20%20%20%20%20%20%20%20%23%20Generate%20new%20random%20coefficients%20for%20both%20figures%0A%20%20%20%20%20%20%20%20beta_0_rand%20%3D%20np.random.normal(beta_0%2C%20NOISE_VARIANCE%2C%201)%0A%20%20%20%20%20%20%20%20beta_1_rand%20%3D%20np.random.normal(beta_1_1%2C%20NOISE_VARIANCE%2C%201)%0A%20%20%20%20%20%20%20%20beta_0_rand2%20%3D%20np.random.normal(beta_0%2C%20LOW_NOISE_VARIANCE%2C%201)%0A%20%20%20%20%20%20%20%20beta_1_rand2%20%3D%20np.random.normal(beta_1%2C%20LOW_NOISE_VARIANCE%2C%201)%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20new%20line%20data%20for%20each%20plot%0A%20%20%20%20%20%20%20%20line_data_A%20%3D%20x_reg%20*%20beta_1_rand%20%2B%20beta_0_rand%0A%20%20%20%20%20%20%20%20line_data_B%20%3D%20x_reg%20*%20beta_1_rand2%20%2B%20beta_0_rand2%0A%0A%20%20%20%20%20%20%20%20%23%20Append%20new%20trace%20to%20Plot%20A%20(first%20figure)%0A%20%20%20%20%20%20%20%20color_idx_A%20%3D%20len(fig_A.data)%20%25%20len(colors_subplot1)%0A%20%20%20%20%20%20%20%20fig_A.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_reg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dline_data_A%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolors_subplot1%5Bcolor_idx_A%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22%24B_%7B%7B0a%7D%7D%3A%20%7Bbeta_0_rand%5B0%5D%3A.1f%7D%2C%20B_%7B%7B1a%7D%7D%3A%20%7Bbeta_1_rand%5B0%5D%3A.1f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legendgroup%3D%22Plot%20A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Append%20new%20trace%20to%20Plot%20B%20(second%20figure)%0A%20%20%20%20%20%20%20%20color_idx_B%20%3D%20len(fig_B.data)%20%25%20len(colors_subplot2)%0A%20%20%20%20%20%20%20%20fig_B.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_reg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dline_data_B%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dcolors_subplot2%5Bcolor_idx_B%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22%24B_%7B%7B0b%7D%7D%3A%20%7Bbeta_0_rand2%5B0%5D%3A.1f%7D%2C%20B_%7B%7B1b%7D%7D%3A%20%7Bbeta_1_rand2%5B0%5D%3A.1f%7D%24%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legendgroup%3D%22Plot%20B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Update%20each%20figure's%20height%20based%20on%20the%20new%20number%20of%20traces%0A%20%20%20%20%20%20%20%20new_height_A%20%3D%20calculate_figure_height(len(fig_A.data))%0A%20%20%20%20%20%20%20%20new_height_B%20%3D%20calculate_figure_height(len(fig_B.data))%0A%20%20%20%20%20%20%20%20fig_A.update_layout(height%3Dnew_height_A)%0A%20%20%20%20%20%20%20%20fig_B.update_layout(height%3Dnew_height_B)%0A%0A%20%20%20%20%20%20%20%20%23%20Save%20the%20updated%20figures%20back%20into%20state%0A%20%20%20%20%20%20%20%20set_fig_A(fig_A)%0A%20%20%20%20%20%20%20%20set_fig_B(fig_B)%0A%0A%20%20%20%20def%20reset(_)%3A%0A%20%20%20%20%20%20%20%20%23%20Retrieve%20the%20figures%20from%20state%0A%20%20%20%20%20%20%20%20fig_A%20%3D%20get_fig_A()%0A%20%20%20%20%20%20%20%20fig_B%20%3D%20get_fig_B()%0A%0A%20%20%20%20%20%20%20%20%23%20Reset%20each%20figure%20to%20its%20initial%20two%20traces%20(scatter%20and%20original%20line)%0A%20%20%20%20%20%20%20%20fig_A.data%20%3D%20fig_A.data%5B%3A2%5D%0A%20%20%20%20%20%20%20%20fig_B.data%20%3D%20fig_B.data%5B%3A2%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Reset%20heights%20based%20on%20only%20the%20two%20traces%0A%20%20%20%20%20%20%20%20fig_A.update_layout(height%3Dcalculate_figure_height(2))%0A%20%20%20%20%20%20%20%20fig_B.update_layout(height%3Dcalculate_figure_height(2))%0A%0A%20%20%20%20%20%20%20%20set_fig_A(fig_A)%0A%20%20%20%20%20%20%20%20set_fig_B(fig_B)%0A%0A%20%20%20%20%23%20---%20Create%20UI%20buttons%20---%0A%20%20%20%20button%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dadd_plot_to_fig%2C%20label%3D%22New%20Sample%22%2C%20kind%3D%22success%22)%0A%20%20%20%20clear_button%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dreset%2C%20label%3D%22Reset%22%2C%20kind%3D%22danger%22)%0A%20%20%20%20return%20button%2C%20calculate_figure_height%2C%20clear_button%2C%20get_fig_A%2C%20get_fig_B%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Each%20time%20you%20click%20the%20button%2C%20a%20new%20sample%20%24%5Cbeta_0%2C%20%5Cbeta_1%24%20are%20drawn%20from%20the%20distributions%20of%20%24B_0%24%20and%20%24B_1%24%20(one%20set%20of%20betas%20for%20the%20noisy%20data%20on%20the%20left%20and%20one%20set%20for%20the%20less%20noisy%20on%20the%20right)%2C%20and%20the%20corresponding%20lines%20are%20plotted.%0A%0A%20%20%20%20Notice%20what%20we've%20created%3A%20it's%20a%20distribution%20over%20_functions_.%20Each%20sample%20from%20%20%24y%20%3D%20B_0%20%2B%20B_1%20x%24%20is%20a%20different%20function%20%24f(x)%24.%20Also%20notice%20that%20as%20you%20sample%20more%20and%20more%2C%20the%20%22spread%22%20or%20uncertainty%20of%20the%20original%20fit%20becomes%20more%20and%20more%20apparent.%20You%20can%20also%20see%20that%20the%20uncertainty%20is%20higher%20in%20the%20noisier%20data.%0A%0A%20%20%20%20%3E%20This%20framework%20is%20just%20to%20develop%20for%20intuition%20for%20distributions%20over%20functions.%20For%20a%20more%20rigorous%20take%2C%20check%20out%20the%20bayesian%20linear%20regression%20section%20%5Bhere%5D(https%3A%2F%2Fgaussianprocess.org%2Fgpml%2Fchapters%2FRW.pdf%23page%3D26%26zoom%3D50%2C240%2C358).%0A%0A%20%20%20%20Returning%20to%20our%20original%20definition%2C%20we've%20checked%20off%20one%20core%20idea%3A%0A%0A%20%20%20%20**GP%20Regression%3A%20A%20Multivariate%20Gaussian%20%3Cfont%20color%3D%22%2332a852%22%3EDistribution%20over%20functions%3C%2Ffont%3E%2C%20conditioned%20on%20some%20training%20data.**%0A%0A%20%20%20%20What%20if%20we%20want%20to%20model%20a%20non-linear%20relationship%3F%20Now%20we're%20getting%20closer%20to%20the%20core%20idea%20of%20GPs.%20But%20of%20course%2C%20before%20we%20get%20to%20Gaussian%20processes%2C%20we%20have%20to%20talk%20about%20Gaussians.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Gaussians...and%20Multivariate%20Gaussians%0A%0A%20%20%20%20The%20Gaussian%2C%20the%20bell%20curve%2C%20the%20normal%20distribution%2C%20we've%20seen%20it%20before.%20It's%20defined%20by%20%0A%0A%20%20%20%20%24%24%0A%20%20%20%20Y%20%5Csim%20N(%5Cmu%2C%20%5Csigma%5E2)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20where%20%24%5Cmu%24%20is%20the%20mean%20and%20%24%5Csigma%5E2%24%20is%20the%20variance.%20You%20can%20play%20around%20with%20the%20parameters%20of%20the%20distribution%20below.%20Each%20time%20you%20change%20the%20sliders%2C%2010%2C000%20samples%20are%20drawn%20from%20the%20distribution%20and%20plotted%20as%20a%20histogram.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_fig_hist%2C%20mean_slider%2C%20mo%2C%20variance_slider)%3A%0A%20%20%20%20%23%206.%20Lay%20out%20sliders%20and%20the%20figure%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_hist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bmean_slider%2C%20variance_slider%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%201.%20Create%20the%20initial%20figure%0A%0A%20%20%20%20SIZE%20%3D%205000%0A%20%20%20%20START%20%3D%20-10%0A%20%20%20%20END%20%3D%2010%0A%20%20%20%20x%20%3D%20np.random.normal(0%2C%201%2C%20size%3DSIZE)%0A%20%20%20%20hist_trace%20%3D%20go.Histogram(%0A%20%20%20%20%20%20%20%20x%3Dx%2C%20xbins%3Ddict(start%3DSTART%2C%20end%3DEND%2C%20size%3D0.1)%20%20%23%20whatever%20bin%20width%20you%20want%0A%20%20%20%20)%0A%20%20%20%20fig_hist%20%3D%20go.Figure(hist_trace)%0A%20%20%20%20%23%202.%20Store%20the%20figure%20and%20the%20slider%20states%0A%20%20%20%20get_fig_hist%2C%20set_fig_hist%20%3D%20mo.state(fig_hist)%0A%20%20%20%20fig_hist.update_layout(%0A%20%20%20%20%20%20%20%20title%3D%22Normal%20Distribution%20Histogram%3Cbr%3E(%C2%B5%3D0.00%2C%20%CF%83%3D1.00)%22%2C%0A%20%20%20%20%20%20%20%20xaxis%3Ddict(title%3D%22Value%22%2C%20range%3D%5BSTART%2C%20END%5D%2C%20fixedrange%3DTrue)%2C%0A%20%20%20%20%20%20%20%20yaxis%3Ddict(title%3D%22Count%22%2C%20range%3D%5B0%2C%20int(SIZE%20*%200.1)%5D%2C%20fixedrange%3DTrue)%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%20%20%20%20mean_state%2C%20set_mean_state%20%3D%20mo.state(0.0)%0A%20%20%20%20variance_state%2C%20set_variance_state%20%3D%20mo.state(1.0)%0A%0A%20%20%20%20%23%203.%20Function%20that%20updates%20the%20figure%0A%20%20%20%20def%20update_histogram()%3A%0A%20%20%20%20%20%20%20%20fig%20%3D%20get_fig_hist()%20%20%23%20retrieve%20current%20figure%20from%20state%0A%20%20%20%20%20%20%20%20x_new%20%3D%20np.random.normal(mean_state()%2C%20variance_state()%2C%20size%3DSIZE)%0A%20%20%20%20%20%20%20%20fig.data%5B0%5D.x%20%3D%20x_new%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Normal%20Distribution%20Histogram%3Cbr%3E(%C2%B5%3D%7Bmean_state()%3A.2f%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%CF%83%3D%7Bvariance_state()%3A.2f%7D)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20set_fig_hist(fig)%20%20%23%20store%20the%20updated%20figure%0A%0A%20%20%20%20%23%204.%20Handlers%20for%20slider%20changes%0A%20%20%20%20def%20on_mean_change(m)%3A%0A%20%20%20%20%20%20%20%20set_mean_state(m)%0A%20%20%20%20%20%20%20%20update_histogram()%0A%0A%20%20%20%20def%20on_variance_change(v)%3A%0A%20%20%20%20%20%20%20%20set_variance_state(v)%0A%20%20%20%20%20%20%20%20update_histogram()%0A%0A%20%20%20%20%23%205.%20Create%20the%20sliders%0A%20%20%20%20mean_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3Dmean_state()%2C%20start%3D-5%2C%20stop%3D5%2C%20step%3D0.1%2C%20on_change%3Don_mean_change%2C%20label%3D%22Mean%22%0A%20%20%20%20)%0A%20%20%20%20variance_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3Dvariance_state()%2C%0A%20%20%20%20%20%20%20%20start%3D0.1%2C%0A%20%20%20%20%20%20%20%20stop%3D5%2C%0A%20%20%20%20%20%20%20%20step%3D0.1%2C%0A%20%20%20%20%20%20%20%20on_change%3Don_variance_change%2C%0A%20%20%20%20%20%20%20%20label%3D%22Variance%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20get_fig_hist%2C%20mean_slider%2C%20variance_slider%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20What%20about%20multivariate%20Gaussians%3F%20That%20is%2C%20a%20Gaussian%20distribution%20but%20with%20more%20than%20one%20variable.%20They%20are%20basically%20the%20same%20thing%2C%20but%20instead%20of%20having%20a%20single%20mean%20and%20variance%2C%20there's%20there's%20a%20mean%20vector%20and%20a%20covariance%20matrix.%20%0A%0A%0A%20%20%20%20So%20while%20a%20single%20Gaussian%20is%20this%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20Y%20%5Csim%20N(%5Cmu%2C%20%5Csigma%5E2)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Where%20%24%5Cmu%24%20is%20the%20mean%20and%20%24%5Csigma%24%20is%20the%20variance%2C%20a%20multivariate%20Gaussian%20is%20this%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Ctextbf%7BY%7D%20%5Csim%20N(%5Cboldsymbol%7B%5Cmu%7D%2C%20%5CSigma)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Where%20%24%5Cboldsymbol%7B%5Cmu%7D%24%20is%20a%20vector%20of%20means%2C%20%24%5CSigma%24%20is%20a%20covariance%20matrix.%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboldsymbol%7B%5Cmu%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20%5Cmu_1%20%5C%5C%0A%20%20%20%20%5Cmu_2%20%5C%5C%0A%20%20%20%20%5Cvdots%20%5C%5C%0A%20%20%20%20%5Cmu_n%0A%20%20%20%20%5Cend%7Bbmatrix%7D%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cqquad%0A%20%20%20%20%5CSigma%20%3D%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20%5Csigma_%7B11%7D%20%26%20%5Csigma_%7B12%7D%20%26%20%5Cdots%20%26%20%5Csigma_%7B1n%7D%20%5C%5C%0A%20%20%20%20%5Csigma_%7B21%7D%20%26%20%5Csigma_%7B22%7D%20%26%20%5Cdots%20%26%20%5Csigma_%7B2n%7D%20%5C%5C%0A%20%20%20%20%5Cvdots%20%26%20%5Cvdots%20%26%20%5Cddots%20%26%20%5Cvdots%20%5C%5C%0A%20%20%20%20%5Csigma_%7Bn1%7D%20%26%20%5Csigma_%7Bn2%7D%20%26%20%5Cdots%20%26%20%5Csigma_%7Bnn%7D%0A%20%20%20%20%5Cend%7Bbmatrix%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20In%20the%20above%20expressions%2C%20%24%5Cmu_i%24%20is%20the%20mean%20of%20the%20%24i%24%20th%20component%20of%20%24%5Ctextbf%7BY%7D%24%0A%0A%20%20%20%20In%20this%20case%20when%20we%20sample%20from%20%24%5Ctextbf%7BY%7D%24%2C%20we%20get%20a%20vector%20%24%5Ctextbf%7BY%7D%20%3D%20%5BY_1%2C%20Y_2%2C%20%5Cdots%2C%20Y_n%5D%5ET%24%2C%20%20instead%20of%20just%20a%20single%20value.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Nothing%20too%20crazy%20right%3F%20Well%2C%20except%20that%20the%20multivariate%20normal%20distribution%20has%20a%20covariance%20_matrix_%2C%20not%20just%20a%20variance.%0A%0A%20%20%20%20In%20the%20covariance%20matrix%20we%20specify%20not%20only%20the%20variance%20of%20each%20variable%2C%20but%20also%20the%20covariance%20between%20each%20variable%20and%20every%20other.%20Each%20of%20the%20%24n%24%20variables%20in%20a%20multivariate%20Gaussian%20can%20be%20correlated%20with%20each%20other.%20Below%20is%20an%20overhead%20view%20of%20a%20bunch%20of%20samples%20for%20a%202D%20multivariate%20Gaussian%20distribution.%20You%20can%20interactively%20change%20the%20covariance%20matrix%20to%20see%20how%20it%20affects%20the%20distribution.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20arr%2C%20df_orig%2C%20mat%2C%20mo%2C%20np%2C%20pd)%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20x_sim%20%3D%20np.random.multivariate_normal(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.array(arr.matrix).reshape(-1)%2C%20np.array(mat.matrix)%2C%202500%2C%20check_valid%3D%22raise%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20md%20%3D%20%22%22%0A%20%20%20%20except%20ValueError%20as%20e%3A%0A%20%20%20%20%20%20%20%20md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20red%3B%20font-weight%3A%20bold%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20Error%3A%20%7Be%7D.%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20x_sim%20%3D%20df_orig.values%20%20%23%20Fallback%20to%20original%20data%20if%20error%20occurs%0A%0A%20%20%20%20df_sim%20%3D%20pd.DataFrame(%7B%22x%22%3A%20x_sim%5B%3A%2C%200%5D%2C%20%22y%22%3A%20x_sim%5B%3A%2C%201%5D%7D)%0A%0A%20%20%20%20min_x%2C%20max_x%20%3D%20-10%2C%2010%0A%20%20%20%20min_y%2C%20max_y%20%3D%20-10%2C%2010%0A%0A%20%20%20%20chart_sim%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df_sim)%0A%20%20%20%20%20%20%20%20.mark_point()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22x%22%2C%20scale%3Dalt.Scale(domain%3D%5Bmin_x%2C%20max_x%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22y%22%2C%20scale%3Dalt.Scale(domain%3D%5Bmin_y%2C%20max_y%5D))%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D400%2C%20height%3D300)%0A%20%20%20%20%20%20%20%20%2B%20alt.Chart(df_orig)%0A%20%20%20%20%20%20%20%20.mark_point(color%3D%22gray%22)%0A%20%20%20%20%20%20%20%20.encode(x%3D%22x%22%2C%20y%3D%22y%22)%0A%20%20%20%20%20%20%20%20.properties(width%3D400%2C%20height%3D300)%0A%20%20%20%20).resolve_scale(x%3D%22shared%22%2C%20y%3D%22shared%22)%0A%0A%20%20%20%20mo.vstack(%5Bmo.hstack(%5Barr%2C%20mat%5D)%2C%20chart_sim%2C%20md%5D%2C%20align%3D%22center%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Matrix%2C%20mo%2C%20np)%3A%0A%20%20%20%20mat%20%3D%20mo.ui.anywidget(Matrix(matrix%3Dnp.eye(2)%2C%20mirror%3DTrue%2C%20step%3D0.1%2C%20positive%3DTrue))%0A%20%20%20%20arr%20%3D%20mo.ui.anywidget(Matrix(rows%3D2%2C%20cols%3D1%2C%20mirror%3DTrue%2C%20step%3D0.1%2C%20positive%3DTrue))%0A%20%20%20%20return%20arr%2C%20mat%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20x_orig%20%3D%20np.random.multivariate_normal(%0A%20%20%20%20%20%20%20%20np.array(%5B0%2C%200%5D)%2C%20np.array(%5B%5B1%2C%200%5D%2C%20%5B0%2C%201%5D%5D)%2C%202500%2C%20check_valid%3D%22raise%22%0A%20%20%20%20)%0A%20%20%20%20df_orig%20%3D%20pd.DataFrame(%7B%22x%22%3A%20x_orig%5B%3A%2C%200%5D%2C%20%22y%22%3A%20x_orig%5B%3A%2C%201%5D%7D)%0A%0A%20%20%20%20return%20(df_orig%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Note%20that%20if%20you%20change%20the%20diagonal%20elements%2C%20the%20variance%20of%20one%20or%20the%20other%20variable%20will%20change%20(look%20at%20the%20scale%20of%20axes).%20If%20you%20change%20the%20off-diagonal%20elements%2C%20the%20covariance%20between%20the%20two%20variables%20will%20change.%20%0A%0A%20%20%20%20You%20also%20probably%20saw%20that%20the%20matrix%20has%20to%20be%20symmetric%20and%20with%20positive%20diagonals.%20Why%3F%20Well%20think%20about%20what%20covariance%20is%3A%20its%20how%20two%20variables%20vary%20together.%20It%20doesn't%20make%20sense%20for%20Cov(X%2CY)%20!%3D%20Cov(Y%2CX).%20And%20it%20doesn't%20make%20sense%20for%20Cov(X%2CX)%20%E2%80%94%20that%20is%2C%20Var(X)%20%E2%80%94%20to%20be%20negative%20(you'll%20get%20an%20error%20if%20you%20try).%0A%0A%20%20%20%20Also%20note%20that%20while%20the%20combined%20joint%20distribution%20changes%20form%2C%20each%20of%20the%20individual%20distributions%20is%20still%20a%20Gaussian.%20That%20is%20to%20say%2C%20the%20distribution%20of%20%24X_1%24%20is%20still%20a%20gaussian%2C%20and%20the%20distribution%20of%20%24X_2%24%20is%20still%20a%20Gaussian.%20The%20only%20thing%20that%20changes%20is%20the%20covariance%20between%20the%20two%20variables.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Gaussian%20Distribution%20Over%20Functions%0A%0A%20%20%20%20So%20far%20we've%20visualized%20a%20multivariate%20Gaussian%20of%20just%20two%20variables%2C%20but%20you%20can%20imagine%20taking%20this%20into%20many%20many%20dimensions.%20That%20is%20to%20say%2C%20many%20many%20Gaussian%20random%20variables%20that%20may%20or%20may%20not%20be%20correlated%20with%20each%20other%20according%20to%20some%20big%20covariance%20matrix.%0A%0A%20%20%20%20In%20order%20to%20think%20about%20more%20than%20two%20dimensions%2C%20we'll%20need%20to%20visualize%20our%20distributions%20differently.%20Let's%20start%20with%20a%201-D%20Gaussian.%20We'll%20draw%20samples%20from%20the%20distribution%20and%20plot%20them%20below%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%201)%20Create%20and%20store%20an%20initial%20figure%20in%20Marimo%20state%0A%20%20%20%20initial_fig%20%3D%20go.Figure(%0A%20%20%20%20%20%20%20%20data%3D%5Bgo.Scatter(mode%3D%22markers%22)%5D%2C%0A%20%20%20%20%20%20%20%20layout%3Dgo.Layout(title%3D%22Samples%20from%20a%201-D%20Gaussian%20Distribution%22)%2C%0A%20%20%20%20)%0A%20%20%20%20initial_fig.update_layout(%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%20%20%20%20get_fig2%2C%20set_fig2%20%3D%20mo.state(initial_fig)%0A%20%20%20%20get_clicks2%2C%20set_clicks2%20%3D%20mo.state(0)%0A%0A%20%20%20%20%23%202)%20Define%20the%20callbacks%20that%20change%20the%20figure%0A%20%20%20%20def%20add_sample(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Add%20a%20new%20random%20sample%20(1%20point)%20to%20the%20figure.%22%22%22%0A%20%20%20%20%20%20%20%20fig%20%3D%20get_fig2()%0A%20%20%20%20%20%20%20%20%23%20We%20just%20stack%20data%20on%20top%20of%20the%20existing%20figure%0A%20%20%20%20%20%20%20%20x%20%3D%20%5B%221%22%5D%0A%20%20%20%20%20%20%20%20y%20%3D%20np.random.normal(size%3D1)%0A%20%20%20%20%20%20%20%20scatter%20%3D%20go.Scatter(x%3Dx%2C%20y%3Dy%2C%20mode%3D%22markers%22%2C%20name%3Df%22Sample%20%7Bget_clicks2()%7D%22)%0A%20%20%20%20%20%20%20%20fig.add_trace(scatter)%0A%20%20%20%20%20%20%20%20set_fig2(fig)%20%20%23%20update%20our%20global%20figure%20state%0A%20%20%20%20%20%20%20%20set_clicks2(get_clicks2()%20%2B%201)%0A%0A%20%20%20%20def%20clear_data(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Clear%20all%20the%20data%20from%20the%20figure.%22%22%22%0A%20%20%20%20%20%20%20%20fig%20%3D%20get_fig2()%0A%20%20%20%20%20%20%20%20fig.data%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20set_fig2(fig)%0A%20%20%20%20%20%20%20%20set_clicks2(0)%0A%0A%20%20%20%20%23%203)%20Create%20the%20UI%20buttons%2C%20each%20calling%20its%20respective%20callback%0A%20%20%20%20btn_new_sample%20%3D%20mo.ui.button(value%3D0%2C%20on_click%3Dadd_sample%2C%20label%3D%22New%20Sample%22%2C%20kind%3D%22success%22)%0A%20%20%20%20btn_clear%20%3D%20mo.ui.button(value%3Dget_clicks2()%2C%20on_click%3Dclear_data%2C%20label%3D%22Clear%22%2C%20kind%3D%22danger%22)%0A%20%20%20%20return%20btn_clear%2C%20btn_new_sample%2C%20get_fig2%0A%0A%0A%40app.cell%0Adef%20_(btn_clear%2C%20btn_new_sample%2C%20get_fig2%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig2()%2C%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample%2C%20btn_clear%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Each%20new%20sample%20is%20drawn%20from%20a%20normal%20distribution%20with%20mean%200%20and%20variance%201.%0A%0A%20%20%20%20What%20if%20we%20want%20to%20sample%20from%20a%20multivariate%20normal%20distribution%3F%20Well%2C%20this%20time%20%24%5Ctextbf%7BY%7D%24%20is%20a%20_vector_%20of%20random%20variables.%20If%20%24%5Ctextbf%7BY%7D%24%20is%202-d%20then%20%24%5Ctextbf%7BY%7D%20%3D%20%5BY_1%2C%20Y_2%5D%5ET%24%2C%20so%20each%20sample%20is%20a%20vector%20of%20two%20values%20which%20we'll%20plot%20each%20on%20their%20own%20part%20of%20the%20X-axis.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(btn_clear_2d%2C%20btn_new_sample_2d%2C%20get_fig_2d%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_2d()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_2d%2C%20btn_clear_2d%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%202D%20Figure%3A%20%22Samples%20from%20a%202-D%20Gaussian%20Distribution%22%0A%20%20%20%20init_scatter_2d%20%3D%20go.Scatter(mode%3D%22markers%22)%0A%20%20%20%20init_layout_2d%20%3D%20go.Layout(title%3D%22Samples%20from%20a%202-D%20Gaussian%20Distribution%22)%0A%20%20%20%20init_fig_2d%20%3D%20go.Figure(data%3D%5Binit_scatter_2d%5D%2C%20layout%3Dinit_layout_2d)%0A%20%20%20%20init_fig_2d.update_layout(%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20get_fig_2d%2C%20set_fig_2d%20%3D%20mo.state(init_fig_2d)%0A%20%20%20%20get_clicks_2d%2C%20set_clicks_2d%20%3D%20mo.state(0)%0A%0A%20%20%20%20def%20add_sample_2d(_)%3A%0A%20%20%20%20%20%20%20%20fig_2d%20%3D%20get_fig_2d()%0A%20%20%20%20%20%20%20%20x_2d%20%3D%20%5B%221%22%2C%20%222%22%5D%0A%20%20%20%20%20%20%20%20y_2d%20%3D%20np.random.normal(size%3D2)%0A%20%20%20%20%20%20%20%20new_scatter_2d%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_2d%2C%20y%3Dy_2d%2C%20mode%3D%22markers%22%2C%20name%3Df%22Sample%20%7Bget_clicks_2d()%7D%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_2d.add_trace(new_scatter_2d)%0A%20%20%20%20%20%20%20%20set_fig_2d(fig_2d)%0A%20%20%20%20%20%20%20%20set_clicks_2d(get_clicks_2d()%20%2B%201)%0A%0A%20%20%20%20def%20clear_data_2d(_)%3A%0A%20%20%20%20%20%20%20%20fig_2d%20%3D%20get_fig_2d()%0A%20%20%20%20%20%20%20%20fig_2d.data%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20set_fig_2d(fig_2d)%0A%20%20%20%20%20%20%20%20set_clicks_2d(0)%0A%0A%20%20%20%20btn_new_sample_2d%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3D0%2C%20on_click%3Dadd_sample_2d%2C%20label%3D%22New%20Sample%22%2C%20kind%3D%22success%22%0A%20%20%20%20)%0A%20%20%20%20btn_clear_2d%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3Dget_clicks_2d()%2C%20on_click%3Dclear_data_2d%2C%20label%3D%22Clear%22%2C%20kind%3D%22danger%22%0A%20%20%20%20)%0A%20%20%20%20return%20btn_clear_2d%2C%20btn_new_sample_2d%2C%20get_fig_2d%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22So%20now%20each%20time%20we%20sample%20from%20a%20bivariate%20normal%20distribution%2C%20we%20get%20a%20vector%20of%20two%20numbers%2C%20which%20we%20plot%20as%20two%20connected%20points.%20Now%20let's%20look%20at%20a%203-D%20Gaussian%2C%20%20%24%5Ctextbf%7BY%7D_%7B3D%7D%20%3D%20%5BY_1%2C%20Y_2%2C%20Y_3%5D%5ET%24%2C%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(btn_clear_3d%2C%20btn_new_sample_3d%2C%20get_fig_3d%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_3d()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_3d%2C%20btn_clear_3d%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%203D%20Figure%3A%20%22Samples%20from%20a%203-D%20Gaussian%20Distribution%22%0A%20%20%20%20init_scatter_3d%20%3D%20go.Scatter(mode%3D%22markers%22)%0A%20%20%20%20init_layout_3d%20%3D%20go.Layout(title%3D%22Samples%20from%20a%203-D%20Gaussian%20Distribution%22)%0A%20%20%20%20init_fig_3d%20%3D%20go.Figure(data%3D%5Binit_scatter_3d%5D%2C%20layout%3Dinit_layout_3d)%0A%20%20%20%20init_fig_3d.update_layout(%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20get_fig_3d%2C%20set_fig_3d%20%3D%20mo.state(init_fig_3d)%0A%20%20%20%20get_clicks_3d%2C%20set_clicks_3d%20%3D%20mo.state(0)%0A%0A%20%20%20%20def%20add_sample_3d(_)%3A%0A%20%20%20%20%20%20%20%20fig_3d%20%3D%20get_fig_3d()%0A%20%20%20%20%20%20%20%20x_3d%20%3D%20%5B%221%22%2C%20%222%22%2C%20%223%22%5D%0A%20%20%20%20%20%20%20%20y_3d%20%3D%20np.random.normal(size%3D3)%0A%20%20%20%20%20%20%20%20new_scatter_3d%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_3d%2C%20y%3Dy_3d%2C%20mode%3D%22markers%22%2C%20name%3Df%22Sample%20%7Bget_clicks_3d()%7D%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_3d.add_trace(new_scatter_3d)%0A%20%20%20%20%20%20%20%20set_fig_3d(fig_3d)%0A%20%20%20%20%20%20%20%20set_clicks_3d(get_clicks_3d()%20%2B%201)%0A%0A%20%20%20%20def%20clear_data_3d(_)%3A%0A%20%20%20%20%20%20%20%20fig_3d%20%3D%20get_fig_3d()%0A%20%20%20%20%20%20%20%20fig_3d.data%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20set_fig_3d(fig_3d)%0A%20%20%20%20%20%20%20%20set_clicks_3d(0)%0A%0A%20%20%20%20btn_new_sample_3d%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3D0%2C%20on_click%3Dadd_sample_3d%2C%20label%3D%22New%20Sample%22%2C%20kind%3D%22success%22%0A%20%20%20%20)%0A%20%20%20%20btn_clear_3d%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3Dget_clicks_3d()%2C%20on_click%3Dclear_data_3d%2C%20label%3D%22Clear%22%2C%20kind%3D%22danger%22%0A%20%20%20%20)%0A%20%20%20%20return%20btn_clear_3d%2C%20btn_new_sample_3d%2C%20get_fig_3d%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22Now%20let's%20take%20it%20to%20an%20extreme%3A%20a%2050-D%20Gaussian.%20%24%5Ctextbf%7BY%7D_%7B50D%7D%20%3D%20%5BY_1%2C%20Y_2%2C%20Y_3%2C%20%5Cdots%2C%20Y_%7B50%7D%5D%5ET%24%2C%20so%20every%20sample%20is%20a%20vector%20of%2050%20random%20values.%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(btn_clear_50d%2C%20btn_connect_50d%2C%20btn_new_sample_50d%2C%20get_fig_50d%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_50d()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_50d%2C%20btn_connect_50d%2C%20btn_clear_50d%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%2050D%20Figure%3A%20%22Samples%20from%20a%2050-D%20Gaussian%20Distribution%22%0A%20%20%20%20init_scatter_50d%20%3D%20go.Scatter(mode%3D%22markers%22)%0A%20%20%20%20init_layout_50d%20%3D%20go.Layout(title%3D%22Samples%20from%20a%2050-D%20Gaussian%20Distribution%22)%0A%20%20%20%20init_fig_50d%20%3D%20go.Figure(data%3D%5Binit_scatter_50d%5D%2C%20layout%3Dinit_layout_50d)%0A%20%20%20%20init_fig_50d.update_layout(%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20get_fig_50d%2C%20set_fig_50d%20%3D%20mo.state(init_fig_50d)%0A%20%20%20%20get_clicks_50d%2C%20set_clicks_50d%20%3D%20mo.state(0)%0A%0A%20%20%20%20def%20add_sample_50d(_)%3A%0A%20%20%20%20%20%20%20%20fig_50d%20%3D%20get_fig_50d()%0A%20%20%20%20%20%20%20%20x_vals_50d%20%3D%20np.arange(50)%0A%20%20%20%20%20%20%20%20y_vals_50d%20%3D%20np.random.normal(size%3D50)%0A%20%20%20%20%20%20%20%20new_scatter_50d%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_vals_50d%2C%20y%3Dy_vals_50d%2C%20mode%3D%22markers%22%2C%20name%3Df%22Sample%20%7Bget_clicks_50d()%7D%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_50d.add_trace(new_scatter_50d)%0A%20%20%20%20%20%20%20%20set_fig_50d(fig_50d)%0A%20%20%20%20%20%20%20%20set_clicks_50d(get_clicks_50d()%20%2B%201)%0A%0A%20%20%20%20def%20connect_samples_50d(_)%3A%0A%20%20%20%20%20%20%20%20fig_50d%20%3D%20get_fig_50d()%0A%20%20%20%20%20%20%20%20for%20trace%20in%20fig_50d.data%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20trace%5B%22mode%22%5D%20%3D%20%22lines%2Bmarkers%22%0A%20%20%20%20%20%20%20%20set_fig_50d(fig_50d)%0A%0A%20%20%20%20def%20clear_data_50d(_)%3A%0A%20%20%20%20%20%20%20%20fig_50d%20%3D%20get_fig_50d()%0A%20%20%20%20%20%20%20%20fig_50d.data%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20set_fig_50d(fig_50d)%0A%20%20%20%20%20%20%20%20set_clicks_50d(0)%0A%0A%20%20%20%20btn_new_sample_50d%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3D0%2C%20on_click%3Dadd_sample_50d%2C%20label%3D%22New%20Sample%22%2C%20kind%3D%22success%22%0A%20%20%20%20)%0A%20%20%20%20btn_connect_50d%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Connect%20Points%22%2C%0A%20%20%20%20%20%20%20%20on_click%3Dconnect_samples_50d%2C%0A%20%20%20%20)%0A%20%20%20%20btn_clear_50d%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3Dget_clicks_50d()%2C%20on_click%3Dclear_data_50d%2C%20label%3D%22Clear%22%2C%20kind%3D%22danger%22%0A%20%20%20%20)%0A%20%20%20%20return%20btn_clear_50d%2C%20btn_connect_50d%2C%20btn_new_sample_50d%2C%20get_fig_50d%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Cool%2C%20so%20now%20we%20can%20visualize%20samples%20from%20a%2050-D%20Gaussian%20in%20this%20kinda%20of%20weird%20way.%20How%20is%20this%20useful%3F%20And%20how%20does%20this%20relate%20to%20a%20Gaussian%20Process%20regression%3F%0A%0A%20%20%20%20You'll%20notice%20the%20above%20plot%20has%20a%20%22Connect%22%20button.%20If%20you%20click%20it%2C%20each%20variable%20in%20a%20given%20sample%20gets%20connected%20to%20the%20next.%0A%0A%20%20%20%20Do%20these%20connected%20samples%20remind%20you%20of%20anything%3F%20Maybe%20a%20certain%20class%20of%20elementary%20mathematical%20objects%3F%0A%0A%20%20%20%20If%20you%20thought%20%22functions%22%20then%20you%20are%20getting%20what%20I'm%20going%20for%20here.%20Each%20sample%20from%20the%2050-D%20Gaussian%20is%20starting%20to%20look%20like%20some%20curve%20where%2C%20for%20any%20x-coordinate%20(which%20is%20just%20the%20index%20of%20the%20vector%20output%20of%20the%20multivariate%20gaussian)%20you%20can%20look%20up%20a%20y-value.%20So%20this%20kinda-sorta%20function%20can%20be%20defined%20as%20%0A%0A%20%20%20%20%24%24%0A%20%20%20%20f(x)%20%3D%20Y_%7Bx%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20given%20a%20multivariate%20Gaussian%20%24Y%20%3D%20%5BY_1%2C%20Y_2%2C%20Y_3%2C%20%5Cdots%2C%20Y_%7Bx%7D%5D%5ET%20%5Csim%20N(%5Cboldsymbol%7B%5Cmu%7D%2C%20%5CSigma)%24.%0A%0A%20%20%20%20But%20remember%20what%20each%20different%20colored%20curve%20is%3A%20it's%20a%20sample%20from%20a%20multivariate%20normal%20distribution.%20It's%20almost%20like%20the%2050-D%20Gaussian%20specifies%20a%20_distribution%20over%20functions_...%0A%0A%20%20%20%20%3Cimg%20src%3D%22https%3A%2F%2Fi.kym-cdn.com%2Fentries%2Ficons%2Foriginal%2F000%2F007%2F630%2Fconspiracykeanu.jpg%22%20width%3D%22340%22%20height%3D%22200%22%20%2F%3E%0A%0A%20%20%20%20_Almost_.%20The%2050-D%20Gaussian%20really%20only%20specifies%20a%20distribution%20over%2050%20discrete%20values%2C%20so%20it's%20not%20quite%20a%20distribution%20over%20functions%20%24f(x)%24%20that%20can%20take%20_any_%20value%20of%20%24x%24.%20Hold%20that%20thought%20for%20now%2C%20we'll%20return%20to%20this%20later.%20%0A%0A%20%20%20%20But%20first%20you%20might%20have%20some%20questions.%20Remember%2C%20the%20above%20plot%20was%20made%20by%20taking%20a%20few%20samples%20from%2050-D%20gaussian%2C%20%24%5Ctextbf%7BY%7D_%7B50D%7D%20%5Csim%20N(%5Cboldsymbol%7B%5Cmu%7D%2C%20%5CSigma)%24%0A%0A%20%20%20%20But%20I%20didn't%20tell%20you%20what%20%24%5Cboldsymbol%7B%5Cmu%7D%24%20and%20%24%5CSigma%24%20were.%20Well%2C%20I%20actually%20used%20a%20mean%20vector%20of%20all%20zeros%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboldsymbol%7B%5Cmu%7D%20%3D%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%200%20%5C%5C%0A%20%20%20%200%20%5C%5C%0A%20%20%20%20%5Cvdots%20%5C%5C%0A%20%20%20%200%0A%20%20%20%20%5Cend%7Bbmatrix%7D%2C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20and%20for%20the%20covariance%20matrix%20I%20simply%20used%20the%20Identity%20matrix.%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5CSigma%20%3D%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%201%20%26%200%20%26%20%5Cdots%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%201%20%26%20%5Cdots%20%26%200%20%5C%5C%0A%20%20%20%20%5Cvdots%20%26%20%5Cvdots%20%26%20%5Cddots%20%26%20%5Cvdots%20%5C%5C%0A%20%20%20%200%20%26%200%20%26%20%5Cdots%20%26%201%0A%20%20%20%20%5Cend%7Bbmatrix%7D.%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Since%20this%20covariance%20matrix%20is%20really%20big%2C%20let's%20visualize%20it%20with%20a%20heatmap%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20sns)%3A%0A%20%20%20%20%23%20%40title%0A%20%20%20%20sns.heatmap(np.identity(50))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22This%20means%20that%20each%20of%20the%20variables%20in%20our%20multivariate%20normal%20distribution%20are.....%3F%3F%3F%3F%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%40title%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%3Cspan%20class%3D%22hover-text%22%3EHover%20or%20tap%20for%20answer%3C%2Fspan%3E%3A%0A%0A%20%20%20%20%3Cspan%20class%3D%22hidden-text%22%3EINDEPENDENT!%3C%2Fspan%3E%0A%0A%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20.hidden-text%20%7B%0A%20%20%20%20%20%20%20%20display%3A%20none%3B%0A%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20.hover-text%3Ahover%20%2B%20.hidden-text%20%7B%0A%20%20%20%20%20%20%20%20display%3A%20inline%3B%0A%20%20%20%20%20%20%20%20font%3A%2050px%3B%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20No%20variable%20has%20any%20covariance%20with%20any%20other%2C%20so%20you%20can%20think%20of%20this%20multivariate%20Gaussian%20as%20simply%2050%20separate%20Gaussians%2C%20each%20with%20mean%20%3D%200%20and%20variance%201.%20This%20is%20why%20the%20curves%20we%20plotted%20above%20are%20so%20all%20over%20the%20place%3A%20each%20point%20is%20randomly%20bouncing%20up%20and%20down%20with%20no%20influence%20from%20its%20neighbors.%0A%0A%20%20%20%20What%20if%20we%20add%20some%20non-zero%20values%20to%20the%20covariance%20matrix%20that%20are%20off-diagonal%3F%20%0A%0A%20%20%20%20%3ERemember%20the%20diagonal%20elements%20of%20the%20matrix%20at%20row%20and%20column%20%24i%24%20is%20%24Cov(Y_i%2C%20Y_i)%20%3D%20Var(Y_i)%24%20while%20the%20off-diagonal%20elements%20at%20%24i%2Cj%24%20are%20%24Cov(Y_i%2C%20Y_j)%24.%20%0A%0A%20%20%20%20For%20example%2C%20check%20out%20the%20covariance%20matrix%20below%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pairwise_rbf%2C%20pd%2C%20slider_l%2C%20sns)%3A%0A%20%20%20%20_xa%20%3D%20np.arange(0%2C%2050%2C%201).reshape(1%2C%20-1).T%0A%20%20%20%20_xb%20%3D%20np.arange(0%2C%2050%2C%201).reshape(1%2C%20-1).T%0A%20%20%20%20C%20%3D%20pd.DataFrame(pairwise_rbf(_xa%2C%20_xb%2C%20slider_l.value))%0A%20%20%20%20sns.heatmap(C).set_title(f%22%24%E2%84%93%24%3D%7Bslider_l.value%7D%22)%0A%20%20%20%20return%20(C%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20slider_l%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D30%2C%20value%3D5%2C%20label%3D%22Value%20of%20%E2%84%93%22%2C%20debounce%3DTrue)%0A%20%20%20%20slider_l%0A%20%20%20%20return%20(slider_l%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20It%20looks%20very%20similar%2C%20but%20it's%20%22fuzzier%22%20around%20the%20diagonal.%20Think%20about%20what%20type%20of%20values%20you%20would%20expect%20from%20a%20Gaussian%20with%20this%20covariance%20matrix.%0A%0A%20%20%20%20(Try%20playing%20around%20with%20the%20mysterious%20%22%E2%84%93%22%20slider%2C%20will%20explain%20later).%0A%0A%20%20%20%20It's%20saying%20that%20variables%20near%20each%20other%20are%20more%20correlated%20than%20variables%20far%20away.%20For%20example%20variable%201%20is%20more%20correlated%20with%20variable%202%20than%20it%20is%20with%20variable%2050.%20Let%20visualize%20some%20samples%20from%20a%2050-d%20Gaussian%20with%20this%20new%20covariance%20matrix.%20But%20before%20you%20hit%20the%20%22sample%22%20button%2C%20what%20do%20you%20think%20these%20new%20curves%20will%20look%20like%3F%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(btn_clear_fuzzy%2C%20btn_new_sample_fuzzy%2C%20get_fig_fuzzy%2C%20mo)%3A%0A%20%20%20%20%23%204)%20Layout%3A%20Place%20the%20buttons%20side-by-side%20and%20display%20the%20figure%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_fuzzy()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_fuzzy%2C%20btn_clear_fuzzy%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np%2C%20pairwise_rbf%2C%20slider_l)%3A%0A%20%20%20%20%23%201)%20Create%20an%20initial%20figure%0A%20%20%20%20init_scatter_fuzzy%20%3D%20go.Scatter(mode%3D%22markers%22)%0A%20%20%20%20init_layout_fuzzy%20%3D%20go.Layout(title%3D'Samples%20from%20a%2050-D%20Gaussian%20%3Cbr%3Ewith%20%22Fuzzy%22%20Covariance')%0A%20%20%20%20init_fig_fuzzy%20%3D%20go.Figure(data%3D%5Binit_scatter_fuzzy%5D%2C%20layout%3Dinit_layout_fuzzy)%0A%20%20%20%20init_fig_fuzzy.update_layout(margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%20height%3D400)%0A%0A%20%20%20%20%23%202)%20Store%20the%20figure%20in%20Marimo's%20state%2C%20plus%20a%20sample-count%20state%0A%20%20%20%20get_fig_fuzzy%2C%20set_fig_fuzzy%20%3D%20mo.state(init_fig_fuzzy)%0A%20%20%20%20get_clicks_fuzzy%2C%20set_clicks_fuzzy%20%3D%20mo.state(0)%0A%0A%20%20%20%20def%20add_sample_fuzzy(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Add%20a%20new%20random%20sample%20using%20a%20'fuzzy'%20covariance%20matrix.%22%22%22%0A%20%20%20%20%20%20%20%20fig_fuzzy%20%3D%20get_fig_fuzzy()%0A%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(0%2C%2050%2C%2050)%0A%20%20%20%20%20%20%20%20cov%20%3D%20pairwise_rbf(x.reshape(-1%2C%201)%2C%20x.reshape(-1%2C%201)%2C%20l%3Dslider_l.value)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.random.multivariate_normal(mean%3Dnp.zeros(50)%2C%20cov%3Dcov%2C%20size%3D1)%5B0%5D%0A%20%20%20%20%20%20%20%20sample_num%20%3D%20get_clicks_fuzzy()%0A%20%20%20%20%20%20%20%20new_scatter_fuzzy%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Sample%20%7Bsample_num%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_fuzzy.add_trace(new_scatter_fuzzy)%0A%20%20%20%20%20%20%20%20set_fig_fuzzy(fig_fuzzy)%0A%20%20%20%20%20%20%20%20set_clicks_fuzzy(sample_num%20%2B%201)%0A%0A%20%20%20%20def%20clear_data_fuzzy(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Clear%20all%20data%20from%20the%20fuzzy-covariance%20figure.%22%22%22%0A%20%20%20%20%20%20%20%20fig_fuzzy%20%3D%20get_fig_fuzzy()%0A%20%20%20%20%20%20%20%20fig_fuzzy.data%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20set_fig_fuzzy(fig_fuzzy)%0A%20%20%20%20%20%20%20%20set_clicks_fuzzy(0)%0A%0A%20%20%20%20%23%203)%20Create%20the%20UI%20buttons%0A%20%20%20%20btn_new_sample_fuzzy%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22New%20Sample%22%2C%20on_click%3Dadd_sample_fuzzy%2C%20kind%3D%22success%22%0A%20%20%20%20)%0A%20%20%20%20btn_clear_fuzzy%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3Dget_clicks_fuzzy()%2C%20on_click%3Dclear_data_fuzzy%2C%20label%3D%22Clear%22%2C%20kind%3D%22danger%22%0A%20%20%20%20)%0A%20%20%20%20return%20btn_clear_fuzzy%2C%20btn_new_sample_fuzzy%2C%20get_fig_fuzzy%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Cool%2C%20they%20are%20now%20much%20smoother.%20This%20is%20because%20the%20variables%20near%20each%20other%20are%20more%20correlated%2C%20so%20nearby%20points%20are%20more%20likely%20to%20be%20similar.%20This%20smooths%20out%20the%20curves.%0A%0A%20%20%20%20Now%20we%20can%20see%20that%20by%20changing%20the%20covariance%20matrix%2C%20we%20can%20control%20the%20shape%20of%20the%20functions%20that%20our%20multivariate%20normal%20distribution%20produces.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Making%20these%20%22functions%22%20into%20Functions%0A%20%20%20%20We've%20been%20throwing%20around%20the%20word%20%22functions%22%20a%20lot%20now%2C%20but%20we%20still%20never%20resolved%20the%20problem%20that%20these%20samples%20are%20really%20just%2050-D%20vectors.%20Sure%20we%20can%20connect%20the%20points%20with%20little%20lines%2C%20but%20that's%20not%20the%20same%20as%20a%20function.%20How%20do%20we%20get%20a%20distribution%20over%20true%20functions%3F%0A%0A%20%20%20%20The%20answer%20lies%20in%20how%20we%20define%20the%20covariance%20and%20mean%20of%20our%20multivariate%20Gaussian.%20So%20far%20we've%20been%20manually%20inputting%20some%20mean%20vector%20and%20covariance%20matrix.%20Since%20these%20are%20objects%20with%20discrete%2C%20finite%20elements%2C%20we%20can't%20really%20think%20of%20the%20distributions%20they%20define%20as%20functions.%20But%20what%20if%20we%20could%20redefine%20these%20objects%20(the%20mean%20and%20covariance)%20as%20functions%3F%20%0A%0A%20%20%20%20Mathematically%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboldsymbol%7B%5Cmu%7D%20%3D%20m(%5Ctextbf%7Bx%7D)%20%5C%5C%0A%20%20%20%20%5CSigma%20%3D%20k(%5Ctextbf%7Bx%2C%20x%7D)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Now%20for%20whatever%20%24x%24%20we%20are%20interested%20in%2C%20we%20can%20sample%20from%20a%20multivariate%20Gaussian%20with%20mean%20%24m(%5Ctextbf%7Bx%7D)%24%20and%20covariance%20%24k(%5Ctextbf%7Bx%2C%20x%7D)%24.%20This%20is%20one%20of%20those%20mathematical%20tricks%20that's%20so%20simple%20it's%20hard%20to%20understand%2C%20or%20maybe%20feels%20like%20cheating%2C%20so%20let's%20go%20through%20an%20example.%20%0A%0A%20%20%20%20Say%20we%20want%20to%20sample%20from%20a%20few%20specific%20real%20number%20%24%5Ctextbf%7Bx%7D%20%3D%20%5B-%5Cpi%2C%20%5Cpi%2C%202%5Cpi%5D%5ET%24%20(some%20multiples%20of%20pi%2C%20as%20in%203.141...).%20First%20let's%20define%20a%20mean%20function%20%24m(%5Ctextbf%7Bx%7D)%24.%20We%20can%20use%20anything%20we%20like%2C%20so%20let's%20so%20something%20really%20simple%3A%20%24m(%5Ctextbf%7Bx%7D)%20%3D%20%5Ctextbf%7Bx%7D%24.%20%0A%0A%20%20%20%20For%20the%20covariance%20function%20%24k(%5Ctextbf%7Bx%2C%20x%7D)%24%2C%20we%20need%20a%20function%20of%20x%20that%20generates%20a%20symmetric%20matrix%20with%20a%20positive%20diagonal%20(otherwise%20it%20would%20not%20be%20a%20valid%20covariance).%20Again%20let's%20just%20do%20something%20really%20simple%3A%20%24k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D)%20%3D%20%5Coperatorname%7Bdiag%7D(%5Ctextbf%7Bx%7D%20%5Codot%20%5Ctextbf%7Bx%7D%20)%24%2C%20where%20we%20take%20%24%5Codot%24%20to%20mean%20the%20element-wise%20product%20of%20%24%5Ctextbf%7Bx%7D%24%20with%20%24%5Ctextbf%7Bx%7D%24.%0A%0A%20%20%20%20%3E%20You%20maybe%20be%20wondering%2C%20%22why%20define%20the%20covariance%20function%20as%20%24k(%5Ctextbf%7Bx%2C%20x%7D)%24%20instead%20of%20simply%20%24k(%5Ctextbf%7Bx%7D)%24%3F%22.%20The%20reason%20is%20that%20covariance%20functions%20in%20general%20calculate%20a%20covariance%20between%20two%20vectors%20that%20are%20not%20necessarily%20the%20same.%20Here%20we%20are%20just%20calculating%20the%20covariance%20of%20%24%5Ctextbf%7Bx%7D%24%20with%20itself%2C%20but%20this%20will%20not%20always%20be%20the%20case...%0A%0A%20%20%20%20So%20if%20we%20put%20out%20test%20vector%20into%20these%20functions%20we%20get%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cboldsymbol%7B%5Cmu%7D%20%3D%20m(%5Ctextbf%7Bx%7D)%20%3D%20%5Ctextbf%7Bx%7D%20%3D%20%5B-%5Cpi%2C%20%5Cpi%2C%202%5Cpi%5D%5ET%5C%5C%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5CSigma%20%3D%20k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D)%20%3D%20%5Coperatorname%7Bdiag%7D(%5Ctextbf%7Bx%7D%5Codot%5Ctextbf%7Bx%7D)%20%3D%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20(-%5Cpi)%5E2%20%26%200%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%20(%5Cpi)%5E2%20%26%200%20%5C%5C%0A%20%20%20%200%20%26%200%20%26%20(2%5Cpi)%5E2%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Now%20we%20can%20sample%20from%20a%20multivariate%20Gaussian%20at%20these%20specific%20values%20of%20%24x%24%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(k%2C%20np%2C%20pd%2C%20sns%2C%20x_specific)%3A%0A%20%20%20%20cov_df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20np.round(k(x_specific)%2C%204)%2C%20index%3Dnp.round(x_specific%2C%204)%2C%20columns%3Dnp.round(x_specific%2C%204)%0A%20%20%20%20)%0A%20%20%20%20sns.heatmap(cov_df).set_title(%22Covariance%20Function%20at%20Multiples%20of%20Pi%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(btn_clear_real%2C%20btn_new_sample_real%2C%20get_fig_real%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_real()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_real%2C%20btn_clear_real%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%20Define%20the%20index%20points%2C%20mean%20function%2C%20and%20covariance%20function%0A%20%20%20%20x_specific%20%3D%20np.array(%5B-np.pi%2C%20np.pi%2C%202%20*%20np.pi%5D)%0A%20%20%20%20m%20%3D%20lambda%20x%3A%20x%0A%20%20%20%20k%20%3D%20lambda%20x%3A%20np.diag(x**2)%0A%0A%20%20%20%20%23%201)%20Create%20a%20figure%20with%20an%20initial%20(empty)%20scatter%20trace%0A%20%20%20%20init_scatter_real%20%3D%20go.Scatter(mode%3D%22markers%22)%0A%20%20%20%20init_layout_real%20%3D%20go.Layout(title%3D%22Samples%20from%20a%20Multivariate%20Gaussian%3Cbr%3Eat%20Multiples%20of%20Pi%22)%0A%20%20%20%20init_fig_real%20%3D%20go.Figure(data%3D%5Binit_scatter_real%5D%2C%20layout%3Dinit_layout_real)%0A%20%20%20%20init_fig_real.update_layout(margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%20height%3D400)%0A%20%20%20%20%23%202)%20Use%20Marimo%20state%20to%20keep%20track%20of%20the%20figure%20and%20click%20count%0A%20%20%20%20get_fig_real%2C%20set_fig_real%20%3D%20mo.state(init_fig_real)%0A%20%20%20%20get_clicks_real%2C%20set_clicks_real%20%3D%20mo.state(0)%0A%0A%20%20%20%20%23%203)%20Define%20the%20callbacks%0A%20%20%20%20def%20add_sample_real(_)%3A%0A%20%20%20%20%20%20%20%20fig_real%20%3D%20get_fig_real()%0A%20%20%20%20%20%20%20%20%23%20Build%20covariance%20and%20mean%0A%20%20%20%20%20%20%20%20cov%20%3D%20k(x_specific)%0A%20%20%20%20%20%20%20%20mean%20%3D%20m(x_specific)%0A%20%20%20%20%20%20%20%20%23%20Draw%20one%20sample%20from%20the%20multivariate%20normal%0A%20%20%20%20%20%20%20%20y%20%3D%20np.random.multivariate_normal(mean%3Dmean%2C%20cov%3Dcov%2C%20size%3D1)%5B0%5D%0A%0A%20%20%20%20%20%20%20%20sample_num%20%3D%20get_clicks_real()%0A%20%20%20%20%20%20%20%20new_scatter_real%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_specific%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Sample%20%7Bsample_num%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_real.add_trace(new_scatter_real)%0A%0A%20%20%20%20%20%20%20%20set_fig_real(fig_real)%0A%20%20%20%20%20%20%20%20set_clicks_real(sample_num%20%2B%201)%0A%0A%20%20%20%20def%20clear_data_real(_)%3A%0A%20%20%20%20%20%20%20%20fig_real%20%3D%20get_fig_real()%0A%20%20%20%20%20%20%20%20fig_real.data%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20set_fig_real(fig_real)%0A%20%20%20%20%20%20%20%20set_clicks_real(0)%0A%0A%20%20%20%20%23%204)%20Build%20UI%3A%20two%20buttons%20%2B%20the%20figure%0A%20%20%20%20btn_new_sample_real%20%3D%20mo.ui.button(label%3D%22New%20Sample%22%2C%20on_click%3Dadd_sample_real%2C%20kind%3D%22success%22)%0A%20%20%20%20btn_clear_real%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3Dget_clicks_real()%2C%20on_click%3Dclear_data_real%2C%20label%3D%22Clear%22%2C%20kind%3D%22danger%22%0A%20%20%20%20)%0A%20%20%20%20return%20btn_clear_real%2C%20btn_new_sample_real%2C%20get_fig_real%2C%20k%2C%20m%2C%20x_specific%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22But%20now%20that%20we've%20defined%20our%20mean%20and%20covariance%20functions%2C%20we%20can%20sample%20from%20a%20multivariate%20Gaussian%20at%20any%20value%20of%20%24x%24%20we%20want.%20For%20example%2C%20let's%20sample%20at%2050%20evenly%20spaced%20real%20values%20of%20%24x%24%20between%20-1%20and%201.%20All%20we%20do%20is%20plug%20these%20values%20into%20our%20mean%20and%20covariance%20functions%2C%20and%20then%20sample%20from%20the%20resulting%20multivariate%20Gaussian.%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(k%2C%20np%2C%20pd%2C%20sns%2C%20x_real_big)%3A%0A%20%20%20%20_cov_df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20np.round(k(x_real_big)%2C%204)%2C%20index%3Dnp.round(x_real_big%2C%204)%2C%20columns%3Dnp.round(x_real_big%2C%204)%0A%20%20%20%20)%0A%20%20%20%20sns.heatmap(_cov_df).set_title(%22Covariance%20Function%20at%2050%5CnEvenly-Spaced%20Real%20Values%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(btn_clear_50real%2C%20btn_new_sample_50real%2C%20get_fig_50real%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_50real()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_50real%2C%20btn_clear_50real%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20k%2C%20m%2C%20mo%2C%20np)%3A%0A%20%20%20%20%23%20We%20assume%20you've%20already%20defined%3A%0A%20%20%20%20x_real_big%20%3D%20np.linspace(-1%2C%201%2C%2050)%0A%20%20%20%20%23%20k%20%3D%20lambda%20x%3A%20np.diag(x**2)%0A%0A%20%20%20%20%23%201)%20Create%20the%20initial%20figure%0A%20%20%20%20init_scatter_50_real%20%3D%20go.Scatter(mode%3D%22markers%22)%0A%20%20%20%20init_layout_50_real%20%3D%20go.Layout(%0A%20%20%20%20%20%20%20%20title%3D%22Samples%20from%20a%2050-D%20Multivariate%20Gaussian%3Cbr%3Eat%20Real-Valued%20Indices%22%0A%20%20%20%20)%0A%20%20%20%20init_fig_50_real%20%3D%20go.Figure(data%3D%5Binit_scatter_50_real%5D%2C%20layout%3Dinit_layout_50_real)%0A%20%20%20%20init_fig_50_real.update_layout(margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%20height%3D400)%0A%0A%20%20%20%20%23%202)%20Store%20the%20figure%20and%20a%20sample%20counter%20in%20Marimo's%20state%0A%20%20%20%20get_fig_50real%2C%20set_fig_50real%20%3D%20mo.state(init_fig_50_real)%0A%20%20%20%20get_clicks_50real%2C%20set_clicks_50real%20%3D%20mo.state(0)%0A%0A%20%20%20%20def%20add_sample_50real(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Draw%20one%20random%20sample%20from%20a%2050-D%20Gaussian%20(diag%20covariance%20%3D%20x%5E2).%22%22%22%0A%20%20%20%20%20%20%20%20fig_50r%20%3D%20get_fig_50real()%0A%20%20%20%20%20%20%20%20sample_num%20%3D%20get_clicks_50real()%0A%0A%20%20%20%20%20%20%20%20%23%20Build%20covariance%20and%20mean%20from%20the%20user-defined%20functions%0A%20%20%20%20%20%20%20%20cov_50%20%3D%20k(x_real_big)%0A%20%20%20%20%20%20%20%20mean_50%20%3D%20m(x_real_big)%0A%20%20%20%20%20%20%20%20%23%20Draw%20a%20single%2050-D%20sample%0A%20%20%20%20%20%20%20%20y_samp%20%3D%20np.random.multivariate_normal(mean%3Dmean_50%2C%20cov%3Dcov_50%2C%20size%3D1)%5B0%5D%0A%0A%20%20%20%20%20%20%20%20new_scatter_50r%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_real_big%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_samp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Sample%20%7Bsample_num%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_50r.add_trace(new_scatter_50r)%0A%0A%20%20%20%20%20%20%20%20set_fig_50real(fig_50r)%0A%20%20%20%20%20%20%20%20set_clicks_50real(sample_num%20%2B%201)%0A%0A%20%20%20%20def%20clear_data_50real(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Remove%20all%20existing%20traces.%22%22%22%0A%20%20%20%20%20%20%20%20fig_50r%20%3D%20get_fig_50real()%0A%20%20%20%20%20%20%20%20fig_50r.data%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20set_fig_50real(fig_50r)%0A%20%20%20%20%20%20%20%20set_clicks_50real(0)%0A%0A%20%20%20%20%23%203)%20Create%20the%20UI%3A%20Two%20buttons%20%2B%20the%20figure%0A%20%20%20%20btn_new_sample_50real%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22New%20Sample%22%2C%20on_click%3Dadd_sample_50real%2C%20kind%3D%22success%22%0A%20%20%20%20)%0A%0A%20%20%20%20btn_clear_50real%20%3D%20mo.ui.button(label%3D%22Clear%22%2C%20on_click%3Dclear_data_50real%2C%20kind%3D%22danger%22)%0A%20%20%20%20return%20btn_clear_50real%2C%20btn_new_sample_50real%2C%20get_fig_50real%2C%20x_real_big%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Now%20we've%20truly%20got%20a%20distribution%20over%20functions.%0A%0A%20%20%20%20If%20we%20want%20the%20distribution%20at%20_any_%20value%20%24x%24%2C%20we%20can%20just%20plug%20it%20in%20to%20the%20mean%20and%20covariance%20functions%20and%20voila!%20We%20just%20need%20to%20define%20a%20mean%20and%20valid%20covariance%20function%20that%20we%20like%2C%20and%20we%20can%20sample%20from%20a%20multivariate%20Gaussian%20at%20any%20value%20of%20%24x%24%20we%20want.%20%0A%0A%20%20%20%20By%20the%20way%2C%20%22covariance%20functions%22%20are%20usually%20referred%20to%20by%20a%20fancy%20name%3A%20**kernel%20functions**.%20Remember%20this%20plot%20of%20a%20covariance%20matrix%20from%20earlier%3F%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(C%2C%20slider_l%2C%20sns)%3A%0A%20%20%20%20sns.heatmap(C).set_title(f%22%24%E2%84%93%24%3D%7Bslider_l.value%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20This%20covariance%20we%20actually%20generated%20by%20using%20a%20specific%20kernel%20function%20called%20the%20squared%20exponential%20kernel%2C%20a.k.a.%20the%20Gaussian%20kernel%20a.k.a%20the%20radial%20basis%20function%20(RBF)%20kernel.%20I'll%20refer%20to%20it%20as%20the%20RBF%20kernel%20for%20this%20post.%0A%0A%20%20%20%20It's%20defined%20as%3A%09%0A%0A%20%20%20%20%24%24%0A%20%20%20%20k(%5Ctextbf%7Bx%7D)%20%3D%20%5Cexp%5Cleft(-%5Cfrac%7B1%7D%7B2%E2%84%93%5E2%7D%20%7C%7C%5Ctextbf%7Bx%7D%20-%20%5Ctextbf%7Bx%7D%7C%7C%5E2%5Cright)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20where%20%24%7C%7C%5Ctextbf%7Bx%7D%20-%20%5Ctextbf%7Bx%7D%7C%7C%5E2%24%20is%20the%20element-wise%20squared%20difference%20matrix%20between%20each%20element%20of%20%24x%24%20with%20each%20other%20element%2C%20and%20%24%E2%84%93%24%20is%20an%20adjustable%20parameter.%20%0A%0A%20%20%20%20No%20need%20to%20worry%20about%20the%20math%20here%20too%20closely.%20The%20important%20thing%20to%20note%20is%20that%20the%20RBF%20kernel%20is%20a%20function%20of%20%24%5Ctextbf%7Bx%7D%24%20that%20generates%20a%20positive%20semidefinite%20matrix.%20It's%20covariance%20function%2C%20a.k.a.%20kernel%2C%20and%20it%20happens%20to%20be%20one%20of%20the%20most%20useful%20kernels%20in%20the%20real-world.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20sp)%3A%0A%20%20%20%20%23%20The%20RBF%20kernel%2C%20implemented%20in%20python%20with%20numpy%0A%20%20%20%20def%20pairwise_rbf(xa%2C%20xb%2C%20l%3D5.0)%3A%0A%20%20%20%20%20%20%20%20sq_norm%20%3D%20(-0.5%20%2F%20l**2)%20*%20sp.spatial.distance.cdist(xa%2C%20xb%2C%20%22sqeuclidean%22)%0A%20%20%20%20%20%20%20%20return%20np.exp(sq_norm)%0A%0A%20%20%20%20mo.show_code()%0A%20%20%20%20return%20(pairwise_rbf%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20code%20%3D%20%22%22%22%0A%0A%20%20%20%20%23%20Try%20editing%20these%20to%20be%20whatever%20you%20want.%0A%20%20%20%20%23%20Note%20you%20can%20add%20as%20may%20points%20as%20you%20like!%0A%20%20%20%20points%20%3D%20%5B1.549%2C%202%2C%203%2C%204%2C%205%2C%206%2C%2010%5D%0A%20%20%20%20%23%20You%20can%20change%20the%20value%20of%20l%20to%20see%20how%20it%20changes%20the%20covariance%20matrix%0A%20%20%20%20l%20%3D%201%0A%0A%20%20%20%20%23%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20The%20rest%20of%20this%20code%20feeds%20these%20points%20into%20the%20pairwise_rbf%20function%0A%20%20%20%20%23%20and%20plots%20the%20resulting%20covariance%20matrix%0A%20%20%20%20x_test%20%3Dnp.array(points).reshape(-1%2C%201)%20%23%20Transpose%0A%20%20%20%20rbf_output%20%3D%20pairwise_rbf(x_test%2C%20x_test%2C%20l%3Dl)%0A%20%20%20%20plot%20%3D%20sns.heatmap(rbf_output%2C%20annot%3DTrue%2C%20xticklabels%3Dpoints%2C%20yticklabels%3Dpoints%20)%0A%20%20%20%20%22%22%22%0A%20%20%20%20code_editor%20%3D%20mo.ui.code_editor(value%3Dcode)%0A%20%20%20%20code_editor%0A%20%20%20%20return%20(code_editor%2C)%0A%0A%0A%40app.cell%0Adef%20_(code_editor%2C%20plot)%3A%0A%20%20%20%20exec(code_editor.value)%0A%20%20%20%20plot%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22Using%20this%20kernel%20function%2C%20lets%20sample%20from%20a%20multivariate%20Gaussian%20at%2050%20evenly%20spaced%20real%20values%20of%20%24x%24%20between%20-1%20and%201.%20But%20this%20time%20you%20can%20adjust%20the%20slider%20to%20change%20the%20value%20of%20the%20kernel's%20%24l%24%20parameter%20and%20see%20how%20it%20changes%20the%20shape%20of%20the%20covariance%20matrix%20and%20the%20resulting%20distribution%20over%20functions.%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20btn_clear_double%2C%0A%20%20%20%20btn_new_sample_double%2C%0A%20%20%20%20get_fig_cov%2C%0A%20%20%20%20get_fig_samples%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20slider_ld%2C%0A)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_samples()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_double%2C%20btn_clear_double%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20slider_ld%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_cov()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20mo%2C%20np%2C%20pairwise_rbf)%3A%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%20%20%20%20%23%202)%20Prepare%20initial%20data%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%0A%20%20%20%20xa%20%3D%20np.linspace(-1%2C%201%2C%2050).reshape(-1%2C%201)%0A%20%20%20%20init_cov%20%3D%20pairwise_rbf(xa%2C%20xa%2C%20l%3D0.5)%20%20%23%20initial%20length%20scale%0A%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%20%20%20%20%23%203)%20Build%20the%20two%20separate%20Plotly%20figures%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%0A%20%20%20%20%23%20--%20Figure%20A%3A%20%22Function%20Samples%22%20--%0A%20%20%20%20fig_samples%20%3D%20go.Figure()%0A%20%20%20%20%23%20Start%20with%20an%20empty%20scatter%20for%20function%20samples%0A%20%20%20%20scatter_init%20%3D%20go.Scatter(mode%3D%22lines%22%2C%20x%3D%5B%5D%2C%20y%3D%5B%5D%2C%20name%3D%22Samples%22)%0A%20%20%20%20fig_samples.add_trace(scatter_init)%0A%20%20%20%20fig_samples.update_yaxes(range%3D%5B-5%2C%205%5D%2C%20fixedrange%3DTrue)%0A%20%20%20%20fig_samples.update_layout(%0A%20%20%20%20%20%20%20%20title%3D%22Function%20Samples%22%2C%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D40%2C%20b%3D20)%2C%20height%3D350%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20--%20Figure%20B%3A%20%22Covariance%20Matrix%22%20--%0A%20%20%20%20fig_cov%20%3D%20go.Figure()%0A%20%20%20%20%23%20Create%20a%2050%C3%9750%20heatmap%3B%20rotate%20it%20so%20indexing%20matches%20your%20original%20code%0A%20%20%20%20z%20%3D%20np.rot90(init_cov)%0A%20%20%20%20xa_rounded%20%3D%20xa.flatten()%20%20%23%20round%20for%20better%20x-axis%20labels%0A%20%20%20%20heatmap_init%20%3D%20go.Heatmap(%0A%20%20%20%20%20%20%20%20z%3Dz%2C%0A%20%20%20%20%20%20%20%20x%3Dxa_rounded%2C%0A%20%20%20%20%20%20%20%20y%3Dxa_rounded%2C%0A%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20)%0A%20%20%20%20fig_cov.add_trace(heatmap_init)%0A%20%20%20%20%23%20Make%20it%20%22square%22%20in%20data%20coordinates%0A%20%20%20%20%23%20fig_cov.update_xaxes(range%3D%5B0%2C%2049%5D)%0A%20%20%20%20%23%20fig_cov.update_yaxes(range%3D%5B0%2C%2049%5D%2C%20scaleanchor%3D%22x%22%2C%20scaleratio%3D1)%20%20%23%20tie%20y-axis%20scale%20to%20x-axis%0A%20%20%20%20fig_cov.update_layout(%0A%20%20%20%20%20%20%20%20title%3D%22Covariance%20Matrix%22%2C%0A%20%20%20%20%20%20%20%20width%3D350%2C%0A%20%20%20%20%20%20%20%20height%3D350%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D20%2C%20r%3D20%2C%20t%3D40%2C%20b%3D20)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%20%20%20%20%23%204)%20Store%20the%20figures%20and%20relevant%20parameters%20in%20Marimo%20state%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%0A%20%20%20%20get_fig_samples%2C%20set_fig_samples%20%3D%20mo.state(fig_samples)%0A%20%20%20%20get_fig_cov%2C%20set_fig_cov%20%3D%20mo.state(fig_cov)%0A%0A%20%20%20%20get_l_param%2C%20set_l_param%20%3D%20mo.state(0.5)%0A%20%20%20%20get_cov%2C%20set_cov%20%3D%20mo.state(init_cov)%0A%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%20%20%20%20%23%205)%20Define%20the%20callback%20functions%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%0A%20%20%20%20def%20on_slider_change(new_l)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%201)%20Update%20the%20stored%20length%20scale%0A%20%20%20%20%20%20%20%202)%20Recompute%20the%20covariance%0A%20%20%20%20%20%20%20%203)%20Update%20the%20heatmap%20in%20fig_cov%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20set_l_param(new_l)%0A%20%20%20%20%20%20%20%20new_cov%20%3D%20pairwise_rbf(xa%2C%20xa%2C%20l%3Dnew_l)%0A%20%20%20%20%20%20%20%20set_cov(new_cov)%0A%0A%20%20%20%20%20%20%20%20fig_c%20%3D%20get_fig_cov()%0A%20%20%20%20%20%20%20%20fig_c.data%5B0%5D.z%20%3D%20np.rot90(new_cov)%20%20%23%20data%5B0%5D%20is%20the%20heatmap%0A%20%20%20%20%20%20%20%20set_fig_cov(fig_c)%0A%0A%20%20%20%20def%20add_new_sample(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Generate%20a%20random%20function%20sample%20from%20the%20current%20covariance%0A%20%20%20%20%20%20%20%20and%20add%20it%20to%20fig_samples.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20current_cov%20%3D%20get_cov()%0A%0A%20%20%20%20%20%20%20%20%23%20Draw%20a%20random%20sample%20from%20the%20multivariate%20normal%0A%20%20%20%20%20%20%20%20y_samp%20%3D%20np.random.multivariate_normal(mean%3Dnp.zeros(len(xa))%2C%20cov%3Dcurrent_cov%2C%20size%3D1)%5B0%5D%0A%0A%20%20%20%20%20%20%20%20fig_s%20%3D%20get_fig_samples()%0A%20%20%20%20%20%20%20%20new_trace%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dxa.ravel()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_samp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22%E2%84%93%3D%7Bget_l_param()%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_s.add_trace(new_trace)%0A%20%20%20%20%20%20%20%20set_fig_samples(fig_s)%0A%0A%20%20%20%20def%20clear_figure(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Reset%20the%20samples%20figure%20so%20it%20has%20only%20one%20empty%20scatter%20trace.%0A%20%20%20%20%20%20%20%20Also%20reset%20the%20sample%20counter%20to%200.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20fig_s%20%3D%20get_fig_samples()%0A%20%20%20%20%20%20%20%20fig_s.data%20%3D%20fig_s.data%5B%3A1%5D%0A%20%20%20%20%20%20%20%20set_fig_samples(fig_s)%0A%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%20%20%20%20%23%206)%20Build%20the%20UI%20(slider%20%2B%20two%20buttons%20%2B%20display%20figures)%0A%20%20%20%20%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%23%0A%0A%20%20%20%20slider_ld%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20value%3Dget_l_param()%2C%0A%20%20%20%20%20%20%20%20start%3D0.01%2C%0A%20%20%20%20%20%20%20%20stop%3D2.0%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20on_change%3Don_slider_change%2C%0A%20%20%20%20%20%20%20%20label%3D%22RBF%20Kernel%20Parameter%20(%E2%84%93)%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20btn_new_sample_double%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22New%20Sample%22%2C%20on_click%3Dadd_new_sample%2C%20kind%3D%22success%22%0A%20%20%20%20)%0A%0A%20%20%20%20btn_clear_double%20%3D%20mo.ui.button(label%3D%22Clear%22%2C%20on_click%3Dclear_figure%2C%20kind%3D%22danger%22)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20btn_clear_double%2C%0A%20%20%20%20%20%20%20%20btn_new_sample_double%2C%0A%20%20%20%20%20%20%20%20get_fig_cov%2C%0A%20%20%20%20%20%20%20%20get_fig_samples%2C%0A%20%20%20%20%20%20%20%20slider_ld%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Conditioning%20on%20Data%0A%0A%20%20%20%20Wow%2C%20we've%20come%20a%20long%20way.%20Let's%20regroup%20here%20and%20remember%20our%20original%20definition%20of%20a%20Gaussian%20Process%20Regression.%0A%0A%20%20%20%20**GP%20Regression%3A%20%3Cfont%20color%3D%22%2332a852%22%3EA%20Multivariate%20Gaussian%20Distribution%20over%20functions%3C%2Ffont%3E%2C%20conditioned%20on%20some%20training%20data.**%0A%0A%20%20%20%20%3E%20In%20fact%20this%20highlighted%20part%20above%20is%20the%20definition%20of%20a%20Gaussian%20Process.%20But%20we%20want%20%22Gaussian%20Process%20Regression%22.%20(People%20sometimes%20use%20the%20two%20to%20mean%20the%20same%20thing%2C%20but%20technically%20GP%20is%20the%20distribution%20and%20GPR%20is%20the%20regression%20problem.)%0A%0A%20%20%20%20We're%20more%20than%20half-way%20done!%20But%20we%20still%20need%20to%20condition%20it%20on%20some%20training%20data.%20Right%20now%20we're%20just%20sampling%20these%20pretty%20functions%2C%20but%20they%20are%20completely%20random.%20%0A%0A%20%20%20%20Conditioning%20means%20we%20want%20the%20probability%20of%20some%20outcome%20given%20some%20data.%20Mathematically%20we%20write%20this%20as%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(y%20%7C%20x)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20that%20is%2C%20the%20probability%20of%20some%20outcome%20%24y%24%20given%20some%20other%20data%20%24x%24.%20%0A%0A%20%20%20%20Let's%20take%20a%20simple%20toy%20problem%20as%20a%20concrete%20example%3A%0A%0A%20%20%20%20Say%20we%20are%20trying%20to%20predict%20the%20cost%20of%20a%20house%20along%20a%20particular%20road.%20At%20one%20end%20of%20the%20road%2C%20there%20is%20a%20nuclear%20power%20plant%20(yikes).%20We%20have%20some%20data%20on%20the%20cost%20of%20some%20of%20the%20houses%20on%20this%20road%2C%20but%20we%20want%20to%20predict%20the%20cost%20of%20a%20house%20at%20any%20location.%20Let's%20look%20at%20the%20data%20first%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20%23%20%40title%0A%20%20%20%20X%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B9.34825241e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B9.67438030e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B1.17250505e01%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B5.99427279e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B1.07375146e01%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B3.87950162e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B2.71045131e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B7.35740185e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B9.13638194e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B1.05863164e01%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B7.42074188e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B1.20328572e01%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B5.15531137e00%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B3.24806136e-01%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B1.32962952e-03%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20y%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B295011.54177245%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B291803.4301587%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B302340.03191297%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B254244.52812629%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B288037.40660445%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B225340.17067212%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B235462.67258466%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B291158.36183822%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B297052.11645609%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B287514.83630223%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B292359.62730391%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B310157.34073017%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B233483.05286424%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B209630.56264745%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B200039.88887763%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20DOMAIN%20%3D%20(0%2C%204%20*%20np.pi)%0A%20%20%20%20X_axis%20%3D%20np.linspace(DOMAIN%5B0%5D%2C%20DOMAIN%5B1%5D%2C%2050).reshape(1%2C%20-1).T%0A%20%20%20%20y_true%20%3D%20(0.1%20*%20np.sin(X_axis)%20%2B%201)%20*%20200000%20%2B%20X_axis%20*%2010000%0A%20%20%20%20X_test%20%3D%20np.linspace(DOMAIN%5B0%5D%2C%20DOMAIN%5B1%5D%2C%2050).reshape(1%2C%20-1).T%0A%20%20%20%20df%20%3D%20pd.DataFrame(y.flatten()%2C%20index%3DX.flatten()%2C%20columns%3D%5B%22Cost%20of%20a%20house%22%5D).sort_index()%0A%20%20%20%20df.index.name%20%3D%20%22Distance%20from%20the%20Nuclear%20Power%20Plant%20(miles)%22%0A%20%20%20%20df.plot(style%3D%22o%22%2C%20color%3D%22red%22)%0A%20%20%20%20return%20X%2C%20X_axis%2C%20X_test%2C%20y%2C%20y_true%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Right%20away%20we%20see%20a%20couple%20things.%20Housing%20costs%20are%20not%20just%20linearly%20increasing%20as%20we%20get%20further%20away%20from%20the%20plant%3B%20there%20seem%20to%20be%20a%20few%20dips.%20Maybe%20there%20is%20a%20prison%205%20miles%20away%20from%20the%20plant%3B%20who%20knows.%20Regardless%2C%20we%20probably%20want%20some%20non-linear%20model%20for%20this%20data.%20%0A%0A%20%20%20%20The%20main%20question%20at%20hand%20is%20given%20this%20known%20cost%20data%2C%20what%20is%20the%20expected%20cost%20of%20a%20house%20at%20another%20location%20%24x%24%3F%0A%0A%20%20%20%20To%20state%20this%20mathematically%2C%20we%20want%20some%20function%20structured%20as%20follows%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(%5Ctextbf%7Bc%7D%20%7C%20%5Ctextbf%7Bx%7D)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20That%20is%2C%20we%20want%20the%20probability%20distribution%20of%20cost%20of%20a%20house%20%24c%24%2C%20given%20its%20distance%20%24x%24%20from%20the%20nuclear%20plant.%20Since%20we've%20been%20thinking%20about%20multivariate%20Gaussian%2C%20let's%20make%20an%20assumption%20that%20the%20distribution%20above%20follows%20a%20multivariate%20Gaussian.%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(%5Ctextbf%7Bc%7D%20%7C%20%5Ctextbf%7Bx%7D)%20%5Csim%20N(m(%5Ctextbf%7Bx%7D)%2C%20k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D))%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Where%20%24k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D)%24%20is%20the%20covariance%20function%2C%20and%20%24m(%5Ctextbf%7Bx%7D)%24%20is%20the%20mean%20function.%20For%20now%20we'll%20just%20assume%20that%20the%20mean%20function%20is%20zero%2C%20and%20for%20the%20covariance%20function%20we'll%20use%20the%20RBF%20kernel.%20%0A%0A%20%20%20%20Why%20these%3F%20Remember%20the%20RBF%20function's%20effect%20above%3A%20it%20sort%20of%20%22smooths%22%20out%20the%20data.%20This%20makes%20sense%20to%20model%20housing%20prices%2C%20because%20it's%20reasonable%20to%20expect%20that%20houses%20near%20each%20other%20will%20have%20similar%20prices.%20%0A%0A%20%20%20%20%3E%20But%20why%20is%20the%20mean%20function%20zero%3F%20A%3A%20trust%20me%20bro.%20It%20just%20works%20out%20in%20practice%20that%20mean%20%3D%200%20is%20usually%20good%20enough%20to%20model%20the%20data.%20For%20example%20sklearn's%20GP%20implementation%20doesn't%20even%20let%20you%20specify%20a%20mean%20function.%20For%20more%20on%20this%20see%20%5BSection%202.7%20here%5D(http%3A%2F%2Fgaussianprocess.org%2Fgpml%2Fchapters%2FRW2.pdf).%0A%0A%20%20%20%20We%20really%20need%20the%20following%20if%20we%20want%20to%20condition%20on%20the%20known%20data%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(%5Ctextbf%7Bc%7D%20%7C%20%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bc%7D_%7B%5Ctext%7Bknown%7D%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Putting%20this%20into%20words%2C%20we%20want%20the%20probability%20distribution%20of%20prices%20of%20a%20house%2C%20given%20its%20location%20_and_%20given%20the%20prices%20of%20houses%20at%20some%20other%20locations.%0A%0A%20%20%20%20Let's%20assume%20that%20the%20known%20data%20also%20came%20from%20the%20same%20multivariate%20Gaussian%20distribution%20as%20the%20unknown.%20So%20we%20can%20write%3A%0A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(%5Ctextbf%7Bc%7D_%7B%5Ctext%7Bknown%7D%7D%7C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%20%5Csim%20N(0%2C%20k(%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D))%0A%20%20%20%20%24%24%0A%0A%20%20%20%20And%20for%20the%20unknown%20data%2C%20remember%20we%20had%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(%5Ctextbf%7Bc%7D%20%7C%20%5Ctextbf%7Bx%7D)%20%5Csim%20N(0%2C%20k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D))%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Notice%20that%20we've%20assumed%20both%20the%20known%20data%20and%20the%20unknown%20data%20come%20from%20multivariate%20Gaussians.%20What%20if%20we%20just%20combined%20them%20into%20one%20big%20multivariate%20gaussian%3F%20We%20could%20basically%20just%20stack%20the%20distributions%20on%20top%20of%20each%20other%20to%20form%20a%20big%20%22mother%22%20Gaussian.%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(%5Cbegin%7Bbmatrix%7D%20%5Ctextbf%7Bc%7D%20%5C%5C%20%5Ctextbf%7Bc%7D_%7B%5Ctext%7Bknown%7D%7D%20%5Cend%7Bbmatrix%7D%20%7C%20%5Cbegin%7Bbmatrix%7D%20%5Ctextbf%7Bx%7D%20%5C%5C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D%20%5Cend%7Bbmatrix%7D)%20%5Csim%20N%5Cleft(%5Cbegin%7Bbmatrix%7D0%20%5C%5C%200%5Cend%7Bbmatrix%7D%2C%20%5Cbegin%7Bbmatrix%7Dk(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D)%20%26%20k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%20%5C%5C%20k(%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D%2C%20%5Ctextbf%7Bx%7D)%20%26%20k(%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%20%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%5Cend%7Bbmatrix%7D%5Cright)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20one%20wrinkle%20here%20is%20the%20covariance%20function.%20For%20the%20off-diagonal%20elements%2C%20we%20need%20to%20use%20the%20covariance%20function%20between%20the%20unknown%20data%20and%20the%20known%20data.%20So%20_now_%20we%20see%20why%20the%20kernel%20function%20is%20written%20as%20%24k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D)%24%3B%20in%20this%20case%20we%20need%20to%20compute%20the%20covariance%20between%20two%20different%20vectors%20of%20data%20to%20fill%20in%20the%20off-diagonal%20blocks%20of%20the%20covariance%20matrix%20above.%0A%0A%20%20%20%20Now%20question%20is%20can%20we%20massage%20the%20beast%20above%20into%20a%20probability%20distribution%20conditioned%20on%20the%20known%20data%3F%20Like%20so%3A%0A%0A%20%20%20%20%24p(%5Ctextbf%7Bc%7D%20%7C%20%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bc%7D_%7B%5Ctext%7Bknown%7D%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%20%5Csim%20%3F%3F%3F%24%0A%0A%20%20%20%20The%20answer%20is%20yes.%20It's%20the%20following%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20p(%5Ctextbf%7Bc%7D%20%7C%20%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bc%7D_%7B%5Ctext%7Bknown%7D%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%20%5Csim%20N%5Cleft(m(%5Ctextbf%7Bx%7D)%20%2B%20k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)k(%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%5E%7B-1%7D(%5Ctextbf%7Bc%7D_%7B%5Ctext%7Bknown%7D%7D%20-%20m(%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D))%2C%20k(%5Ctextbf%7Bx%7D)%20-%20k(%5Ctextbf%7Bx%7D%2C%20%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)k(%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D)%5E%7B-1%7Dk(%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D%2C%20%5Ctextbf%7Bx%7D)%5Cright)%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%3E%20Please%20don't%20get%20mad%20at%20me%20for%20just%20giving%20you%20the%20answer.%20It's%20a%20kind%20of%20complicated%20derivation%2C%20and%20I%20don't%20want%20us%20to%20get%20bogged%20down.%20If%20you%20want%20to%20go%20through%20it%2C%20see%20this%20section%20of%20%5BGaussian%20Processes%20for%20Machine%20Learning%5D(http%3A%2F%2Fgaussianprocess.org%2Fgpml%2Fchapters%2FRW.pdf%23page%3D218%26zoom%3D50%2C240%2C358).%20%0A%20%20%20%20%3E%0A%20%20%20%20%3E%20For%20now%2C%20just%20accept%20that%20there's%20a%20nice%20closed%20form%20solution%20to%20this%20problem.%20%0A%0A%20%20%20%20Wait%2C%20uh%2C%20so%20we're%20done%3F%20%0A%0A%20%20%20%20**GP%20Regression%3A%20%3Cfont%20color%3D%22%2332a852%22%3EA%20Multivariate%20Gaussian%20Distribution%20over%20functions%2C%20conditioned%20on%20some%20training%20data.%3C%2Ffont%3E**%0A%0A%20%20%20%20We're%20done!%20We've%20got%20a%20nice%20closed%20form%20distribution%20over%20functions%20conditioned%20on%20some%20data.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Actually%20Fitting%20a%20Regression%20Model%0A%0A%20%20%20%20Using%20our%20conditional%20distribution%20above%2C%20we%20can%20plug%20in%20our%20known%20house%20costs%20to%20create%20a%20conditional%20distribution%20of%20functions.%20Then%20we%20can%20sample%20from%20this%20distribution%20at%2C%20say%2C%2050%20evenly%20spaced%20distance%20from%200%20to%2012%20miles%20away%20from%20the%20nuclear%20plant.%0A%0A%20%20%20%20We%20have%2015%20known%20cost%20data%20points.%20This%20means%20that%20%24%5Ctextbf%7Bc%7D_%7B%5Ctext%7Bknown%7D%7D%24%20and%20%24%5Ctextbf%7Bx%7D_%7B%5Ctext%7Bknown%7D%7D%24%20is%20are%20vectors%20of%20length%2015.%20We%20want%20to%20predicted%20prices%20at%2050%20evenly%20spaced%20points%2C%20so%20%24%5Ctextbf%7Bx%7D%24%20and%20%24%5Ctextbf%7Bc%7D%24%20are%20vectors%20of%20length%2050.%20%0A%0A%20%20%20%20Plugging%20this%20into%20the%20conditional%20distribution%20above%2C%20we%20can%20now%20sample%20from%20the%20conditional%20distribution%20of%20functions%3A%0A%0A%20%20%20%20%3E%20Note%3A%20we're%20using%20the%20RBF%20kernel%20here%20with%20parameter%20%24%E2%84%93%24%20set%20to%201.0.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pairwise_rbf%2C%20sp)%3A%0A%20%20%20%20def%20gp_posterior(y_train%2C%20X_train%2C%20X_test%2C%20l%3D1.0)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Given%20known%20data%20(y_train%2C%20X_train)%2C%20and%20some%20unknown%20input%20values(X_test)%0A%20%20%20%20%20%20%20%20calculate%20the%20conditional%20mean%20vector%20(mu_2__1)%20and%20conditional%20covariance%20matrix%0A%20%20%20%20%20%20%20%20(sigma_2__1)%20of%20a%20Gaussian%20process%20with%20RBF%20kernel.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20sigma_11%20%3D%20pairwise_rbf(X_train%2C%20X_train%2C%20l%3Dl)%0A%20%20%20%20%20%20%20%20sigma_21%20%3D%20pairwise_rbf(X_train%2C%20X_test%2C%20l%3Dl).T%0A%20%20%20%20%20%20%20%20sigma_22%20%3D%20pairwise_rbf(X_test%2C%20X_test%2C%20l%3Dl)%0A%20%20%20%20%20%20%20%20sigma_12%20%3D%20sigma_21.T%0A%20%20%20%20%20%20%20%20mu_2__1%20%3D%20(sigma_21%20%40%20sp.linalg.inv(sigma_11)%20%40%20y_train).flatten()%0A%20%20%20%20%20%20%20%20sigma_2__1%20%3D%20sigma_22%20-%20sigma_21%20%40%20sp.linalg.inv(sigma_11)%20%40%20sigma_12%0A%20%20%20%20%20%20%20%20return%20(mu_2__1%2C%20sigma_2__1)%0A%0A%20%20%20%20return%20(gp_posterior%2C)%0A%0A%0A%40app.cell%0Adef%20_(btn_clear_housing%2C%20btn_new_sample_housing%2C%20get_fig_housing%2C%20mo)%3A%0A%20%20%20%20get_fig_housing()%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20get_fig_housing()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%22responsive%22%3A%20True%2C%20%22displayModeBar%22%3A%20False%2C%20%22staticPlot%22%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bbtn_new_sample_housing%2C%20btn_clear_housing%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(X%2C%20X_test%2C%20calculate_figure_height%2C%20go%2C%20gp_posterior%2C%20mo%2C%20np%2C%20y)%3A%0A%20%20%20%20%23%20We'll%20assume%20y%2C%20X%2C%20X_test%2C%20and%20gp_posterior(...)%20are%20already%20defined%20above.%0A%20%20%20%20%23%20y%20is%20the%20original%20housing%20data%2C%20X%20the%20known%20inputs%2C%20X_test%20the%20test%20inputs.%0A%0A%20%20%20%20%23%20Normalize%20y%0A%20%20%20%20_y_norm%20%3D%20(y%20-%20y.mean())%20%2F%20y.std()%0A%20%20%20%20mu%2C%20sigma%20%3D%20gp_posterior(_y_norm%2C%20X%2C%20X_test%2C%20l%3D1)%20%20%23%20gp_posterior%20returns%20mean%20%26%20covariance%0A%0A%20%20%20%20%23%201)%20Create%20initial%20figure%20with%20known%20housing%20data%0A%20%20%20%20scatter_known%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20x%3DX.T%5B0%5D%2C%20y%3Dy.T%5B0%5D%2C%20mode%3D%22markers%22%2C%20marker%3Ddict(color%3D%22red%22%2C%20size%3D16)%2C%20name%3D%22Known%20Data%22%0A%20%20%20%20)%0A%20%20%20%20layout_housing%20%3D%20go.Layout(%0A%20%20%20%20%20%20%20%20title%3D%22Samples%20from%20a%20Gaussian%20Process%3Cbr%3EConditioned%20on%20Known%20Housing%20Data%22%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22Distance%20from%20the%20Nuclear%20Power%20Plant%20(miles)%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22Cost%20of%20a%20house%20(%24)%22%2C%0A%20%20%20%20)%0A%20%20%20%20init_fig_housing%20%3D%20go.Figure(data%3D%5Bscatter_known%5D%2C%20layout%3Dlayout_housing)%0A%20%20%20%20init_fig_housing.update_layout(%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D10)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Initial%20height%20calculation%0A%20%20%20%20initial_height2%20%3D%20calculate_figure_height(4)%20%20%23%20Start%20with%204%20traces%0A%0A%20%20%20%20%23%20Update%20layout%20with%20side-by-side%20grouped%20legend%0A%20%20%20%20init_fig_housing.update_layout(%0A%20%20%20%20%20%20%20%20height%3Dinitial_height2%2C%0A%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20entrywidth%3D0.29%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20entrywidthmode%3D%22fraction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yanchor%3D%22bottom%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D-0.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xanchor%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordercolor%3D%22LightGrey%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20borderwidth%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20itemsizing%3D%22constant%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20itemwidth%3D30%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20groupclick%3D%22toggleitem%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20valign%3D%22middle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xref%3D%22container%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yref%3D%22container%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20traceorder%3D%22grouped%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(size%3D10)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D4%2C%20r%3D3%2C%20t%3D80%2C%20b%3D80)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%202)%20Wrap%20the%20figure%20and%20a%20sample%20counter%20in%20Marimo's%20state%0A%20%20%20%20get_fig_housing%2C%20set_fig_housing%20%3D%20mo.state(init_fig_housing)%0A%20%20%20%20get_clicks_housing%2C%20set_clicks_housing%20%3D%20mo.state(0)%0A%0A%20%20%20%20def%20add_sample_housing(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Draw%20a%20random%20sample%20from%20the%20GP%20posterior%20(mu%2C%20sigma)%2C%0A%20%20%20%20%20%20%20%20un-normalize%20it%2C%20and%20add%20it%20to%20the%20figure%20as%20a%20new%20trace.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20fig_housing%20%3D%20get_fig_housing()%0A%20%20%20%20%20%20%20%20current_clicks%20%3D%20get_clicks_housing()%0A%0A%20%20%20%20%20%20%20%20%23%20Draw%20a%20single%20sample%20from%20the%20posterior%20(50D)%0A%20%20%20%20%20%20%20%20%23%20Then%20%22un-normalize%22%20it%20back%20to%20actual%20scale%0A%20%20%20%20%20%20%20%20yp%20%3D%20np.random.multivariate_normal(mean%3Dmu%2C%20cov%3Dsigma%2C%20size%3D1)%5B0%5D%20*%20y.std()%20%2B%20y.mean()%0A%20%20%20%20%20%20%20%20new_scatter%20%3D%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3DX_test.T%5B0%5D%2C%20y%3Dyp%2C%20mode%3D%22lines%2Bmarkers%22%2C%20name%3Df%22Sample%20%7Bcurrent_clicks%7D%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig_housing.add_trace(new_scatter)%0A%20%20%20%20%20%20%20%20new_height%20%3D%20calculate_figure_height(len(fig_housing.data))%0A%20%20%20%20%20%20%20%20fig_housing.update_layout(height%3Dnew_height)%0A%0A%20%20%20%20%20%20%20%20set_fig_housing(fig_housing)%0A%0A%20%20%20%20%20%20%20%20set_clicks_housing(current_clicks%20%2B%201)%0A%0A%20%20%20%20def%20clear_data_housing(_)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Reset%20the%20figure%20to%20only%20contain%20the%20original%20known%20data%20trace.%0A%20%20%20%20%20%20%20%20Reset%20the%20sample%20counter%20to%20zero.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20fig_housing%20%3D%20get_fig_housing()%0A%20%20%20%20%20%20%20%20%23%20Keep%20only%20the%20first%20trace%20(the%20known%20data)%0A%20%20%20%20%20%20%20%20fig_housing.data%20%3D%20fig_housing.data%5B%3A1%5D%0A%20%20%20%20%20%20%20%20set_fig_housing(fig_housing)%0A%20%20%20%20%20%20%20%20set_clicks_housing(0)%0A%0A%20%20%20%20%23%203)%20Create%20the%20UI%3A%20two%20buttons%20%2B%20the%20figure%0A%20%20%20%20btn_new_sample_housing%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22New%20Sample%22%2C%20on_click%3Dadd_sample_housing%2C%20kind%3D%22success%22%0A%20%20%20%20)%0A%20%20%20%20btn_clear_housing%20%3D%20mo.ui.button(label%3D%22Clear%22%2C%20on_click%3Dclear_data_housing%2C%20kind%3D%22danger%22)%0A%0A%20%20%20%20%23%204)%20Display%20everything%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20btn_clear_housing%2C%0A%20%20%20%20%20%20%20%20btn_new_sample_housing%2C%0A%20%20%20%20%20%20%20%20get_fig_housing%2C%0A%20%20%20%20%20%20%20%20mu%2C%0A%20%20%20%20%20%20%20%20sigma%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Yeah%20baby.%20Now%20_this_%20looks%20like%20a%20Gaussian%20process%20regression.%20Clearly%20the%20samples%20from%20the%20distribution%20are%20conditioned%20on%20known%20data%2C%20because%20all%20the%20functions%20we%20sample%20pass%20through%20the%20known%20data%20points.%20But%20in%20between%20the%20known%20data%20points%20the%20functions%20are%20free%20to%20somewhat%20randomly%20vary%2C%20giving%20us%20an%20idea%20of%20the%20uncertainty.%20How%20smoothly%20the%20functions%20vary%20is%20determined%20by%20the%20covariance%20function%2C%20which%20in%20this%20case%20is%20the%20RBF%20kernel.%0A%0A%20%20%20%20In%20the%20plot%20below%2C%20I%20reveal%20the%20true%20underlying%20function%20I%20used%20to%20generate%20this%20%22housing%20data%22%20(pink).%20What%20if%20we%20take%20500%20samples%20from%20this%20posterior%20distribution%3F%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(many)%3A%0A%20%20%20%20many.value%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(X%2C%20X_axis%2C%20X_test%2C%20gp_posterior%2C%20mo%2C%20np%2C%20pd%2C%20y%2C%20y_true)%3A%0A%20%20%20%20%23%20Suppose%20these%20are%20already%20defined%20somewhere%20in%20your%20code%3A%0A%20%20%20%20%23%20X%2C%20y%2C%20X_test%2C%20y_true%2C%20X_axis%0A%20%20%20%20%23%20gp_posterior(...)%20-%3E%20returns%20(mu%2C%20sigma)%0A%0A%20%20%20%20def%20plot_baseline()%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Plots%20only%3A%0A%20%20%20%20%20%20%20%20%20%20-%20The%20underlying%20(true)%20function%20in%20pink%20(%23ff54e0).%0A%20%20%20%20%20%20%20%20%20%20-%20The%20known%20data%20points%20in%20red%20circles.%0A%20%20%20%20%20%20%20%20%20%20-%20X-axis%20and%20Y-axis%20labels.%0A%20%20%20%20%20%20%20%20Returns%20the%20Matplotlib%20axes%20object.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Plot%20the%20pink%20underlying%20function%20(higher%20zorder%20%3D%3E%20on%20top)%0A%20%20%20%20%20%20%20%20ax%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_true.flatten()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20index%3DX_axis.flatten()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%5B%22Underlying%20Function%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_index()%0A%20%20%20%20%20%20%20%20%20%20%20%20.plot(color%3D%22%23ff54e0%22%2C%20linewidth%3D2%2C%20zorder%3D10)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20Plot%20the%20known%20data%20points%20in%20red%20(even%20higher%20zorder%20%3D%3E%20on%20top%20of%20pink%20if%20overlapping)%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(y.flatten()%2C%20index%3DX.flatten()%2C%20columns%3D%5B%22Known%20Data%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_index()%0A%20%20%20%20%20%20%20%20%20%20%20%20.plot(ax%3Dax%2C%20style%3D%22o%22%2C%20color%3D%22red%22%2C%20zorder%3D20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ax.set_xlabel(%22Distance%20from%20Nuclear%20Power%20Plant%20(miles)%22)%0A%20%20%20%20%20%20%20%20ax.set_ylabel(%22Price%22)%0A%20%20%20%20%20%20%20%20return%20ax%0A%0A%20%20%20%20def%20add_posterior_samples(ax)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Generates%201000%20posterior%20samples%20from%20the%20Gaussian%20process%0A%20%20%20%20%20%20%20%20and%20plots%20them%20on%20the%20provided%20axes%20in%20blue%20with%20alpha%3D0.01%2C%0A%20%20%20%20%20%20%20%20but%20with%20a%20lower%20zorder%20to%20keep%20them%20behind%20the%20pink%2Fred%20lines.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Normalize%20y%0A%20%20%20%20%20%20%20%20_y_norm%20%3D%20(y%20-%20y.mean())%20%2F%20y.std()%0A%20%20%20%20%20%20%20%20mu_1%2C%20sigma_1%20%3D%20gp_posterior(_y_norm%2C%20X%2C%20X_test%2C%20l%3D1)%0A%0A%20%20%20%20%20%20%20%20%23%20Draw%20the%201000%20samples%0A%20%20%20%20%20%20%20%20y_hat%20%3D%20np.random.multivariate_normal(mu_1%2C%20sigma_1%2C%20size%3D500)%20*%20y.std()%20%2B%20y.mean()%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%20them%20with%20lower%20zorder%20so%20they're%20behind%20the%20baseline%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(y_hat.T%2C%20index%3DX_test.flatten())%0A%20%20%20%20%20%20%20%20%20%20%20%20.sort_index()%0A%20%20%20%20%20%20%20%20%20%20%20%20.plot(ax%3Dax%2C%20alpha%3D0.01%2C%20legend%3DFalse%2C%20color%3D%22blue%22%2C%20zorder%3D1)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20_regenerate_plot(ax)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Called%20on%20button%20click%20to%20re-generate%20the%20plot%3A%0A%20%20%20%20%20%20%20%20%20%201)%20Plot%20the%20baseline%20(pink%20%2B%20known%20data).%0A%20%20%20%20%20%20%20%20%20%202)%20Add%20the%201000%20posterior%20samples%20(blue%2C%20behind).%0A%20%20%20%20%20%20%20%20Returns%20the%20final%20axes%20object%20for%20chaining%20if%20needed.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20add_posterior_samples(ax)%0A%20%20%20%20%20%20%20%20return%20ax%0A%0A%20%20%20%20many%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3Dplot_baseline()%2C%20%20%23%20create%20the%20initial%20plot%20on%20load%20(pink%20%2B%20red)%0A%20%20%20%20%20%20%20%20on_click%3D_regenerate_plot%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20500%20Functions%20from%20Posterior%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20)%0A%20%20%20%20many%0A%20%20%20%20return%20(many%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Remember%20what%20there%20blue%20lines%20are%3A%20they%20are%20samples%20from%20a%20multivariate%20gaussian%20conditioned%20on%20the%20known%20data%20points%2C%20and%20sampled%20at%20500%20evenly%20spaced%20points%20between%200%20and%2012.%20We%20used%20the%20complicated%20formula%20above%20to%20find%20the%20conditional%20mean%20vector%20and%20conditional%20covariance%20matrix%2C%20and%20then%20sampled%20from%20a%20distribution%20using%20that%20mean%20and%20covariance.%0A%0A%20%20%20%20Below%20are%20some%20heatmaps%20of%20the%20_conditional_%20covariance%20matrix%20and%20_conditional_%20mean%20vector%20(conditioned%20on%20the%20known%20housing%20data)%20that%20specify%20the%20predictive%20multivariate%20gaussian%20distribution.%0A%0A%20%20%20%20Think%20for%20a%20moment%20about%20why%20this%20conditional%20mean%20and%20covariance%20makes%20sense.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(X_test%2C%20pd%2C%20sigma%2C%20sns)%3A%0A%20%20%20%20%23%20%40title%0A%20%20%20%20ix%20%3D%20X_test.flatten().round(2)%0A%20%20%20%20plt1%20%3D%20sns.heatmap(pd.DataFrame(sigma%2C%20index%3Dix%2C%20columns%3Dix)).set_title(%0A%20%20%20%20%20%20%20%20%22Conditional%20Covariance%20Matrix%22%0A%20%20%20%20)%0A%20%20%20%20plt1%0A%20%20%20%20return%20(ix%2C)%0A%0A%0A%40app.cell%0Adef%20_(ix%2C%20mu%2C%20pd%2C%20sns%2C%20y)%3A%0A%20%20%20%20plt2%20%3D%20sns.heatmap(pd.DataFrame((mu%20*%20y.std()%20%2B%20y.mean()).reshape(-1%2C%201)%2C%20index%3Dix)).set_title(%0A%20%20%20%20%20%20%20%20%22Conditional%20Mean%20Vector%22%0A%20%20%20%20)%0A%20%20%20%20plt2%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Outro%0A%0A%20%20%20%20You%20should%20now%20have%20the%20core%20ideas%20of%20Gaussian%20processes%20regression.%20If%20you%20still%20have%20some%20questions%2C%20like%3A%0A%0A%20%20%20%20-%20%22Do%20you%20really%20have%20to%20sample%20100s%20of%20functions%20to%20get%20the%20confidence%20intervals%3F%22%0A%20%20%20%20%20%20%20%20-%20(You%20should%20now%20be%20able%20to%20figure%20out%20the%20answer%20to%20this.)%0A%20%20%20%20-%20%22How%20do%20we%20choose%20a%20kernel%20function%3F%22%20%0A%20%20%20%20-%20%22How%20do%20we%20choose%20the%20best%20parameters%20for%20the%20kernel%20function%3F%22%20%0A%20%20%20%20-%20%22What%20if%20the%20training%20data%20is%20intrinsically%20noisy%20(the%20price%20of%20houses%20has%20some%20variance%20at%20a%20given%20location)%0A%20%20%20%20%20%20%22%0A%20%20%20%20-%20%22What%20if%20there%20are%20many%20features%20in%20my%20training%20data%3F%20E.g.%20Square%20footage%20of%20houses.%22%0A%20%20%20%20-%20%22But%20I%20heard%20GPs%20are%20expensive%20to%20train%3F%22%20%0A%0A%20%20%20%20...then%20you%20should%20check%20out%20the%20resources%20below%2C%20which%20should%20be%20easier%20to%20understand%20now%20that%20you%20have%20the%20basics.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20References%0A%0A%20%20%20%20%23%23%23%20Tutorials%20and%20Guides%0A%20%20%20%20-%20**%5BGaussian%20Process%20Tutorial%5D(https%3A%2F%2Fpeterroelants.github.io%2Fposts%2Fgaussian-process-tutorial%2F)**%20-%20Really%20awesome%20set%20of%20blog%20posts%20that%20teaches%20GPs%20using%20Python.%20I%20basically%20took%20this%20post%20and%20made%20it%20more%20verbose.%20The%20other%20posts%20in%20the%20series%20go%20into%20more%20detail%20about%20the%20process%20of%20fitting%20a%20GP%20and%20optimizing%20the%20kernel%20and%20hyperparameters.%20%0A%0A%20%20%20%20-%20**%5BVisual%20Exploration%20of%20Gaussian%20Processes%5D(https%3A%2F%2Fdistill.pub%2F2019%2Fvisual-exploration-gaussian-processes%2F)**%20-%20More%20detailed%2C%20with%20beautiful%20interactive%20visualizations.%20Explores%20other%20non-RBF%20kernel%20functions%20more.%0A%0A%20%20%20%20-%20**%5BFitting%20Gaussian%20Process%20Models%20in%20Python%5D(https%3A%2F%2Fwww.dominodatalab.com%2Fblog%2Ffitting-gaussian-process-models-python)**%20-%20Practical%20guide%20focused%20on%20implementing%20GPs%20using%20scikit-learn%20and%20other%20Python%20libraries.%0A%0A%20%20%20%20%23%23%23%20Advanced%20Reading%0A%20%20%20%20-%20**%5BGaussian%20Processes%20for%20Machine%20Learning%5D(http%3A%2F%2Fgaussianprocess.org%2Fgpml%2Fchapters%2F)**%20-%20_The%20book_%20on%20GPs%2C%20with%20all%20the%20detail%20you'll%20ever%20need.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20from%20wigglystuff%20import%20Matrix%0A%0A%20%20%20%20return%20Matrix%2C%20alt%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A