import%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Capstone%20%C2%B7%20Your%20own%20data%22)%0A%0Awith%20app.setup%3A%0A%20%20%20%20%23%20The%20setup%20cell%20runs%20first.%20It%20holds%20the%20imports%20and%20settings%20every%20other%20cell%20uses.%0A%20%20%20%20import%20sqlite3%0A%20%20%20%20from%20contextlib%20import%20closing%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20duckdb%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20pandera.pandas%20as%20pa%0A%20%20%20%20import%20pyreadstat%0A%0A%20%20%20%20import%20course%20%20%23%20this%20course's%20helpers%3A%20file%20locations%20and%20the%20capstone%20note%0A%20%20%20%20from%20course%20import%20PATHS%0A%0A%20%20%20%20THIS%20%3D%20%2234_capstone_own_data.py%22%0A%20%20%20%20READABLE%20%3D%20%5B%22.csv%22%2C%20%22.xlsx%22%2C%20%22.dta%22%2C%20%22.sav%22%2C%20%22.parquet%22%2C%20%22.json%22%5D%20%20%23%20the%20kinds%20of%20file%20this%20notebook%20reads%0A%20%20%20%20SUFFIXES%20%3D%20%7B%22Parquet%22%3A%20%22parquet%22%2C%20%22CSV%22%3A%20%22csv%22%2C%20%22SQLite%22%3A%20%22sqlite%22%2C%20%22DuckDB%22%3A%20%22duckdb%22%7D%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Capstone%20%C2%B7%20Your%20own%20data%0A%0A%20%20%20%20The%20capstone%20is%20done%20**in%20groups**%3A%20your%20table%20is%20your%20group.%20Each%20group%20picks%20one%20of%20three%20options%2C%20works%20on%20it%20together%2C%20and%20presents%20it%20at%2015%3A45.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20course.capstone_options(THIS)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20group_name%20%3D%20mo.ui.text(label%3D%22Your%20group's%20name%20(your%20table)%3A%22%2C%20placeholder%3D%22like%20Table%203%22%2C%20full_width%3DTrue)%0A%20%20%20%20group_name%0A%20%20%20%20return%20(group_name%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20The%20brief%0A%0A%20%20%20%20Take%20a%20file%20your%20group%20works%20with%20through%20the%20four%20stages%20you%20learned%3A%20**Get**%20it%20without%20losing%20anything%2C%20**Check**%20it%20against%20a%20contract%20you%20write%2C%20clean%20what%20the%20contract%20finds%2C%20and%20**Store%20or%20Share**%20the%20clean%20table%20in%20a%20file%20you%20read%20back.%20The%20notebook%20gives%20you%20the%20tools%3B%20the%20decisions%20are%20yours.%0A%0A%20%20%20%20**Start%20with%20a%20question**%2C%20small%20enough%20for%20an%20hour%3A%20*%22Can%20we%20read%20our%20monthly%20price%20file%20without%20losing%20the%20item%20codes%2C%20and%20which%20rows%20break%20our%20own%20rules%3F%22*%20is%20a%20good%20size%3B%20*%22Rebuild%20our%20whole%20system%22*%20is%20not.%20Write%20it%20in%20the%20note%20(section%206)%20first%3A%20it%20keeps%20the%20group%20on%20track.%0A%0A%20%20%20%20**Working%20as%20a%20group.**%20Pick%20one%20laptop%20to%20drive%2C%20and%20put%20the%20file%20there.%20The%20others%20read%20the%20failure%20report%2C%20argue%20about%20the%20rules%2C%20and%20write%20the%20note.%20Swap%20the%20driver%20halfway.%0A%0A%20%20%20%20**Your%20data%20stays%20on%20your%20laptop.**%20Nothing%20here%20sends%20it%20anywhere.%20If%20the%20file%20is%20sensitive%2C%20use%20a%20sample%2C%20or%20remove%20the%20columns%20you%20do%20not%20need%20before%20you%20start.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20%C2%B7%20Get%3A%20read%20it%20without%20losing%20anything%0A%0A%20%20%20%20Put%20your%20file%20in%20the%20course%20folder's%20%60my_data%2F%60%20folder%20(it%20is%20created%20below%20if%20it%20is%20not%20there)%2C%20then%20pick%20it.%20CSV%20and%20Excel%20files%20are%20read%20with%20**every%20column%20as%20text**%2C%20so%20no%20code%20loses%20a%20leading%20zero%3B%20you%20decide%20below%20which%20columns%20are%20numbers.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20PATHS.my_data.mkdir(exist_ok%3DTrue)%0A%20%20%20%20picker%20%3D%20mo.ui.file_browser(initial_path%3DPATHS.my_data%2C%20filetypes%3DREADABLE%2C%20multiple%3DFalse%2C%20label%3D%22Your%20file%2C%20in%20my_data%2F%3A%22)%0A%20%20%20%20picker%0A%20%20%20%20return%20(picker%2C)%0A%0A%0A%40app.function%0Adef%20read_file(path%3A%20Path)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22Read%20a%20file%20as%20it%20is%3A%20CSV%20and%20Excel%20as%20text%20(codes%20keep%20their%20zeros)%3B%20Stata%2C%20SPSS%20and%20Parquet%20with%20their%20own%20types.%22%22%22%0A%20%20%20%20suffix%20%3D%20path.suffix.lower()%0A%20%20%20%20if%20suffix%20%3D%3D%20%22.csv%22%3A%0A%20%20%20%20%20%20%20%20return%20pd.read_csv(path%2C%20dtype%3Dstr%2C%20keep_default_na%3DFalse%2C%20na_values%3D%5B%22%22%5D)%0A%20%20%20%20if%20suffix%20%3D%3D%20%22.xlsx%22%3A%0A%20%20%20%20%20%20%20%20return%20pd.read_excel(path%2C%20dtype%3Dstr)%0A%20%20%20%20if%20suffix%20%3D%3D%20%22.dta%22%3A%0A%20%20%20%20%20%20%20%20return%20pyreadstat.read_dta(path)%5B0%5D%0A%20%20%20%20if%20suffix%20%3D%3D%20%22.sav%22%3A%0A%20%20%20%20%20%20%20%20return%20pyreadstat.read_sav(path)%5B0%5D%0A%20%20%20%20if%20suffix%20%3D%3D%20%22.parquet%22%3A%0A%20%20%20%20%20%20%20%20return%20pd.read_parquet(path)%0A%20%20%20%20if%20suffix%20%3D%3D%20%22.json%22%3A%0A%20%20%20%20%20%20%20%20return%20pd.read_json(path%2C%20dtype%3DFalse)%0A%20%20%20%20raise%20ValueError(f%22%7Bpath.name%7D%3A%20this%20notebook%20reads%20%7B'%2C%20'.join(READABLE)%7D%20files%22)%0A%0A%0A%40app.function%0Adef%20profile(table%3A%20pd.DataFrame)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22One%20row%20per%20column%3A%20its%20type%2C%20how%20many%20values%20are%20missing%2C%20how%20many%20distinct%20values%2C%20and%20two%20examples.%22%22%22%0A%20%20%20%20return%20pd.DataFrame(%5B%7B%0A%20%20%20%20%20%20%20%20%22column%22%3A%20c%2C%0A%20%20%20%20%20%20%20%20%22type%22%3A%20str(table%5Bc%5D.dtype)%2C%0A%20%20%20%20%20%20%20%20%22missing%22%3A%20int(table%5Bc%5D.isna().sum())%2C%0A%20%20%20%20%20%20%20%20%22distinct%22%3A%20int(table%5Bc%5D.nunique())%2C%0A%20%20%20%20%20%20%20%20%22examples%22%3A%20%22%2C%20%22.join(map(str%2C%20table%5Bc%5D.dropna().unique()%5B%3A2%5D))%2C%0A%20%20%20%20%7D%20for%20c%20in%20table.columns%5D)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(picker)%3A%0A%20%20%20%20mo.stop(not%20picker.value%2C%20mo.callout(mo.md(%22Pick%20your%20file%20above.%20Not%20there%3F%20Copy%20it%20into%20%60my_data%2F%60%20in%20the%20course%20folder%2C%20then%20reopen%20the%20folder%20in%20the%20picker.%22)%2C%20kind%3D%22neutral%22))%0A%20%20%20%20raw%20%3D%20read_file(Path(picker.path(0)))%0A%20%20%20%20mo.vstack(%5Bmo.md(f%22**%7BPath(picker.path(0)).name%7D%3A%20%7Blen(raw)%3A%2C%7D%20rows%2C%20%7Braw.shape%5B1%5D%7D%20columns.**%20What%20each%20column%20holds%3A%22)%2C%20profile(raw)%2C%20mo.md(%22The%20first%20rows%2C%20exactly%20as%20read%3A%22)%2C%20raw.head(8)%5D)%0A%20%20%20%20return%20(raw%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Decide%20the%20types%0A%0A%20%20%20%20Everything%20from%20a%20CSV%20or%20Excel%20file%20is%20text%20so%20far.%20In%20the%20cell%20below%2C%20turn%20the%20columns%20that%20are%20**measures**%20(counts%2C%20amounts%2C%20ages%2C%20weights)%20into%20numbers%2C%20and%20leave%20**codes**%20(IDs%2C%20area%20codes%2C%20category%20codes)%20as%20text.%20The%20examples%20are%20commented%20out%3A%20uncomment%20and%20adapt%20them.%20%6010_get_round.py%60%2C%20section%201%2C%20is%20the%20same%20idea.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20prepare(raw%3A%20pd.DataFrame)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22Your%20group's%20data%20with%20the%20right%20types%3A%20measures%20as%20numbers%2C%20codes%20as%20text.%22%22%22%0A%20%20%20%20table%20%3D%20raw.copy()%0A%20%20%20%20%23%20Measures%20become%20numbers.%20errors%3D%22coerce%22%20turns%20anything%20that%20is%20not%20a%20number%20into%20missing%2C%20instead%20of%20failing%3A%0A%20%20%20%20%23%20table%5B%22amount%22%5D%20%3D%20pd.to_numeric(table%5B%22amount%22%5D%2C%20errors%3D%22coerce%22)%0A%20%20%20%20%23%20Codes%20stay%20text%3B%20remove%20spaces%20around%20them%2C%20and%20pad%20them%20back%20to%20their%20width%20if%20a%20program%20dropped%20the%20zeros%3A%0A%20%20%20%20%23%20table%5B%22area_code%22%5D%20%3D%20table%5B%22area_code%22%5D.str.strip().str.zfill(10)%0A%20%20%20%20return%20table%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(raw)%3A%0A%20%20%20%20group_data%20%3D%20prepare(raw)%0A%20%20%20%20_changed%20%3D%20%5Bc%20for%20c%20in%20group_data.columns%20if%20str(group_data%5Bc%5D.dtype)%20!%3D%20str(raw%5Bc%5D.dtype)%5D%0A%20%20%20%20mo.md(f%22**%60group_data%60**%3A%20%7Blen(group_data)%3A%2C%7D%20rows.%20Columns%20with%20a%20new%20type%3A%20%7B'%2C%20'.join(f'%60%7Bc%7D%60%20(%7Bgroup_data%5Bc%5D.dtype%7D)'%20for%20c%20in%20_changed)%20or%20'none%20yet'%7D.%22)%0A%20%20%20%20return%20(group_data%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%20%C2%B7%20Check%3A%20write%20the%20contract%0A%0A%20%20%20%20A%20contract%20says%20what%20a%20correct%20table%20looks%20like%20(%6020_check_round.py%60%2C%20section%202).%20Below%20is%20a%20**draft**%20written%20from%20your%20data%3A%20it%20describes%20what%20the%20data%20*is*%2C%20which%20is%20not%20yet%20what%20it%20*should%20be*.%20Copy%20it%20into%20the%20cell%20after%20it%2C%20then%20make%20each%20rule%20say%20what%20your%20group%20knows%20to%20be%20true%3A%20the%20real%20range%20of%20an%20amount%2C%20the%20codes%20a%20column%20may%20hold%2C%20the%20columns%20that%20may%20never%20be%20empty%2C%20the%20key%20that%20identifies%20a%20row.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20contract_draft(table%3A%20pd.DataFrame)%20-%3E%20str%3A%0A%20%20%20%20%22%22%22Python%20code%20for%20a%20pandera%20schema%20that%20describes%20the%20table%20as%20it%20is%3A%20a%20starting%20point%2C%20to%20be%20tightened%20by%20hand.%22%22%22%0A%20%20%20%20lines%20%3D%20%5B%22group_schema%20%3D%20pa.DataFrameSchema(%22%2C%20%22%20%20%20%20%7B%22%5D%0A%20%20%20%20for%20c%20in%20table.columns%3A%0A%20%20%20%20%20%20%20%20values%20%3D%20table%5Bc%5D.dropna()%0A%20%20%20%20%20%20%20%20nullable%20%3D%20%22%2C%20nullable%3DTrue%22%20if%20table%5Bc%5D.isna().any()%20else%20%22%22%0A%20%20%20%20%20%20%20%20if%20pd.api.types.is_bool_dtype(table%5Bc%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%2C%20check%20%3D%20%22bool%22%2C%20%22%22%0A%20%20%20%20%20%20%20%20elif%20pd.api.types.is_numeric_dtype(table%5Bc%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%20%3D%20%22int%22%20if%20pd.api.types.is_integer_dtype(table%5Bc%5D)%20else%20%22float%22%0A%20%20%20%20%20%20%20%20%20%20%20%20low%2C%20high%20%3D%20(values.min().item()%2C%20values.max().item())%20if%20len(values)%20else%20(None%2C%20None)%20%20%23%20.item()%3A%20a%20plain%20Python%20number%2C%20so%20the%20code%20pastes%0A%20%20%20%20%20%20%20%20%20%20%20%20check%20%3D%20f%22pa.Check.in_range(%7Blow!r%7D%2C%20%7Bhigh!r%7D)%22%20if%20len(values)%20else%20%22%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%20%3D%20%22str%22%0A%20%20%20%20%20%20%20%20%20%20%20%20lengths%20%3D%20values.astype(str).str.len()%0A%20%20%20%20%20%20%20%20%20%20%20%20distinct%20%3D%20sorted(values.astype(str).unique())%0A%20%20%20%20%20%20%20%20%20%20%20%20check%20%3D%20(f%22pa.Check.isin(%7Bdistinct!r%7D)%22%20if%200%20%3C%20len(distinct)%20%3C%3D%208%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22pa.Check.str_length(%7Blengths.min()%7D%2C%20%7Blengths.max()%7D)%22%20if%20len(values)%20else%20%22%22)%0A%20%20%20%20%20%20%20%20rule%20%3D%20f%22%2C%20%7Bcheck%7D%22%20if%20check%20else%20%22%22%0A%20%20%20%20%20%20%20%20lines.append(f%22%20%20%20%20%20%20%20%20%7Bc!r%7D%3A%20pa.Column(%7Bkind%7D%7Brule%7D%7Bnullable%7D)%2C%22)%0A%20%20%20%20lines%20%2B%3D%20%5B%22%20%20%20%20%7D%2C%22%2C%20%22%20%20%20%20%23%20unique%3D%5B%5C%22id_column%5C%22%5D%2C%20%20%23%20the%20column(s)%20that%20identify%20a%20row%2C%20if%20there%20are%20any%22%2C%20%22)%22%5D%0A%20%20%20%20return%20%22%5Cn%22.join(lines)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(group_data)%3A%0A%20%20%20%20mo.md(f%22%60%60%60python%5Cn%7Bcontract_draft(group_data)%7D%5Cn%60%60%60%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(group_data)%3A%0A%20%20%20%20%23%20Your%20group's%20contract.%20Paste%20the%20draft%20above%20here%20(replacing%20the%20line%20below)%2C%20then%20tighten%20each%20rule.%0A%20%20%20%20group_schema%20%3D%20pa.DataFrameSchema(%7Bc%3A%20pa.Column(nullable%3DTrue)%20for%20c%20in%20group_data.columns%7D)%0A%20%20%20%20return%20(group_schema%2C)%0A%0A%0A%40app.function%0Adef%20contract_failures(table%3A%20pd.DataFrame%2C%20schema%3A%20pa.DataFrameSchema)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22Every%20value%20that%20breaks%20the%20contract%20(an%20empty%20table%20when%20there%20is%20none).%22%22%22%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20schema.validate(table%2C%20lazy%3DTrue)%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(columns%3D%5B%22column%22%2C%20%22check%22%2C%20%22failure_case%22%2C%20%22index%22%5D)%0A%20%20%20%20except%20pa.errors.SchemaErrors%20as%20errors%3A%0A%20%20%20%20%20%20%20%20return%20errors.failure_cases%5B%5B%22column%22%2C%20%22check%22%2C%20%22failure_case%22%2C%20%22index%22%5D%5D%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(group_data%2C%20group_schema)%3A%0A%20%20%20%20raw_failures%20%3D%20contract_failures(group_data%2C%20group_schema)%0A%20%20%20%20_summary%20%3D%20raw_failures.groupby(%5B%22column%22%2C%20%22check%22%5D%2C%20dropna%3DFalse).size().rename(%22failures%22).reset_index().sort_values(%22failures%22%2C%20ascending%3DFalse)%0A%20%20%20%20mo.vstack(%5Bmo.md(f%22**%7Blen(raw_failures)%3A%2C%7D%20failure(s)**%20before%20cleaning.%22)%2C%20_summary%5D%20if%20len(raw_failures)%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bmo.callout(mo.md(%22**No%20failures.**%20Is%20the%20contract%20strict%20enough%3F%20A%20draft%20that%20only%20describes%20the%20data%20always%20passes%3A%20tighten%20a%20rule%20and%20see%20what%20it%20catches.%22)%2C%20kind%3D%22neutral%22)%5D)%0A%20%20%20%20return%20(raw_failures%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Clean%2C%20as%20code%0A%0A%20%20%20%20For%20each%20failure%2C%20decide%20with%20your%20group%3A%20is%20it%20**the%20data**%20(fix%20it%20here%2C%20and%20say%20why%20in%20a%20comment)%2C%20**the%20contract**%20(the%20rule%20was%20wrong%3A%20change%20it%20above)%2C%20or%20something%20to%20**report**%20(leave%20it%2C%20and%20write%20it%20in%20the%20note)%3F%20Then%20write%20the%20fixes%20in%20the%20cell%20below.%20%6020_check_round.py%60%2C%20sections%204%20and%205%2C%20are%20the%20patterns%3A%20replace%20a%20not-stated%20code%20with%20missing%2C%20drop%20exact%20duplicates%2C%20set%20invalid%20codes%20to%20missing.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20clean(table%3A%20pd.DataFrame)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22Your%20group's%20cleaning%20steps%2C%20each%20with%20a%20comment%20saying%20why.%22%22%22%0A%20%20%20%20table%20%3D%20table.copy()%0A%20%20%20%20%23%20table%20%3D%20table.drop_duplicates()%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20the%20same%20row%20twice%3A%20keep%20one%0A%20%20%20%20%23%20table%5B%22age%22%5D%20%3D%20table%5B%22age%22%5D.mask(table%5B%22age%22%5D%20%3D%3D%20999)%20%20%20%20%20%20%20%20%20%20%20%20%23%20999%20means%20%22not%20stated%22%3A%20make%20it%20missing%0A%20%20%20%20return%20table%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(group_data%2C%20group_schema)%3A%0A%20%20%20%20group_clean%20%3D%20clean(group_data)%0A%20%20%20%20clean_failures%20%3D%20contract_failures(group_clean%2C%20group_schema)%0A%20%20%20%20mo.callout(mo.md(f%22**After%20cleaning%3A**%20%7Blen(group_data)%3A%2C%7D%20rows%20in%2C%20%7Blen(group_clean)%3A%2C%7D%20rows%20out%3B%20**%7Blen(clean_failures)%3A%2C%7D%20failure(s)**%20left.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22%20Each%20one%20left%20is%20a%20decision%3A%20fix%20it%2C%20change%20the%20rule%2C%20or%20report%20it.%22%20if%20len(clean_failures)%20else%20%22%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20not%20len(clean_failures)%20else%20%22warn%22)%0A%20%20%20%20return%20clean_failures%2C%20group_clean%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%20%C2%B7%20Store%20or%20share%3A%20save%20it%2C%20and%20read%20it%20back%0A%0A%20%20%20%20Pick%20the%20form%20your%20clean%20table%20should%20take%2C%20and%20save%20it%20into%20%60my_data%2F%60.%20The%20notebook%20then%20reads%20the%20file%20back%20and%20compares%20it%20with%20what%20was%20written%3A%20%22it%20saved%22%20is%20not%20%22it%20is%20right%22%20(%6031_share_round.py%60%2C%20section%205).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20output_format%20%3D%20mo.ui.dropdown(options%3Dlist(SUFFIXES)%2C%20value%3D%22Parquet%22%2C%20label%3D%22Save%20as%3A%22)%0A%20%20%20%20output_name%20%3D%20mo.ui.text(value%3D%22clean%22%2C%20label%3D%22File%20name%3A%22)%0A%20%20%20%20save_output%20%3D%20mo.ui.run_button(label%3D%22Save%20and%20read%20back%22)%0A%20%20%20%20mo.hstack(%5Boutput_format%2C%20output_name%2C%20save_output%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20output_format%2C%20output_name%2C%20save_output%0A%0A%0A%40app.function%0Adef%20output_path(fmt%3A%20str%2C%20name%3A%20str)%20-%3E%20Path%3A%0A%20%20%20%20%22%22%22Where%20section%204%20saves%20the%20clean%20table.%22%22%22%0A%20%20%20%20return%20PATHS.my_data%20%2F%20f%22%7Bcourse.group_slug(name)%20or%20'clean'%7D.%7BSUFFIXES%5Bfmt%5D%7D%22%0A%0A%0A%40app.function%0Adef%20write_and_read_back(table%3A%20pd.DataFrame%2C%20fmt%3A%20str%2C%20name%3A%20str)%20-%3E%20tuple%5BPath%2C%20pd.DataFrame%5D%3A%0A%20%20%20%20%22%22%22Save%20the%20table%20in%20my_data%2F%20in%20one%20format%2C%20and%20read%20it%20back%20from%20the%20file.%22%22%22%0A%20%20%20%20PATHS.my_data.mkdir(exist_ok%3DTrue)%0A%20%20%20%20path%20%3D%20output_path(fmt%2C%20name)%0A%20%20%20%20if%20fmt%20%3D%3D%20%22Parquet%22%3A%0A%20%20%20%20%20%20%20%20table.to_parquet(path%2C%20index%3DFalse)%0A%20%20%20%20%20%20%20%20return%20path%2C%20pd.read_parquet(path)%0A%20%20%20%20if%20fmt%20%3D%3D%20%22CSV%22%3A%0A%20%20%20%20%20%20%20%20table.to_csv(path%2C%20index%3DFalse)%0A%20%20%20%20%20%20%20%20return%20path%2C%20pd.read_csv(path%2C%20dtype%3D%7Bc%3A%20str%20for%20c%20in%20table.columns%20if%20not%20pd.api.types.is_numeric_dtype(table%5Bc%5D)%7D)%0A%20%20%20%20if%20fmt%20%3D%3D%20%22SQLite%22%3A%0A%20%20%20%20%20%20%20%20with%20closing(sqlite3.connect(path))%20as%20con%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20table.to_sql(%22clean%22%2C%20con%2C%20index%3DFalse%2C%20if_exists%3D%22replace%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20path%2C%20pd.read_sql_query(%22SELECT%20*%20FROM%20clean%22%2C%20con)%0A%20%20%20%20with%20duckdb.connect(str(path))%20as%20con%3A%0A%20%20%20%20%20%20%20%20con.register(%22clean_rows%22%2C%20table)%0A%20%20%20%20%20%20%20%20con.execute(%22CREATE%20OR%20REPLACE%20TABLE%20clean%20AS%20SELECT%20*%20FROM%20clean_rows%22)%0A%20%20%20%20%20%20%20%20return%20path%2C%20con.execute(%22SELECT%20*%20FROM%20clean%22).df()%0A%0A%0A%40app.function%0Adef%20read_back_report(written%3A%20pd.DataFrame%2C%20back%3A%20pd.DataFrame)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22What%20survived%20the%20round%20trip%3A%20rows%2C%20columns%2C%20and%20each%20column's%20missing%20values%20and%20type.%22%22%22%0A%20%20%20%20rows%20%3D%20%5B%7B%22check%22%3A%20%22rows%22%2C%20%22written%22%3A%20len(written)%2C%20%22read%20back%22%3A%20len(back)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22check%22%3A%20%22columns%22%2C%20%22written%22%3A%20%22%2C%20%22.join(written.columns)%2C%20%22read%20back%22%3A%20%22%2C%20%22.join(back.columns)%7D%5D%0A%20%20%20%20rows%20%2B%3D%20%5B%7B%22check%22%3A%20f%22%7Bc%7D%3A%20missing%20%2F%20type%22%2C%20%22written%22%3A%20f%22%7Bint(written%5Bc%5D.isna().sum())%7D%20%2F%20%7Bwritten%5Bc%5D.dtype%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22read%20back%22%3A%20f%22%7Bint(back%5Bc%5D.isna().sum())%7D%20%2F%20%7Bback%5Bc%5D.dtype%7D%22%20if%20c%20in%20back%20else%20%22(gone)%22%7D%20for%20c%20in%20written.columns%5D%0A%20%20%20%20report%20%3D%20pd.DataFrame(rows).astype(str)%0A%20%20%20%20return%20report.assign(same%3Dreport%5B%22written%22%5D%20%3D%3D%20report%5B%22read%20back%22%5D)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(group_clean%2C%20output_format%2C%20output_name%2C%20save_output)%3A%0A%20%20%20%20mo.stop(not%20save_output.value)%0A%20%20%20%20group_output%2C%20_back%20%3D%20write_and_read_back(group_clean%2C%20output_format.value%2C%20output_name.value)%0A%20%20%20%20_report%20%3D%20read_back_report(group_clean%2C%20_back)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22Saved%20%60%7Bgroup_output.relative_to(PATHS.root).as_posix()%7D%60.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22Everything%20came%20back%20as%20it%20was%20written.%22%20if%20_report%5B%22same%22%5D.all()%20else%20f%22**%7Bint((~_report%5B'same'%5D).sum())%7D%20line(s)%20differ%3A**%20what%20did%20this%20format%20change%2C%20and%20does%20it%20matter%3F%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20_report%5B%22same%22%5D.all()%20else%20%22warn%22)%2C%0A%20%20%20%20%20%20%20%20_report%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Going%20further%2C%20if%20there%20is%20time%3A**%20serve%20a%20SQLite%20file%20in%20Datasette%20(%60uv%20run%20datasette%20serve%20my_data%2Fclean.sqlite%60%2C%20as%20in%20%6032_datasette.py%60)%3B%20suppress%20small%20cells%20before%20sharing%20a%20summary%20(%6031_share_round.py%60%2C%20section%203)%3B%20or%20generate%20a%20codebook%20from%20your%20contract%20(%6031_share_round.py%60%2C%20section%204).%0A%0A%20%20%20%20%23%23%205%20%C2%B7%20Where%20your%20group%20is%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20project_status(group%3A%20str%2C%20group_data%3A%20pd.DataFrame%2C%20raw_failures%3A%20pd.DataFrame%2C%20clean_failures%3A%20pd.DataFrame%2C%20output%3A%20Path)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22The%20checklist%3A%20each%20stage%2C%20from%20the%20results%20the%20notebook%20has%20so%20far%20and%20the%20files%20in%20my_data%2F.%22%22%22%0A%20%20%20%20rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Get%3A%20the%20file%20is%20read%22%2C%20True%2C%20f%22%7Blen(group_data)%3A%2C%7D%20rows%2C%20%7Bgroup_data.shape%5B1%5D%7D%20columns%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20(%22Check%3A%20the%20contract%20caught%20something%22%2C%20len(raw_failures)%20%3E%200%2C%20f%22%7Blen(raw_failures)%3A%2C%7D%20failure(s)%20before%20cleaning%22%2C%0A%20%20%20%20%20%20%20%20%20%22Section%203%3A%20tighten%20a%20rule%20until%20it%20says%20what%20the%20data%20should%20be.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Clean%3A%20what%20is%20left%20is%20decided%22%2C%20len(clean_failures)%20%3D%3D%200%2C%20f%22%7Blen(clean_failures)%3A%2C%7D%20failure(s)%20left%22%2C%0A%20%20%20%20%20%20%20%20%20%22Section%203%3A%20fix%2C%20change%20the%20rule%2C%20or%20report%20each%20one%20in%20the%20note.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Store%20or%20share%3A%20saved%20and%20read%20back%22%2C%20output.exists()%2C%20output.relative_to(PATHS.root).as_posix()%20if%20output.exists()%20else%20%22%22%2C%20%22Section%204.%22)%2C%0A%20%20%20%20%20%20%20%20(%22The%20group's%20note%20saved%22%2C%20bool(course.group_slug(group))%20and%20course.note_path(group).exists()%2C%20%22%22%2C%20%22Section%206.%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20return%20pd.DataFrame(%5B%7B%22step%22%3A%20s%2C%20%22done%22%3A%20%22yes%22%20if%20done%20else%20%22not%20yet%22%2C%20%22detail%22%3A%20detail%2C%20%22next%22%3A%20%22%22%20if%20done%20else%20nxt%7D%20for%20s%2C%20done%2C%20detail%2C%20nxt%20in%20rows%5D)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20refresh_status%20%3D%20mo.ui.button(label%3D%22Refresh%20the%20checklist%22%2C%20value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201)%0A%20%20%20%20refresh_status%0A%20%20%20%20return%20(refresh_status%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20clean_failures%2C%0A%20%20%20%20group_data%2C%0A%20%20%20%20group_name%2C%0A%20%20%20%20output_format%2C%0A%20%20%20%20output_name%2C%0A%20%20%20%20raw_failures%2C%0A%20%20%20%20refresh_status%2C%0A)%3A%0A%20%20%20%20refresh_status.value%20%20%23%20pressing%20Refresh%20runs%20this%20cell%20again%0A%20%20%20%20project_status(group_name.value%2C%20group_data%2C%20raw_failures%2C%20clean_failures%2C%20output_path(output_format.value%2C%20output_name.value))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20step%20that%20stays%20*not%20yet*%20is%20not%20a%20failure%3A%20an%20hour%20is%20short%2C%20and%20*%22our%20contract%20caught%2040%20rows%20and%20we%20could%20not%20decide%20about%2012%20of%20them%22*%20is%20a%20good%20result%20to%20present.%20Say%20it%20in%20the%20note.%0A%0A%20%20%20%20%23%23%206%20%C2%B7%20The%20group's%20note%0A%0A%20%20%20%20The%20note%20is%20saved%20as%20%60notes%2F%3Cgroup%3E.md%60%2C%20a%20text%20file%20you%20can%20open%2C%20print%20or%20send.%20One%20person%20saves%20it%3B%20it%20is%20also%20your%20script%20at%2015%3A45.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(group_name)%3A%0A%20%20%20%20note_form%20%3D%20course.note_form(group_name.value%2C%20made%3D%22my_data%2F%22)%0A%20%20%20%20save_button%20%3D%20mo.ui.run_button(label%3D%22Save%20the%20group's%20note%22)%0A%20%20%20%20mo.vstack(%5Bnote_form%2C%20save_button%5D)%0A%20%20%20%20return%20note_form%2C%20save_button%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(group_name%2C%20note_form%2C%20save_button)%3A%0A%20%20%20%20mo.stop(not%20save_button.value)%0A%20%20%20%20course.save_note(group_name.value%2C%20THIS%2C%20note_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20course.presentation_card()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20course.what_you_built()%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A
ba3f3496e643441d38ab7b89fac5e252