%23%20%2F%2F%2F%20script%0A%23%20%5Btool.marimo-studio%5D%0A%23%20default%20%3D%20%22release-report%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Share%3A%20the%20release%22)%0A%0Awith%20app.setup%3A%0A%20%20%20%20%23%20The%20setup%20cell%20runs%20first.%20It%20holds%20the%20imports%20and%20settings%20every%20other%20cell%20(and%20run.py)%20uses.%0A%20%20%20%20import%20importlib%0A%20%20%20%20import%20json%0A%20%20%20%20import%20sqlite3%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20contextlib%20import%20closing%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20pandera.pandas%20as%20pa%0A%0A%20%20%20%20import%20course%20%20%23%20this%20course's%20helpers%3A%20file%20locations%20and%20exercise%20checks%0A%20%20%20%20import%20explain%20%20%23%20the%20explainers'%20drawings%2C%20shared%20with%20the%20primers%20(90_primers.py)%0A%20%20%20%20from%20course%20import%20NOT_YET%2C%20PATHS%2C%20attempt%2C%20check_cases%2C%20look%2C%20waiting_for%0A%0A%20%20%20%20ROUND_ID%20%3D%20%222024Q2%22%20%20%23%20the%20round%20to%20release%0A%20%20%20%20THRESHOLD%20%3D%2030%20%20%23%20cells%20built%20from%20fewer%20respondents%20than%20this%20are%20not%20published%0A%20%20%20%20AGE_GROUPS%20%3D%20%5B(0%2C%2014%2C%20%220-14%22)%2C%20(15%2C%2024%2C%20%2215-24%22)%2C%20(25%2C%2044%2C%20%2225-44%22)%2C%20(45%2C%2064%2C%20%2245-64%22)%2C%20(65%2C%20200%2C%20%2265%2B%22)%5D%0A%20%20%20%20%23%20The%20release's%20contract%3A%20each%20column's%20type%2C%20rules%20and%20meaning.%20It%20checks%20the%20table%20before%20any%20file%20is%20written%2C%0A%20%20%20%20%23%20and%20the%20codebook%20and%20the%20CSV's%20schema%20file%20are%20generated%20from%20it%2C%20so%20the%20documentation%20cannot%20disagree%20with%20the%20data.%0A%20%20%20%20RELEASE_SCHEMA%20%3D%20pa.DataFrameSchema(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22province%22%3A%20pa.Column(str%2C%20pa.Check.str_matches(r%22%5E%5Cd%7B5%7D00000%24%7C%5Eunknown%24%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20description%3D%22Province%20code%20(10%20characters%2C%20from%20the%20code%20list%20edition%20the%20round%20was%20configured%20with)%3B%20'unknown'%20for%20people%20whose%20area%20code%20is%20in%20no%20code%20list%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sex%22%3A%20pa.Column(str%2C%20pa.Check.isin(%5B%22Female%22%2C%20%22Male%22%2C%20%22Not%20stated%22%5D)%2C%20description%3D%22Sex%2C%20from%20the%20questionnaire%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22age_group%22%3A%20pa.Column(str%2C%20pa.Check.isin(%5Blabel%20for%20_%2C%20_%2C%20label%20in%20AGE_GROUPS%5D%20%2B%20%5B%22Not%20stated%22%5D)%2C%20description%3D%22Age%20group%2C%20in%20completed%20years%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weighted_persons%22%3A%20pa.Column(float%2C%20pa.Check.ge(0)%2C%20nullable%3DTrue%2C%20description%3D%22Estimated%20number%20of%20persons%3A%20the%20sum%20of%20the%20survey%20weights%2C%20rounded%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22suppressed%22%3A%20pa.Column(bool%2C%20description%3Df%22True%20when%20the%20cell%20is%20built%20from%20fewer%20than%20%7BTHRESHOLD%7D%20respondents%3B%20its%20weighted_persons%20is%20then%20empty%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20checks%3Dpa.Check(lambda%20t%3A%20t%5B%22weighted_persons%22%5D.isna()%20%3D%3D%20t%5B%22suppressed%22%5D%2C%20name%3D%22weighted_persons%20is%20empty%20exactly%20where%20suppressed%22)%2C%0A%20%20%20%20%20%20%20%20unique%3D%5B%22province%22%2C%20%22sex%22%2C%20%22age_group%22%5D%2C%0A%20%20%20%20%20%20%20%20strict%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20%23%20pandera's%20type%20names%2C%20in%20words%20a%20reader%20of%20the%20codebook%20knows%0A%20%20%20%20TYPE_NAMES%20%3D%20%7B%22str%22%3A%20%22text%22%2C%20%22string%5Bpyarrow%5D%22%3A%20%22text%22%2C%20%22float64%22%3A%20%22number%22%2C%20%22int64%22%3A%20%22whole%20number%22%2C%20%22bool%22%3A%20%22true%20or%20false%22%7D%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Share%3A%20the%20release%0A%0A%20%20%20%20**Where%20you%20are%3A**%20Get%20%E2%86%92%20Check%20%E2%86%92%20Store%20%E2%86%92%20**Share**.%20The%20rounds%20are%20clean%20and%20stored.%20Now%20you%20make%20what%20other%20people%20will%20use%3A%20a%20**release**%2C%20a%20folder%20of%20files%20built%20from%20the%20database%20by%20code%2C%20the%20same%20way%20every%20round.%0A%0A%20%20%20%20You%20will%3A%0A%0A%20%20%20%201.%20decide%20what%20each%20audience%20gets%3B%0A%20%20%20%202.%20build%20the%20release%20table%3A%20people%20by%20province%2C%20sex%20and%20age%20group%3B%0A%20%20%20%203.%20hide%20the%20cells%20that%20would%20reveal%20too%20much%3A%20**small-cell%20suppression**%3B%0A%20%20%20%204.%20generate%20the%20**codebook**%20from%20the%20contract%2C%20once%20more%20the%20single%20source%3B%0A%20%20%20%205.%20write%20the%20files%2C%20and%20**check%20every%20one%20of%20them**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20course.quizzes_at(%226.0%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20What%20each%20audience%20gets%0A%0A%20%20%20%20%7C%20audience%20%7C%20format%20%7C%20why%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20analysts%20who%20will%20read%20it%20again%20and%20again%20%7C%20**Parquet**%20%7C%20fast%2C%20compact%2C%20keeps%20every%20column's%20type%3A%20a%20code%20stays%20text%20%7C%0A%20%20%20%20%7C%20everyone%2C%20in%20any%20program%20%7C%20**CSV**%2C%20with%20a%20**schema%20file**%20%7C%20opens%20anywhere%3B%20the%20%60.schema.json%60%20beside%20it%20says%20each%20column's%20type%20and%20meaning%2C%20since%20a%20CSV%20cannot%20%7C%0A%20%20%20%20%7C%20a%20data%20portal%20(%6032_datasette.py%60)%20%7C%20**SQLite**%20%7C%20one%20file%20that%20is%20a%20whole%20database%3A%20tables%2C%20types%2C%20and%20queries%20%7C%0A%20%20%20%20%7C%20anyone%20reading%20the%20numbers%20%7C%20the%20**codebook**%20%7C%20what%20each%20column%20means%2C%20which%20values%20it%20can%20take%2C%20and%20the%20rules%20it%20meets%20%7C%0A%0A%20%20%20%20Every%20file%20is%20written%20from%20the%20same%20table%2C%20by%20code.%20Nobody%20retypes%20a%20number%2C%20and%20the%20next%20round's%20release%20is%20one%20command.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%20%C2%B7%20The%20release%20table%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2030%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20to%20build%20a%20published%20table%20from%20stored%20microdata%2C%20with%20grouping%20(primer%20%5B%C2%A75%5D(%2F%3Ffile%3D90_primers.py))%20and%20a%20weighted%20total.%0A%20%20%20%20-%20**You%20build%3A**%20%60age_group%60%20and%20%60release_table%60.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20load_stored(round_id%3A%20str)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22A%20round's%20clean%20rows%20from%20the%20course%20database.%22%22%22%0A%20%20%20%20with%20course.database(read_only%3DTrue)%20as%20con%3A%0A%20%20%20%20%20%20%20%20return%20con.execute(%22SELECT%20*%20FROM%20persons%20WHERE%20round%20%3D%20%3F%22%2C%20%5Bround_id%5D).df()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%202.1.%20Age%20groups%0A%0A%20%20%20%20**Why%20it%20matters%3A**%20a%20release%20groups%20ages%20into%20bands%3A%20single%20years%20would%20make%20too%20many%20small%20cells.%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20an%20age%20(a%20number%2C%20or%20missing)%20%E2%86%92%20its%20group's%20label%2C%20or%20%60None%60%20when%20the%20age%20is%20missing.%0A%0A%20%20%20%20%7C%20age%20%7C%20group%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%200%20to%2014%20%7C%20%60%220-14%22%60%20%7C%0A%20%20%20%20%7C%2015%20to%2024%20%7C%20%60%2215-24%22%60%20%7C%0A%20%20%20%20%7C%2025%20to%2044%20%7C%20%60%2225-44%22%60%20%7C%0A%20%20%20%20%7C%2045%20to%2064%20%7C%20%60%2245-64%22%60%20%7C%0A%20%20%20%20%7C%2065%20and%20over%20%7C%20%60%2265%2B%22%60%20%7C%0A%0A%20%20%20%20%60AGE_GROUPS%60%20(in%20the%20setup%20cell)%20lists%20them%20as%20%60(lowest%2C%20highest%2C%20label)%60%3A%20loop%20over%20it%20and%20return%20the%20label%20whose%20range%20holds%20the%20age.%20Check%20for%20a%20missing%20age%20first%20(%60pd.isna(age)%60).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20age_group(age)%20-%3E%20str%20%7C%20None%3A%0A%20%20%20%20%22%22%22The%20age%20group%20label%20for%20an%20age%2C%20or%20None%20when%20the%20age%20is%20missing.%22%22%22%0A%20%20%20%20%23%20Exercise%202.1%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20%23%20Step%201%3A%20a%20missing%20age%20gives%20None%0A%20%20%20%20%23%20Step%202%3A%20for%20lowest%2C%20highest%2C%20label%20in%20AGE_GROUPS%3A%20if%20the%20age%20is%20between%20them%20(both%20included)%2C%20return%20the%20label%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%202.1%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20check_cases(%22Exercise%202.1%22%2C%20age_group%2C%20%5B(f%22age_group(%7Ba!r%7D)%22%2C%20(a%2C))%20for%20a%20in%20%5B0%2C%2014%2C%2015%2C%2024.0%2C%2025%2C%2044%2C%2045%2C%2064%2C%2065%2C%2089%2C%20None%2C%20float(%22nan%22)%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20what%3D%22ages%22%2C%20hint%3D%22Both%20ends%20of%20a%20band%20are%20included%3A%2014%20is%20in%200-14%2C%2015%20in%2015-24.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%0A%20%20%20%20course.try_it(age_group%2C%2064)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%202.1%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%2014%20or%2015%20in%20the%20wrong%20band%20%7C%20%60%3C%60%20instead%20of%20%60%3C%3D%60%20at%20one%20end.%20%7C%20both%20ends%20included%20%7C%0A%20%20%20%20%7C%20An%20error%20for%20a%20missing%20age%20%7C%20%60NaN%60%20reached%20the%20comparison.%20%7C%20check%20%60pd.isna(age)%60%20first%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%202.2.%20People%20by%20province%2C%20sex%20and%20age%20group%0A%0A%20%20%20%20**Why%20it%20matters%3A**%20this%20is%20the%20table%20the%20release%20is%20about.%20Built%20by%20code%20from%20the%20stored%20round%2C%20it%20is%20the%20same%20table%20every%20quarter.%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20a%20round's%20stored%20rows%20%E2%86%92%20one%20row%20per%20province%2C%20sex%20and%20age%20group%2C%20with%20%60respondents%60%20(how%20many%20people%20answered%3A%20rows)%20and%20%60weighted_persons%60%20(the%20sum%20of%20their%20weights%2C%20rounded%20to%20a%20whole%20number).%0A%0A%20%20%20%20Prepare%20three%20columns%2C%20then%20group%3A%0A%0A%20%20%20%20-%20%60province%60%3A%20the%20first%20five%20characters%20of%20%60area_code%60%2C%20then%20%60%2200000%22%60%3B%20where%20%60area_code%60%20is%20empty%20(an%20unknown%20area)%2C%20%60%22unknown%22%60%3B%0A%20%20%20%20-%20%60sex%60%3A%20%60sex_label%60%2C%20with%20missing%20values%20as%20%60%22Not%20stated%22%60%3B%0A%20%20%20%20-%20%60age_group%60%3A%20%60age%60%20through%20your%20%60age_group%60%20(%60.map(age_group)%60)%2C%20with%20missing%20values%20as%20%60%22Not%20stated%22%60%3B%0A%20%20%20%20-%20group%3A%20%60.groupby(%5B%22province%22%2C%20%22sex%22%2C%20%22age_group%22%5D).agg(respondents%3D(%22hhid%22%2C%20%22size%22)%2C%20weighted_persons%3D(%22weight%22%2C%20%22sum%22))%60%2C%20then%20%60.reset_index()%60%2C%20and%20round%20%60weighted_persons%60%20with%20%60.round()%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20release_table(rows%3A%20pd.DataFrame)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22People%20by%20province%2C%20sex%20and%20age%20group%3A%20respondents%20and%20weighted%20persons.%22%22%22%0A%20%20%20%20%23%20Exercise%202.2%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20%23%20Step%201%3A%20add%20the%20columns%20province%2C%20sex%20and%20age_group%20as%20described%20(with%20%22unknown%22%20%2F%20%22Not%20stated%22%20for%20missing)%0A%20%20%20%20%23%20Step%202%3A%20group%20by%20the%20three%2C%20counting%20respondents%20and%20adding%20weights%3B%20reset%20the%20index%3B%20round%20the%20weighted%20persons%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%202.2%22)%0A%0A%0A%40app.function%0Adef%20release_fixture()%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22Six%20stored%20rows%2C%20for%20the%20checks.%22%22%22%0A%20%20%20%20return%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22hhid%22%3A%20%5B%22H1%22%2C%20%22H1%22%2C%20%22H2%22%2C%20%22H3%22%2C%20%22H4%22%2C%20%22H5%22%5D%2C%0A%20%20%20%20%20%20%20%20%22area_code%22%3A%20%5B%220100105000%22%2C%20%220100105000%22%2C%20%220100204000%22%2C%20None%2C%20%220100105000%22%2C%20%220600303000%22%5D%2C%0A%20%20%20%20%20%20%20%20%22sex_label%22%3A%20%5B%22Male%22%2C%20%22Female%22%2C%20%22Male%22%2C%20%22Female%22%2C%20None%2C%20%22Male%22%5D%2C%0A%20%20%20%20%20%20%20%20%22age%22%3A%20%5B34.0%2C%2030.0%2C%2070.0%2C%2012.0%2C%2040.0%2C%20None%5D%2C%0A%20%20%20%20%20%20%20%20%22weight%22%3A%20%5B500.4%2C%20450.2%2C%20610.0%2C%20380.0%2C%20520.0%2C%20300.0%5D%2C%0A%20%20%20%20%7D)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20check_cases(%22Exercise%202.2%22%2C%20release_table%2C%20%5B(%22six%20people%2C%20with%20an%20unknown%20area%2C%20a%20missing%20sex%20and%20a%20missing%20age%22%2C%20(release_fixture()%2C))%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20what%3D%22tables%22%2C%20summarize%3Dlambda%20t%3A%20t%5B%5B%22province%22%2C%20%22sex%22%2C%20%22age_group%22%2C%20%22respondents%22%2C%20%22weighted_persons%22%5D%5D.astype(str).values.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hint%3D%22Six%20people%20in%2C%20six%20respondents%20out%20in%20total%3B%20the%20unknown%20area%2C%20the%20missing%20sex%20and%20the%20missing%20age%20each%20have%20their%20own%20label.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%3A%20six%20people.%0A%20%20%20%20course.try_it(release_table%2C%20release_fixture())%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%202.2%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20Fewer%20than%20six%20respondents%20in%20total%20%7C%20Rows%20with%20a%20missing%20province%2C%20sex%20or%20age%20were%20dropped%3A%20%60groupby%60%20leaves%20out%20missing%20keys.%20%7C%20fill%20them%20with%20%60%22unknown%22%60%20%2F%20%60%22Not%20stated%22%60%20first%20%7C%0A%20%20%20%20%7C%20Provinces%20like%20%6001001%60%20%7C%20The%20%60%2200000%22%60%20was%20not%20added.%20%7C%20%60area_code.str%5B%3A5%5D%20%2B%20%2200000%22%60%20%7C%0A%20%20%20%20%7C%20Decimals%20in%20%60weighted_persons%60%20%7C%20Not%20rounded.%20%7C%20%60.round()%60%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20round_control()%3A%0A%20%20%20%20round_choice%20%3D%20mo.ui.dropdown(options%3D%5B%222023Q4%22%2C%20%222024Q1%22%2C%20%222024Q2%22%5D%2C%20value%3DROUND_ID%2C%20label%3D%22Round%20to%20release%3A%22)%0A%20%20%20%20round_choice%0A%20%20%20%20return%20(round_choice%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(round_choice)%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20stored%20%3D%20load_stored(round_choice.value)%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20stored%20%3D%20NOT_YET%0A%20%20%20%20mo.stop(stored%20is%20NOT_YET%20or%20len(stored)%20%3D%3D%200%2C%20mo.callout(mo.md(f%22Round%20%7Bround_choice.value%7D%20is%20not%20stored%20yet%3A%20%60uv%20run%20python%20run.py%20--round%20%7Bround_choice.value%7D%60.%22)%2C%20kind%3D%22neutral%22))%0A%20%20%20%20full_table%20%3D%20attempt(release_table%2C%20stored)%0A%20%20%20%20mo.stop(full_table%20is%20NOT_YET%2C%20waiting_for(%22Exercises%202.1%20and%202.2%22))%0A%20%20%20%20mo.vstack(%5Bmo.md(f%22**Round%20%7Bround_choice.value%7D%3A%20%7Blen(full_table)%7D%20cells**%2C%20%7Bint(full_table%5B'respondents'%5D.sum())%3A%2C%7D%20respondents.%20The%20cells%20with%20the%20fewest%20respondents%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_table.sort_values(%22respondents%22).head(12)%5D)%0A%20%20%20%20return%20(full_table%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%20%C2%B7%20Small-cell%20suppression%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2025%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20why%20a%20cell%20built%20from%20few%20people%20must%20not%20be%20published%2C%20and%20how%20a%20hidden%20cell%20can%20leak%20through%20a%20total.%0A%20%20%20%20-%20**You%20build%3A**%20%60suppress%60.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20cell%20built%20from%20very%20few%20respondents%20does%20two%20kinds%20of%20harm.%20It%20can%20**identify**%20people%3A%20if%20a%20province%20has%20two%20women%20aged%2065%20and%20over%20in%20the%20sample%2C%20a%20published%20figure%20is%20about%20them.%20And%20it%20is%20**unreliable**%3A%20an%20estimate%20from%20a%20handful%20of%20answers%20swings%20wildly%20from%20round%20to%20round.%20So%20a%20statistical%20office%20publishes%20only%20cells%20built%20from%20at%20least%20a%20minimum%20number%20of%20respondents%20(in%20this%20course%2C%20**30**)%2C%20and%20marks%20the%20others%20as%20**suppressed**.%0A%0A%20%20%20%20%23%23%23%23%20Concept%3A%20suppression%2C%20and%20how%20a%20hidden%20cell%20can%20leak%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20card_threshold%20%3D%20mo.ui.slider(5%2C%20120%2C%20step%3D5%2C%20value%3DTHRESHOLD%2C%20label%3D%22threshold%20(respondents)%3A%22%2C%20show_value%3DTrue)%0A%20%20%20%20card_complementary%20%3D%20mo.ui.checkbox(label%3D%22complementary%20suppression%22%2C%20value%3DFalse)%0A%20%20%20%20mo.hstack(%5Bcard_threshold%2C%20card_complementary%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20card_complementary%2C%20card_threshold%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(card_complementary%2C%20card_threshold)%3A%0A%20%20%20%20explain.suppression_demo(card_threshold.value%2C%20card_complementary.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20More%3A%20%5Bprimer%2015%2C%20Small-cell%20suppression%5D(%2F%3Ffile%3D90_primers.py).%20Complementary%20suppression%20is%20stretch%20exercise%20S3.1.%0A%0A%20%20%20%20%23%23%23%20Exercise%203.1.%20Suppress%20small%20cells%0A%0A%20%20%20%20**Why%20it%20matters%3A**%20this%20is%20the%20step%20that%20makes%20the%20release%20safe%20to%20publish.%20It%20runs%20on%20every%20release%2C%20by%20code%2C%20so%20no%20small%20cell%20slips%20through%20by%20hand.%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20the%20release%20table%20and%20a%20threshold%20%E2%86%92%20the%20table%20ready%20to%20publish%3A%20a%20column%20%60suppressed%60%20(%60True%60%20where%20%60respondents%60%20is%20below%20the%20threshold)%2C%20%60weighted_persons%60%20empty%20where%20suppressed%2C%20and%20**no**%20%60respondents%60%20column%20(the%20number%20of%20respondents%20in%20a%20cell%20is%20not%20published).%0A%0A%20%20%20%20Tools%3A%20a%20condition%20(primer%20%5B%C2%A72%5D(%2F%3Ffile%3D90_primers.py))%2C%20%60.where(condition)%60%20(keeps%20values%20where%20the%20condition%20is%20%60True%60%2C%20empty%20elsewhere)%2C%20and%20%60.drop(columns%3D...)%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20suppress(table%3A%20pd.DataFrame%2C%20threshold%3A%20int)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22The%20table%20ready%20to%20publish%3A%20small%20cells%20hidden%20and%20marked%2C%20respondents%20removed.%22%22%22%0A%20%20%20%20%23%20Exercise%203.1%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20%23%20Step%201%3A%20small%20%3D%20table%5B%22respondents%22%5D%20%3C%20threshold%0A%20%20%20%20%23%20Step%202%3A%20weighted_persons%20kept%20only%20where%20not%20small%3B%20a%20column%20suppressed%20%3D%20small%3B%20drop%20respondents%3B%20return%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%203.1%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_table%20%3D%20explain.SUPPRESSION_TABLE%0A%20%20%20%20check_cases(%22Exercise%203.1%22%2C%20suppress%2C%20%5B(%22six%20cells%2C%20threshold%2030%22%2C%20(_table%2C%2030))%2C%20(%22six%20cells%2C%20threshold%20100%22%2C%20(_table%2C%20100))%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20what%3D%22tables%22%2C%20summarize%3Dlambda%20t%3A%20(list(t.columns)%2C%20t.astype(object).where(t.notna()%2C%20None).values.tolist())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hint%3D%22At%2030%2C%20two%20cells%20are%20hidden%3B%20at%20100%2C%20four.%20The%20respondents%20column%20must%20be%20gone.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%3A%20the%20six%20cells%20of%20the%20explainer%2C%20threshold%2030.%0A%20%20%20%20course.try_it(suppress%2C%20explain.SUPPRESSION_TABLE%2C%2030)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%203.1%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20%60respondents%60%20is%20still%20there%20%7C%20It%20was%20not%20dropped.%20%7C%20%60.drop(columns%3D%22respondents%22)%60%20%7C%0A%20%20%20%20%7C%20Small%20cells%20show%20a%200%20instead%20of%20nothing%20%7C%20A%20zero%20is%20a%20number%3A%20it%20says%20%22no%20one%22%2C%20which%20is%20false.%20%7C%20%60.where(~small)%60%20leaves%20them%20empty%20%7C%0A%20%20%20%20%7C%20The%20cell%20with%20exactly%2030%20is%20hidden%20%7C%20%60%3C%3D%60%20instead%20of%20%60%3C%60.%20%7C%20below%20the%20threshold%20only%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20suppressed_cells(full_table)%3A%0A%20%20%20%20published%20%3D%20attempt(suppress%2C%20full_table%2C%20THRESHOLD)%0A%20%20%20%20mo.stop(published%20is%20NOT_YET%2C%20waiting_for(%22Exercise%203.1%22))%0A%20%20%20%20_hidden%20%3D%20published%5Bpublished%5B%22suppressed%22%5D%5D%0A%20%20%20%20mo.vstack(%5Bmo.md(f%22**%7Blen(_hidden)%7D%20of%20%7Blen(published)%7D%20cells%20are%20suppressed**%20at%20%7BTHRESHOLD%7D%20respondents%2C%20in%20province(s)%20%7B'%2C%20'.join(sorted(_hidden%5B'province'%5D.unique()))%20or%20'none'%7D%3A%22)%2C%20_hidden%5D)%0A%20%20%20%20return%20(published%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20release_numbers(published%2C%20round_choice)%3A%0A%20%20%20%20%23%20The%20release%20in%20a%20few%20numbers%2C%20from%20the%20suppressed%20table%20only.%20Named%2C%20so%20a%20report%20page%20(marimo%20Studio)%20can%20place%20them.%0A%20%20%20%20release_summary%20%3D%20%7B%22round%22%3A%20round_choice.value%2C%20%22cells%22%3A%20len(published)%2C%20%22suppressed%22%3A%20int(published%5B%22suppressed%22%5D.sum())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22weighted_persons%22%3A%20int(published%5B%22weighted_persons%22%5D.sum())%2C%20%22threshold%22%3A%20THRESHOLD%7D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%20%C2%B7%20The%20codebook%2C%20from%20the%20contract%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2015%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20that%20a%20release%20has%20its%20own%20contract%2C%20and%20that%20its%20documentation%20can%20be%20generated%20from%20it%2C%20so%20the%20two%20cannot%20disagree.%0A%20%20%20%20-%20**You%20build%3A**%20%60codebook%60.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20**codebook**%20says%2C%20for%20each%20column%20of%20the%20data%2C%20what%20it%20means%20and%20what%20it%20may%20hold.%20Written%20by%20hand%2C%20it%20drifts%20from%20the%20data%20within%20a%20quarter.%0A%0A%20%20%20%20The%20release%20table%20has%20a%20contract%20of%20its%20own%2C%20like%20the%20survey's%20in%20the%20Check%20module%3A%20%60RELEASE_SCHEMA%60%2C%20in%20the%20setup%20cell%20at%20the%20top%20of%20this%20notebook.%20Each%20column%20has%20a%20type%2C%20its%20rules%2C%20and%20a%20%60description%60%3B%20the%20whole%20table%20has%20two%20more%20rules%3A%20one%20row%20per%20province%2C%20sex%20and%20age%20group%2C%20and%20%60weighted_persons%60%20empty%20exactly%20where%20a%20cell%20is%20suppressed.%20The%20Share%20stage%20checks%20the%20table%20against%20it%20before%20writing%20any%20file.%20Generated%20from%20it%2C%20the%20codebook%20says%20exactly%20what%20the%20checks%20enforce.%0A%0A%20%20%20%20%23%23%23%20Exercise%204.1.%20A%20codebook%20from%20the%20contract%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20a%20pandera%20schema%20%E2%86%92%20one%20row%20per%20column%2C%20with%3A%0A%0A%20%20%20%20%7C%20column%20of%20the%20codebook%20%7C%20from%20the%20pandera%20column%20%7C%20example%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20%60column%60%20%7C%20its%20name%20%7C%20%60sex%60%20%7C%0A%20%20%20%20%7C%20%60description%60%20%7C%20%60column.description%60%20%7C%20%60Sex%2C%20from%20the%20questionnaire%60%20%7C%0A%20%20%20%20%7C%20%60type%60%20%7C%20%60str(column.dtype)%60%2C%20put%20in%20words%20with%20%60TYPE_NAMES%60%20%7C%20%60text%60%20%7C%0A%20%20%20%20%7C%20%60may%20be%20missing%60%20%7C%20%60column.nullable%60%2C%20as%20%60%22yes%22%60%20or%20%60%22no%22%60%20%7C%20%60no%60%20%7C%0A%20%20%20%20%7C%20%60rules%60%20%7C%20each%20check's%20%60check.error%60%2C%20joined%20with%20%60%22%3B%20%22%60%3B%20empty%20text%20when%20there%20are%20none%20%7C%20%60isin(%5B'Female'%2C%20'Male'%2C%20'Not%20stated'%5D)%60%20%7C%0A%0A%20%20%20%20Loop%20over%20%60schema.columns.items()%60%3A%20each%20item%20is%20a%20column's%20name%20and%20its%20pandera%20column.%20%60TYPE_NAMES.get(text%2C%20text)%60%20gives%20the%20words%20for%20a%20type%2C%20or%20the%20type%20itself%20when%20it%20is%20not%20in%20the%20list.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20codebook(schema%3A%20pa.DataFrameSchema)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22One%20row%20per%20column%20of%20the%20schema%3A%20what%20it%20means%2C%20its%20type%2C%20whether%20it%20may%20be%20missing%2C%20and%20its%20rules.%22%22%22%0A%20%20%20%20%23%20Exercise%204.1%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20%23%20For%20each%20name%2C%20column%20in%20schema.columns.items()%3A%20one%20dictionary%20with%20column%2C%20description%2C%20type%2C%20may%20be%20missing%2C%20rules.%0A%20%20%20%20%23%20Return%20pd.DataFrame(rows).%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%204.1%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_schema%20%3D%20pa.DataFrameSchema(%7B%22hhid%22%3A%20pa.Column(str%2C%20description%3D%22Household%20ID%22)%2C%20%22age%22%3A%20pa.Column(float%2C%20pa.Check.in_range(0%2C%20120)%2C%20nullable%3DTrue%2C%20description%3D%22Age%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sex%22%3A%20pa.Column(str%2C%20%5Bpa.Check.isin(%5B%221%22%2C%20%222%22%5D)%2C%20pa.Check.str_length(1%2C%201)%5D%2C%20nullable%3DTrue%2C%20description%3D%22Sex%20code%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22member_no%22%3A%20pa.Column(int%2C%20pa.Check.ge(1)%2C%20description%3D%22Line%20number%22)%7D)%0A%20%20%20%20check_cases(%22Exercise%204.1%22%2C%20codebook%2C%20%5B(%22a%20four-column%20schema%22%2C%20(_schema%2C))%5D%2C%20what%3D%22schemas%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20summarize%3Dlambda%20t%3A%20t%5B%5B%22column%22%2C%20%22description%22%2C%20%22type%22%2C%20%22may%20be%20missing%22%2C%20%22rules%22%5D%5D.values.tolist()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hint%3D%22sex%20has%20two%20rules%2C%20joined%20with%20'%3B%20'%3B%20hhid%20has%20none%2C%20so%20its%20rules%20are%20empty%20text.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%3A%20the%20release's%20codebook.%20Your%20contract%20from%20the%20Check%20module%20works%20too%3A%20codebook(importlib.import_module(%2220_check_round%22).survey_schema(set()))%0A%20%20%20%20course.try_it(codebook%2C%20RELEASE_SCHEMA)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20%23%20The%20release's%20codebook%2C%20named%20for%20the%20report%20page%20(marimo%20Studio)%0A%20%20%20%20release_codebook%20%3D%20attempt(codebook%2C%20RELEASE_SCHEMA)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%204.1%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20%60rules%60%20shows%20objects%20like%20%60%3CCheck%20in_range%E2%80%A6%3E%60%20%7C%20The%20checks%20were%20joined%2C%20not%20their%20text.%20%7C%20%60check.error%60%20%7C%0A%20%20%20%20%7C%20%60rules%60%20shows%20%60in_range%60%20without%20its%20limits%20%7C%20%60check.name%60%20is%20the%20rule's%20name%20only.%20%7C%20%60check.error%60%20has%20the%20values%20%7C%0A%20%20%20%20%7C%20%60type%60%20shows%20%60float64%60%20%7C%20The%20type%20was%20not%20put%20in%20words.%20%7C%20%60TYPE_NAMES.get(...)%60%20%7C%0A%20%20%20%20%7C%20%60may%20be%20missing%60%20is%20%60True%60%20or%20%60False%60%20%7C%20The%20yes%2Fno%20was%20not%20written%20as%20text.%20%7C%20%60%22yes%22%20if%20column.nullable%20else%20%22no%22%60%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205%20%C2%B7%20Write%20the%20files%2C%20and%20check%20every%20one%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2020%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20that%20%22the%20export%20ran%22%20is%20not%20%22the%20release%20is%20right%22%3A%20open%20what%20you%20wrote.%0A%20%20%20%20-%20**You%20build%3A**%20%60check_release%60%2C%20and%20the%20release%20folder%20%60release%2F%3Cround%3E%2F%60.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20table_schema(schema%3A%20pa.DataFrameSchema)%20-%3E%20dict%3A%0A%20%20%20%20%22%22%22A%20Table%20Schema%20(specs.frictionlessdata.io%2Ftable-schema)%20for%20the%20CSV%2C%20from%20the%20release's%20contract%3A%20each%20field's%0A%20%20%20%20name%2C%20type%2C%20description%20and%20whether%20it%20is%20required%2C%20the%20key%2C%20and%20how%20a%20missing%20value%20is%20written.%22%22%22%0A%20%20%20%20types%20%3D%20%7B%22str%22%3A%20%22string%22%2C%20%22string%5Bpyarrow%5D%22%3A%20%22string%22%2C%20%22float64%22%3A%20%22number%22%2C%20%22int64%22%3A%20%22integer%22%2C%20%22bool%22%3A%20%22boolean%22%7D%0A%20%20%20%20fields%20%3D%20%5B%7B%22name%22%3A%20name%2C%20%22type%22%3A%20types%5Bstr(column.dtype)%5D%2C%20%22description%22%3A%20column.description%2C%20%22constraints%22%3A%20%7B%22required%22%3A%20not%20column.nullable%7D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2C%20column%20in%20schema.columns.items()%5D%0A%20%20%20%20return%20%7B%22fields%22%3A%20fields%2C%20%22primaryKey%22%3A%20list(schema.unique)%2C%20%22missingValues%22%3A%20%5B%22%22%5D%7D%0A%0A%0A%40app.function%0Adef%20sqlite_table(schema%3A%20pa.DataFrameSchema%2C%20name%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%22%22%22CREATE%20TABLE%20for%20the%20release%20in%20SQLite%2C%20from%20its%20contract%3A%20the%20key%2C%20NOT%20NULL%20where%20a%20value%20is%20required%2C%20and%20the%0A%20%20%20%20suppression%20rule%2C%20so%20the%20database%20itself%20refuses%20a%20row%20that%20breaks%20them.%22%22%22%0A%20%20%20%20kinds%20%3D%20%7B%22str%22%3A%20%22TEXT%22%2C%20%22string%5Bpyarrow%5D%22%3A%20%22TEXT%22%2C%20%22float64%22%3A%20%22REAL%22%2C%20%22bool%22%3A%20%22INTEGER%22%7D%0A%20%20%20%20columns%20%3D%20%5Bf'%22%7Bc%7D%22%20%7Bkinds%5Bstr(col.dtype)%5D%7D'%20%2B%20(%22%22%20if%20col.nullable%20else%20%22%20NOT%20NULL%22)%20%2B%20(f'%20CHECK%20(%22%7Bc%7D%22%20IN%20(0%2C%201))'%20if%20str(col.dtype)%20%3D%3D%20%22bool%22%20else%20%22%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20c%2C%20col%20in%20schema.columns.items()%5D%0A%20%20%20%20keys%20%3D%20%22%2C%20%22.join(f'%22%7Bc%7D%22'%20for%20c%20in%20schema.unique)%0A%20%20%20%20return%20(f'CREATE%20TABLE%20%22%7Bname%7D%22%20(%5Cn%20%20'%20%2B%20%22%2C%5Cn%20%20%22.join(columns)%20%2B%20f%22%2C%5Cn%20%20PRIMARY%20KEY%20(%7Bkeys%7D)%2C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20'%20%20CHECK%20((%22weighted_persons%22%20IS%20NULL)%20%3D%20%22suppressed%22)%5Cn)')%0A%0A%0A%40app.function%0Adef%20export_release(published%3A%20pd.DataFrame%2C%20book%3A%20pd.DataFrame%2C%20folder%3A%20Path)%20-%3E%20list%5BPath%5D%3A%0A%20%20%20%20%22%22%22Write%20the%20release%3A%20Parquet%2C%20CSV%20with%20its%20schema%2C%20SQLite%2C%20and%20the%20codebook.%20Returns%20the%20files%20written.%22%22%22%0A%20%20%20%20folder.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20written%20%3D%20%5Bfolder%20%2F%20%22release_table.parquet%22%2C%20folder%20%2F%20%22release_table.csv%22%2C%20folder%20%2F%20%22release_table.schema.json%22%2C%20folder%20%2F%20%22codebook.csv%22%2C%20folder%20%2F%20%22release.sqlite%22%5D%0A%20%20%20%20published.to_parquet(written%5B0%5D%2C%20index%3DFalse)%0A%20%20%20%20published.to_csv(written%5B1%5D%2C%20index%3DFalse)%0A%20%20%20%20written%5B2%5D.write_text(json.dumps(table_schema(RELEASE_SCHEMA)%2C%20indent%3D2)%20%2B%20%22%5Cn%22%2C%20encoding%3D%22utf-8%22)%0A%20%20%20%20book.to_csv(written%5B3%5D%2C%20index%3DFalse)%0A%20%20%20%20written%5B4%5D.unlink(missing_ok%3DTrue)%0A%20%20%20%20with%20closing(sqlite3.connect(written%5B4%5D))%20as%20con%3A%0A%20%20%20%20%20%20%20%20con.execute(sqlite_table(RELEASE_SCHEMA%2C%20%22release_table%22))%0A%20%20%20%20%20%20%20%20published.to_sql(%22release_table%22%2C%20con%2C%20index%3DFalse%2C%20if_exists%3D%22append%22)%0A%20%20%20%20%20%20%20%20book.to_sql(%22codebook%22%2C%20con%2C%20index%3DFalse)%0A%20%20%20%20return%20written%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%205.1.%20Open%20every%20file%20you%20wrote%0A%0A%20%20%20%20**Why%20it%20matters%3A**%20an%20export%20can%20%22succeed%22%20and%20still%20write%20the%20wrong%20thing%3A%20a%20CSV%20whose%20empty%20cells%20became%20zeros%2C%20a%20database%20missing%20rows.%20The%20only%20proof%20is%20to%20read%20each%20file%20back.%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20a%20release%20folder%20%E2%86%92%20one%20row%20per%20data%20file%20(%60release_table.parquet%60%2C%20%60release_table.csv%60%2C%20%60release.sqlite%60)%2C%20with%20%60file%60%2C%20%60rows%60%2C%20and%20%60suppressed%20hidden%60%3A%20%60True%60%20when%2C%20in%20that%20file%2C%20every%20row%20marked%20suppressed%20has%20an%20empty%20%60weighted_persons%60.%0A%0A%20%20%20%20Read%20each%20with%20its%20own%20reader%3A%20%60pd.read_parquet(path)%60%2C%20%60pd.read_csv(path)%60%2C%20and%20for%20SQLite%20%60pd.read_sql_query(%22SELECT%20*%20FROM%20release_table%22%2C%20con)%60%20with%20%60con%20%3D%20sqlite3.connect(path)%60%20(close%20it%20after%3A%20%60with%20closing(sqlite3.connect(path))%20as%20con%3A%60).%20SQLite%20stores%20%60True%60%20as%20%601%60%2C%20so%20make%20the%20column%20yes%2Fno%20with%20%60.astype(bool)%60%20before%20using%20it%20as%20a%20condition.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20check_release(folder%3A%20Path)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22For%20each%20data%20file%20of%20a%20release%3A%20how%20many%20rows%2C%20and%20whether%20every%20suppressed%20cell%20is%20empty.%22%22%22%0A%20%20%20%20%23%20Exercise%205.1%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20%23%20Step%201%3A%20read%20the%20three%20files%20into%20tables%20(Parquet%2C%20CSV%2C%20SQLite)%0A%20%20%20%20%23%20Step%202%3A%20for%20each%3A%20rows%20%3D%20len(table)%3B%20hidden%20%3D%20table.loc%5Btable%5B%22suppressed%22%5D.astype(bool)%2C%20%22weighted_persons%22%5D.isna().all()%0A%20%20%20%20%23%20Step%203%3A%20return%20a%20table%20with%20file%2C%20rows%2C%20suppressed%20hidden%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%205.1%22)%0A%0A%0A%40app.function%0Adef%20published_fixture()%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22Six%20published%20cells%2C%20two%20of%20them%20suppressed%2C%20built%20here%20so%20the%20checks%20below%20do%20not%20depend%20on%20Exercise%203.1.%22%22%22%0A%20%20%20%20return%20RELEASE_SCHEMA.validate(pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22province%22%3A%20%5B%220600300000%22%5D%20*%203%20%2B%20%5B%220100100000%22%5D%20*%203%2C%0A%20%20%20%20%20%20%20%20%22sex%22%3A%20%5B%22Female%22%5D%20*%206%2C%0A%20%20%20%20%20%20%20%20%22age_group%22%3A%20%5B%220-14%22%2C%20%2215-24%22%2C%20%2265%2B%22%5D%20*%202%2C%0A%20%20%20%20%20%20%20%20%22weighted_persons%22%3A%20%5BNone%2C%2025480.0%2C%20None%2C%2061200.0%2C%20266100.0%2C%2041300.0%5D%2C%0A%20%20%20%20%20%20%20%20%22suppressed%22%3A%20%5BTrue%2C%20False%2C%20True%2C%20False%2C%20False%2C%20False%5D%2C%0A%20%20%20%20%7D))%0A%0A%0A%40app.function%0Adef%20release_check_story(published%3A%20pd.DataFrame%2C%20damage%3A%20str)%20-%3E%20list%3A%0A%20%20%20%20%22%22%22Export%20a%20small%20release%2C%20damage%20one%20file%20on%20purpose%2C%20and%20run%20check_release%20on%20it.%20Used%20by%20the%20check.%22%22%22%0A%20%20%20%20with%20tempfile.TemporaryDirectory()%20as%20folder%3A%0A%20%20%20%20%20%20%20%20root%20%3D%20Path(folder)%0A%20%20%20%20%20%20%20%20export_release(published%2C%20pd.DataFrame(%7B%22column%22%3A%20%5B%22x%22%5D%7D)%2C%20root)%0A%20%20%20%20%20%20%20%20if%20damage%20%3D%3D%20%22zeros%20in%20the%20CSV%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pd.read_csv(root%20%2F%20%22release_table.csv%22).fillna(%7B%22weighted_persons%22%3A%200%7D).to_csv(root%20%2F%20%22release_table.csv%22%2C%20index%3DFalse)%0A%20%20%20%20%20%20%20%20if%20damage%20%3D%3D%20%22a%20row%20missing%20from%20the%20database%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20closing(sqlite3.connect(root%20%2F%20%22release.sqlite%22))%20as%20con%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20con.execute(%22DELETE%20FROM%20release_table%20WHERE%20rowid%20%3D%201%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20con.commit()%0A%20%20%20%20%20%20%20%20result%20%3D%20check_release(root)%0A%20%20%20%20return%20result%5B%5B%22file%22%2C%20%22rows%22%2C%20%22suppressed%20hidden%22%5D%5D.values.tolist()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_published%20%3D%20published_fixture()%0A%20%20%20%20check_cases(%22Exercise%205.1%22%2C%20release_check_story%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B(%22a%20correct%20release%22%2C%20(_published%2C%20%22none%22))%2C%20(%22a%20CSV%20whose%20empty%20cells%20became%20zeros%22%2C%20(_published%2C%20%22zeros%20in%20the%20CSV%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22a%20database%20with%20a%20row%20missing%22%2C%20(_published%2C%20%22a%20row%20missing%20from%20the%20database%22))%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20what%3D%22releases%22%2C%20hint%3D%22Each%20damaged%20release%20must%20show%20up%3A%20a%20wrong%20row%20count%2C%20or%20a%20suppressed%20cell%20that%20is%20not%20empty.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%3A%20a%20release%20whose%20CSV%20has%20zeros%20where%20suppressed%20cells%20should%20be%20empty.%0A%20%20%20%20course.try_it(release_check_story%2C%20published_fixture()%2C%20%22zeros%20in%20the%20CSV%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%205.1%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20The%20CSV%20with%20zeros%20passes%20%7C%20Only%20the%20row%20count%20is%20checked.%20%7C%20the%20suppressed%20rows'%20%60weighted_persons%60%20must%20be%20empty%20%7C%0A%20%20%20%20%7C%20*KeyError%3A%20'suppressed'*%20in%20the%20SQLite%20table%20%7C%20The%20query%20did%20not%20select%20every%20column.%20%7C%20%60SELECT%20*%20FROM%20release_table%60%20%7C%0A%20%20%20%20%7C%20SQLite's%20suppressed%20rows%20are%20not%20found%20%7C%20%601%60%20was%20compared%20with%20%60True%60%20without%20converting.%20%7C%20%60.astype(bool)%60%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20build_release(round_id%3A%20str)%20-%3E%20dict%3A%0A%20%20%20%20%22%22%22The%20Share%20stage%3A%20the%20release%20table%2C%20suppressed%20and%20checked%20against%20its%20contract%2C%20written%20to%20release%2F%3Cround%3E%2F%0A%20%20%20%20with%20its%20codebook%2C%20then%20every%20file%20read%20back.%20Used%20by%20run.py.%22%22%22%0A%20%20%20%20published%20%3D%20RELEASE_SCHEMA.validate(suppress(release_table(load_stored(round_id))%2C%20THRESHOLD)%2C%20lazy%3DTrue)%0A%20%20%20%20folder%20%3D%20PATHS.release%20%2F%20round_id%0A%20%20%20%20export_release(published%2C%20codebook(RELEASE_SCHEMA)%2C%20folder)%0A%20%20%20%20checked%20%3D%20check_release(folder)%0A%20%20%20%20if%20not%20checked%5B%22suppressed%20hidden%22%5D.all()%20or%20not%20(checked%5B%22rows%22%5D%20%3D%3D%20len(published)).all()%3A%0A%20%20%20%20%20%20%20%20raise%20RuntimeError(f%22the%20release%20in%20%7Bfolder%7D%20failed%20its%20own%20check%3A%5Cn%7Bchecked.to_string(index%3DFalse)%7D%22)%0A%20%20%20%20return%20%7B%22round%22%3A%20round_id%2C%20%22folder%22%3A%20folder.relative_to(PATHS.root).as_posix()%2C%20%22cells%22%3A%20len(published)%2C%20%22suppressed%22%3A%20int(published%5B%22suppressed%22%5D.sum())%7D%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(round_choice)%3A%0A%20%20%20%20release_button%20%3D%20mo.ui.run_button(label%3Df%22Build%20the%20release%20for%20round%20%7Bround_choice.value%7D%22)%0A%20%20%20%20release_button%0A%20%20%20%20return%20(release_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(release_button%2C%20round_choice)%3A%0A%20%20%20%20mo.stop(not%20release_button.value)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20_done%20%3D%20build_release(round_choice.value)%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**Release%20written%20and%20checked%3A**%20%60%7B_done%5B'folder'%5D%7D%60%2C%20%7B_done%5B'cells'%5D%7D%20cells%2C%20%7B_done%5B'suppressed'%5D%7D%20suppressed.%22)%2C%20kind%3D%22success%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20check_release(PATHS.release%20%2F%20round_choice.value)%2C%0A%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20except%20NotImplementedError%20as%20_error%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20waiting_for(str(_error))%0A%20%20%20%20except%20Exception%20as%20_error%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.callout(mo.md(f%22%7Btype(_error).__name__%7D%3A%20%7B_error%7D%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Run%20it%20from%20the%20terminal%0A%0A%20%20%20%20%60run.py%60%20now%20has%20a%20fourth%20stage%2C%20**Share**%3A%20after%20storing%20a%20round%2C%20it%20builds%20and%20checks%20its%20release.%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20uv%20run%20python%20run.py%20--rounds%202023Q4%2C2024Q1%2C2024Q2%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%23%23%23%20Show%20and%20tell%3A%20a%20report%20page%20from%20a%20notebook%0A%0A%20%20%20%20Your%20facilitator%20now%20shows%20**marimo%20Studio**%3A%20pages%20built%20from%20this%20very%20notebook%2C%20where%20every%20number%20comes%20from%20a%20named%20cell%2C%20so%20a%20page%20cannot%20drift%20from%20the%20data.%20Two%20came%20with%20the%20course%20files%2C%20in%20%60studio%2F31_share_round%2F%60%3A%20**release-report**%2C%20a%20web%20page%20for%20the%20public%2C%20and%20**release-brief**%2C%20the%20same%20release%20on%20one%20printed%20page%20(PDF)%20for%20a%20reader%20on%20paper.%20One%20rule%20carries%20over%20from%20this%20section%3A%20a%20page%20exported%20for%20the%20public%20contains%20everything%20it%20shows%2C%20so%20only%20**suppressed**%20tables%20may%20go%20on%20it.%20To%20try%20them%20yourself%2C%20see%20the%20Studio%20idea%20in%20%6035_capstone_explore.py%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**Recap**%0A%0A%20%20%20%20-%20Each%20audience%20gets%20the%20format%20that%20serves%20it%3B%20every%20file%20is%20written%20by%20code%20from%20one%20table.%0A%20%20%20%20-%20Cells%20from%20fewer%20than%2030%20respondents%20are%20suppressed%2C%20and%20a%20hidden%20cell%20must%20not%20be%20recoverable%20from%20a%20total.%0A%20%20%20%20-%20The%20release%20has%20its%20own%20contract%3B%20the%20codebook%20and%20the%20CSV's%20schema%20file%20are%20generated%20from%20it%2C%20so%20they%20say%20what%20the%20checks%20enforce.%0A%20%20%20%20-%20Open%20every%20file%20you%20write%3A%20%22it%20ran%22%20is%20not%20%22it%20is%20right%22.%0A%0A%20%20%20%20Key%20terms%20(%5Bglossary%5D(%2F%3Ffile%3D91_glossary.py))%3A%20release%2C%20suppression%2C%20codebook%2C%20Parquet%2C%20Table%20Schema.%20**Next%3A**%20%5B32_datasette.py%5D(%2F%3Ffile%3D32_datasette.py).%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20course.quizzes_at(%226.2%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A
e68997db1c1f404d949f0fc12045c651