import%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Store%3A%20rules%20that%20hold%20in%20the%20database%22%2C%0A)%0A%0Awith%20app.setup%3A%0A%20%20%20%20%23%20The%20setup%20cell%20runs%20first.%20It%20holds%20the%20imports%20and%20settings%20every%20other%20cell%20(and%20run.py)%20uses.%0A%20%20%20%20import%20importlib%0A%0A%20%20%20%20import%20duckdb%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20pandera.pandas%20as%20pa%0A%0A%20%20%20%20import%20course%20%20%23%20this%20course's%20helpers%3A%20file%20locations%20and%20exercise%20checks%0A%20%20%20%20import%20explain%20%20%23%20the%20explainers'%20drawings%2C%20shared%20with%20the%20primers%20(90_primers.py)%0A%20%20%20%20from%20course%20import%20NOT_YET%2C%20PATHS%2C%20attempt%2C%20check_cases%2C%20look%2C%20waiting_for%0A%0A%20%20%20%20%23%20The%20Check%20module's%20notebook%2C%20loaded%20as%20a%20module%3A%20its%20contract%20(your%20survey_schema)%20and%20its%20cleaning.%0A%20%20%20%20%23%20Its%20name%20starts%20with%20a%20number%2C%20so%20it%20is%20loaded%20with%20importlib%20instead%20of%20an%20%60import%60%20line.%0A%20%20%20%20check_stage%20%3D%20importlib.import_module(%2220_check_round%22)%0A%0A%20%20%20%20ROUNDS%20%3D%20%5B%222023Q4%22%2C%20%222024Q1%22%5D%0A%20%20%20%20TABLE%20%3D%20%22persons%22%0A%20%20%20%20%23%20How%20the%20clean%20table%20becomes%20the%20database%20table%3A%20the%20area%20code%20as%20reported%20is%20kept%20under%20another%20name%2C%20the%0A%20%20%20%20%23%20in_code_list%20flag%20is%20not%20stored%20(an%20empty%20area_code%20says%20the%20same)%2C%20and%20these%20columns%20are%20added.%0A%20%20%20%20RENAME%20%3D%20%7B%22area_code%22%3A%20%22area_code_reported%22%7D%0A%20%20%20%20SKIP%20%3D%20%7B%22in_code_list%22%7D%0A%20%20%20%20EXTRA%20%3D%20%5B%22area_code%20VARCHAR%20REFERENCES%20areas%20(code)%22%2C%20%22area_name%20VARCHAR%22%2C%20%22area_level%20VARCHAR%22%2C%20%22sex_label%20VARCHAR%22%2C%20%22employed_label%20VARCHAR%22%5D%0A%20%20%20%20PRIMARY_KEY%20%3D%20%5B%22round%22%2C%20%22hhid%22%2C%20%22member_no%22%5D%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Store%3A%20rules%20that%20hold%20in%20the%20database%0A%0A%20%20%20%20**Where%20you%20are%3A**%20Get%20%E2%86%92%20Check%20%E2%86%92%20**Store**%20%E2%86%92%20Share.%20In%20the%20Check%20module%20you%20wrote%20the%20contract%20and%20cleaned%20Round%202%20until%20it%20met%20it.%20Now%20the%20clean%20rounds%20go%20into%20the%20course%20database%2C%20%60survey.duckdb%60%2C%20in%20a%20table%20whose%20own%20rules%20**come%20from%20the%20same%20contract**.%20Each%20rule%20is%20written%20once%2C%20in%20your%20schema%2C%20and%20enforced%20twice%3A%20by%20pandera%20before%20loading%2C%20and%20by%20the%20database%20on%20every%20row%20it%20is%20given.%0A%0A%20%20%20%20In%20this%20module%20you%20will%3A%0A%0A%20%20%20%201.%20see%20what%20a%20database%20**constraint**%20is%2C%20and%20why%20it%20is%20a%20last%20line%20of%20defence%3B%0A%20%20%20%202.%20**generate**%20the%20table%20from%20your%20contract%2C%20and%20find%20each%20rule%20in%20both%20places%3B%0A%20%20%20%203.%20load%20rounds%20**safely**%3A%20twice%20without%20doubling%20anything%2C%20and%20never%20half%20a%20round%3B%0A%20%20%20%204.%20find%20out%20which%20layer%20(Get%2C%20the%20contract%2C%20the%20cleaning%2C%20the%20database)%20catches%20which%20problem.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20course.quizzes_at(%224.0%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.mermaid(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20flowchart%20LR%0A%20%20%20%20%20%20%20%20%20%20%20%20A%5B%22Get%22%5D%20--%3E%20B%5B%22Check%22%5D%20--%3E%20C%5B%22Store%22%5D%3A%3A%3Anow%20--%3E%20D%5B%22Share%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20classDef%20now%20fill%3A%23ffa500%2Cstroke%3A%230c2340%2Ccolor%3A%230c2340%2Cfont-weight%3Abold%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%20%C2%B7%20What%20a%20constraint%20is%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2015%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20the%20four%20kinds%20of%20rule%20a%20database%20table%20can%20hold%2C%20and%20what%20happens%20to%20a%20row%20that%20breaks%20one.%0A%20%20%20%20-%20**You%20build%3A**%20nothing%20yet%3A%20you%20try%20rows%20against%20a%20small%20table.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20database%20table%20can%20hold%20rules%20of%20its%20own%2C%20called%20**constraints**.%20The%20database%20checks%20them%20on%20**every**%20row%20it%20is%20given%2C%20whoever%20gives%20it%2C%20from%20whatever%20program%3A%0A%0A%20%20%20%20%7C%20constraint%20%7C%20says%20%7C%20example%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20%60PRIMARY%20KEY%60%20%7C%20these%20columns%20identify%20a%20row%3A%20no%20two%20rows%20share%20them%20%7C%20%60PRIMARY%20KEY%20(round%2C%20hhid%2C%20member_no)%60%3A%20each%20person%20once%20per%20round%20%7C%0A%20%20%20%20%7C%20%60NOT%20NULL%60%20%7C%20never%20missing%20%7C%20%60hhid%20VARCHAR%20NOT%20NULL%60%20%7C%0A%20%20%20%20%7C%20%60CHECK%60%20%7C%20a%20condition%20every%20row%20must%20meet%20%7C%20%60CHECK%20(age%20BETWEEN%200%20AND%20120)%60%20%7C%0A%20%20%20%20%7C%20%60REFERENCES%60%20(a%20foreign%20key)%20%7C%20the%20value%20must%20exist%20in%20another%20table%20%7C%20%60area_code%20VARCHAR%20REFERENCES%20areas%20(code)%60%3A%20only%20real%20area%20codes%20%7C%0A%0A%20%20%20%20pandera%20checks%20a%20table%20**before**%20it%20is%20loaded%3B%20the%20database%20refuses%20a%20bad%20row%20**when**%20it%20is%20loaded.%20Together%2C%20nothing%20that%20breaks%20a%20rule%20can%20be%20stored%2C%20even%20by%20someone%20who%20skips%20your%20notebook.%0A%0A%20%20%20%20%23%23%23%23%20Concept%3A%20try%20a%20row%20against%20a%20table%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20card_insert%20%3D%20mo.ui.dropdown(options%3Dlist(explain.CONSTRAINT_INSERTS)%2C%20value%3D%22a%20correct%20row%22%2C%20label%3D%22Insert%3A%22)%0A%20%20%20%20card_insert%0A%20%20%20%20return%20(card_insert%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(card_insert)%3A%0A%20%20%20%20explain.constraint_demo(card_insert.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20More%2C%20with%20common%20mistakes%3A%20%5Bprimer%2012%2C%20Database%20constraints%5D(%2F%3Ffile%3D90_primers.py).%0A%0A%20%20%20%20%23%23%202%20%C2%B7%20Every%20rule%20written%20once%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2045%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20that%20a%20table's%20constraints%20can%20be%20**generated**%20from%20the%20contract%2C%20so%20the%20rule%20exists%20in%20one%20place%20and%20cannot%20drift.%0A%20%20%20%20-%20**You%20build%3A**%20%60check_to_sql%60%2C%20the%20translation%20of%20one%20pandera%20rule%20into%20SQL%3B%20with%20it%2C%20the%20whole%20%60CREATE%20TABLE%60%20is%20generated%20from%20your%20schema.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20If%20you%20typed%20the%20table's%20rules%20by%20hand%2C%20there%20would%20be%20two%20copies%20of%20each%20rule%2C%20one%20in%20the%20schema%20and%20one%20in%20the%20database%2C%20and%20sooner%20or%20later%20someone%20would%20change%20one%20and%20not%20the%20other.%20Instead%2C%20the%20%60CREATE%20TABLE%60%20statement%20is%20**generated**%20from%20your%20schema%3A%20each%20pandera%20check%20becomes%20a%20SQL%20%60CHECK%60%2C%20a%20column%20that%20may%20not%20be%20missing%20becomes%20%60NOT%20NULL%60%2C%20the%20each-person-once%20rule%20becomes%20the%20%60PRIMARY%20KEY%60.%0A%0A%20%20%20%20Every%20pandera%20check%20carries%20its%20kind%20in%20%60check.name%60%20and%20its%20settings%20in%20%60check.statistics%60%2C%20a%20dictionary%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_examples%20%3D%20%5B(%22age%22%2C%20pa.Check.in_range(0%2C%20120))%2C%20(%22sex%22%2C%20pa.Check.isin(%5B%221%22%2C%20%222%22%5D))%2C%20(%22area_code%22%2C%20pa.Check.str_matches(r%22%5E%5Cd%7B10%7D%24%22))%2C%20(%22weight%22%2C%20pa.Check.gt(0))%2C%20(%22member_no%22%2C%20pa.Check.ge(1))%5D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22A%20few%20checks%2C%20as%20pandera%20describes%20them%3A%22)%2C%0A%20%20%20%20%20%20%20%20pd.DataFrame(%5B%7B%22column%22%3A%20c%2C%20%22check.name%22%3A%20k.name%2C%20%22check.statistics%22%3A%20str(k.statistics)%7D%20for%20c%2C%20k%20in%20_examples%5D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Exercise%202.1.%20One%20pandera%20rule%2C%20in%20SQL%0A%0A%20%20%20%20**Why%20it%20matters%3A**%20this%20small%20translation%20is%20what%20keeps%20the%20rule%20in%20one%20place.%20With%20it%2C%20the%20database's%20rules%20are%20generated%20from%20your%20contract%2C%20and%20change%20when%20it%20changes.%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20a%20column%20name%20and%20a%20pandera%20check%20%E2%86%92%20the%20SQL%20condition%20that%20says%20the%20same%20thing%2C%20or%20%60None%60%20for%20a%20rule%20SQL%20cannot%20say%20(a%20rule%20written%20as%20a%20Python%20lambda).%0A%0A%20%20%20%20%7C%20%60check.name%60%20%7C%20%60check.statistics%60%20%7C%20SQL%20condition%20for%20the%20column%20%60age%60%2C%20%60sex%60%2C%20%E2%80%A6%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20%60greater_than%60%20%7C%20%60%7B'min_value'%3A%200%7D%60%20%7C%20%60weight%20%3E%200%60%20*(already%20written)*%20%7C%0A%20%20%20%20%7C%20%60greater_than_or_equal_to%60%20%7C%20%60%7B'min_value'%3A%201%7D%60%20%7C%20%60member_no%20%3E%3D%201%60%20*(already%20written)*%20%7C%0A%20%20%20%20%7C%20%60in_range%60%20%7C%20%60%7B'min_value'%3A%200%2C%20'max_value'%3A%20120%2C%20...%7D%60%20%7C%20%60age%20BETWEEN%200%20AND%20120%60%20%7C%0A%20%20%20%20%7C%20%60isin%60%20%7C%20%60%7B'allowed_values'%3A%20%5B'1'%2C%20'2'%5D%7D%60%20%7C%20%60sex%20IN%20('1'%2C%20'2')%60%20(text%20in%20single%20quotes)%20%7C%0A%20%20%20%20%7C%20%60str_matches%60%20%7C%20%60%7B'pattern'%3A%20'%5E%5Cd%7B10%7D%24'%7D%60%20%7C%20%60regexp_full_match(area_code%2C%20'%5E%5Cd%7B10%7D%24')%60%20%7C%0A%20%20%20%20%7C%20anything%20else%20%7C%20%7C%20%60None%60%20%7C%0A%0A%20%20%20%20For%20%60isin%60%2C%20build%20the%20list%20with%20a%20join%3A%20%60%22%2C%20%22.join(f%22'%7Bv%7D'%22%20for%20v%20in%20values)%60%20puts%20each%20value%20in%20single%20quotes%2C%20separated%20by%20commas.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20check_to_sql(column%3A%20str%2C%20check%3A%20pa.Check)%20-%3E%20str%20%7C%20None%3A%0A%20%20%20%20%22%22%22The%20SQL%20condition%20that%20says%20what%20a%20pandera%20check%20says%20about%20a%20column%2C%20or%20None%20if%20SQL%20cannot%20say%20it.%22%22%22%0A%20%20%20%20%23%20Exercise%202.1%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20stats%20%3D%20check.statistics%20%20%23%20the%20check's%20settings%2C%20a%20dictionary%0A%20%20%20%20if%20check.name%20%3D%3D%20%22greater_than%22%3A%0A%20%20%20%20%20%20%20%20return%20f%22%7Bcolumn%7D%20%3E%20%7Bstats%5B'min_value'%5D%7D%22%0A%20%20%20%20if%20check.name%20%3D%3D%20%22greater_than_or_equal_to%22%3A%0A%20%20%20%20%20%20%20%20return%20f%22%7Bcolumn%7D%20%3E%3D%20%7Bstats%5B'min_value'%5D%7D%22%0A%20%20%20%20%23%20Add%20the%20three%20kinds%20below%2C%20following%20the%20two%20above.%20Uncomment%20(Ctrl%20%2B%20%2F)%20and%20replace%20each%20...%0A%20%20%20%20%23%20if%20check.name%20%3D%3D%20%22in_range%22%3A%0A%20%20%20%20%23%20%20%20%20%20return%20...%20%20%23%20BETWEEN%2C%20with%20stats%5B%22min_value%22%5D%20and%20stats%5B%22max_value%22%5D%0A%20%20%20%20%23%20if%20check.name%20%3D%3D%20%22isin%22%3A%0A%20%20%20%20%23%20%20%20%20%20return%20...%20%20%23%20IN%20(%20...%20)%2C%20each%20value%20of%20stats%5B%22allowed_values%22%5D%20in%20single%20quotes%0A%20%20%20%20%23%20if%20check.name%20%3D%3D%20%22str_matches%22%3A%0A%20%20%20%20%23%20%20%20%20%20return%20...%20%20%23%20regexp_full_match(column%2C%20'pattern')%2C%20with%20stats%5B%22pattern%22%5D%0A%20%20%20%20%23%20return%20None%20%20%23%20a%20rule%20SQL%20cannot%20say%3A%20it%20stays%20in%20pandera%20only%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%202.1%22)%0A%0A%0A%40app.function%0Adef%20sql_condition_holds(column%3A%20str%2C%20check%3A%20pa.Check%2C%20values%3A%20list)%20-%3E%20object%3A%0A%20%20%20%20%22%22%22Evaluate%20the%20SQL%20condition%20check_to_sql%20gives%2C%20on%20a%20few%20values%3A%20True%2C%20False%2C%20or%20missing%20for%20each.%20Used%20by%20the%20check.%22%22%22%0A%20%20%20%20condition%20%3D%20check_to_sql(column%2C%20check)%0A%20%20%20%20if%20condition%20is%20None%3A%0A%20%20%20%20%20%20%20%20return%20%22stays%20in%20pandera%22%0A%20%20%20%20con%20%3D%20duckdb.connect()%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20con.register(%22t%22%2C%20pd.DataFrame(%7Bcolumn%3A%20values%7D))%0A%20%20%20%20%20%20%20%20return%20%5BNone%20if%20pd.isna(v)%20else%20bool(v)%20for%20v%20in%20con.sql(f%22SELECT%20%7Bcondition%7D%20AS%20ok%20FROM%20t%22).df()%5B%22ok%22%5D%5D%0A%20%20%20%20except%20duckdb.Error%20as%20error%3A%0A%20%20%20%20%20%20%20%20return%20f%22SQL%20error%3A%20%7Bstr(error).splitlines()%5B0%5D%5B%3A100%5D%7D%22%0A%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20con.close()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_cases%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22age%2C%20between%200%20and%20120%2C%20on%2034%2C%20150%2C%20-1%2C%20missing%22%2C%20(%22age%22%2C%20pa.Check.in_range(0%2C%20120)%2C%20%5B34.0%2C%20150.0%2C%20-1.0%2C%20None%5D))%2C%0A%20%20%20%20%20%20%20%20(%22hours%2C%20between%200%20and%20112%2C%20on%2040%2C%20112%2C%20113%22%2C%20(%22hours%22%2C%20pa.Check.in_range(0%2C%20112)%2C%20%5B40.0%2C%20112.0%2C%20113.0%5D))%2C%0A%20%20%20%20%20%20%20%20(%22sex%2C%20'1'%20or%20'2'%2C%20on%20'1'%2C%20'3'%2C%20missing%22%2C%20(%22sex%22%2C%20pa.Check.isin(%5B%221%22%2C%20%222%22%5D)%2C%20%5B%221%22%2C%20%223%22%2C%20None%5D))%2C%0A%20%20%20%20%20%20%20%20(%22region%2C%20one%20of%20six%20codes%2C%20on%20'04'%20and%20'99'%22%2C%20(%22region%22%2C%20pa.Check.isin(%5B%2201%22%2C%20%2202%22%2C%20%2203%22%2C%20%2204%22%2C%20%2205%22%2C%20%2206%22%5D)%2C%20%5B%2204%22%2C%20%2299%22%5D))%2C%0A%20%20%20%20%20%20%20%20(%22area%20code%2C%2010%20digits%2C%20on%20three%20codes%22%2C%20(%22area_code%22%2C%20pa.Check.str_matches(r%22%5E%5Cd%7B10%7D%24%22)%2C%20%5B%220100105000%22%2C%20%22100105000%22%2C%20%2201001050AB%22%5D))%2C%0A%20%20%20%20%20%20%20%20(%22weight%2C%20above%200%2C%20on%20500%20and%200%22%2C%20(%22weight%22%2C%20pa.Check.gt(0)%2C%20%5B500.0%2C%200.0%5D))%2C%0A%20%20%20%20%20%20%20%20(%22a%20rule%20written%20as%20a%20lambda%22%2C%20(%22hours%22%2C%20pa.Check(lambda%20s%3A%20s.mean()%20%3E%200)%2C%20%5B1.0%5D))%2C%0A%20%20%20%20%5D%0A%20%20%20%20check_cases(%0A%20%20%20%20%20%20%20%20%22Exercise%202.1%22%2C%20sql_condition_holds%2C%20_cases%2C%20what%3D%22rules%22%2C%0A%20%20%20%20%20%20%20%20hint%3D%22The%20check%20runs%20your%20SQL%20in%20DuckDB%20on%20a%20few%20values%3A%20compare%20what%20it%20says%20with%20the%20rule.%20Use%20the%20Try%20it%20cell%20to%20see%20your%20SQL.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%3A%20the%20SQL%20your%20function%20writes%20for%20one%20rule.%20Change%20the%20column%20or%20the%20check.%0A%20%20%20%20course.try_it(check_to_sql%2C%20%22sex%22%2C%20pa.Check.isin(%5B%221%22%2C%20%222%22%5D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%202.1%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20*SQL%20error%3A%20%E2%80%A6%20column%20%221%22%20not%20found*%20%7C%20Text%20values%20in%20double%20quotes%3A%20in%20SQL%20that%20names%20a%20column.%20%7C%20single%20quotes%20around%20each%20value%20%7C%0A%20%20%20%20%7C%20*SQL%20error*%20near%20%60%5B%60%20%7C%20The%20Python%20list%20was%20put%20into%20the%20SQL%20as%20it%20is%3A%20%60IN%20(%5B'1'%2C%20'2'%5D)%60.%20%7C%20%60%22%2C%20%22.join(...)%60%20%7C%0A%20%20%20%20%7C%20The%20lambda%20rule%20gives%20an%20SQL%20error%20%7C%20The%20last%20line%2C%20%60return%20None%60%2C%20is%20missing%2C%20so%20the%20function%20falls%20through.%20%7C%20return%20%60None%60%20for%20anything%20else%20%7C%0A%20%20%20%20%7C%20113%20hours%20passes%20%7C%20%60BETWEEN%60%20was%20given%20the%20wrong%20numbers.%20%7C%20%60stats%5B%22min_value%22%5D%60%2C%20%60stats%5B%22max_value%22%5D%60%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20sql_type(dtype)%20-%3E%20str%3A%0A%20%20%20%20%22%22%22The%20database%20type%20for%20a%20pandera%20column%20type.%22%22%22%0A%20%20%20%20name%20%3D%20str(dtype).lower()%0A%20%20%20%20if%20name.startswith((%22str%22%2C%20%22string%22%2C%20%22object%22))%3A%0A%20%20%20%20%20%20%20%20return%20%22VARCHAR%22%0A%20%20%20%20if%20name.startswith(%22int%22)%3A%0A%20%20%20%20%20%20%20%20return%20%22BIGINT%22%0A%20%20%20%20if%20name.startswith(%22float%22)%3A%0A%20%20%20%20%20%20%20%20return%20%22DOUBLE%22%0A%20%20%20%20if%20name.startswith(%22bool%22)%3A%0A%20%20%20%20%20%20%20%20return%20%22BOOLEAN%22%0A%20%20%20%20raise%20ValueError(f%22no%20database%20type%20for%20the%20pandera%20type%20%7Bdtype%7D%22)%0A%0A%0A%40app.function%0Adef%20ddl_from_schema(schema%3A%20pa.DataFrameSchema%2C%20table%3A%20str)%20-%3E%20tuple%5Bstr%2C%20list%5Bstr%5D%5D%3A%0A%20%20%20%20%22%22%22CREATE%20TABLE%20for%20the%20contract%2C%20and%20the%20list%20of%20rules%20that%20stay%20in%20pandera%20only.%22%22%22%0A%20%20%20%20lines%2C%20pandera_only%20%3D%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20for%20name%2C%20column%20in%20schema.columns.items()%3A%0A%20%20%20%20%20%20%20%20if%20name%20in%20SKIP%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20stored%20%3D%20RENAME.get(name%2C%20name)%0A%20%20%20%20%20%20%20%20conditions%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20check%20in%20column.checks%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sql%20%3D%20check_to_sql(stored%2C%20check)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20sql%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pandera_only.append(f%22%7Bname%7D%3A%20%7Bcheck.name%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20conditions.append(sql)%0A%20%20%20%20%20%20%20%20line%20%3D%20f%22%20%20%20%20%7Bstored%7D%20%7Bsql_type(column.dtype)%7D%22%20%2B%20(%22%22%20if%20column.nullable%20else%20%22%20NOT%20NULL%22)%0A%20%20%20%20%20%20%20%20line%20%2B%3D%20%22%22.join(f%22%5Cn%20%20%20%20%20%20%20%20CHECK%20(%7Bc%7D)%22%20for%20c%20in%20conditions)%0A%20%20%20%20%20%20%20%20lines.append(line)%0A%20%20%20%20lines%20%2B%3D%20%5Bf%22%20%20%20%20%7Bextra%7D%22%20for%20extra%20in%20EXTRA%5D%0A%20%20%20%20lines.append(f%22%20%20%20%20PRIMARY%20KEY%20(%7B'%2C%20'.join(PRIMARY_KEY)%7D)%22)%0A%20%20%20%20pandera_only%20%2B%3D%20%5Bf%22(table)%20%7Bc.name%7D%22%20for%20c%20in%20schema.checks%5D%0A%20%20%20%20return%20f%22CREATE%20TABLE%20IF%20NOT%20EXISTS%20%7Btable%7D%20(%5Cn%22%20%2B%20%22%2C%5Cn%22.join(lines)%20%2B%20%22%5Cn)%22%2C%20pandera_only%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_schema%20%3D%20attempt(check_stage.survey_schema%2C%20check_stage.code_list_codes())%20%20%23%20the%20rules%20are%20the%20same%20for%20every%20edition%0A%20%20%20%20mo.stop(_schema%20is%20NOT_YET%2C%20waiting_for(%22Exercise%202.1%20of%2020_check_round.py%20(the%20contract)%22))%0A%20%20%20%20_ddl%20%3D%20attempt(ddl_from_schema%2C%20_schema%2C%20TABLE)%0A%20%20%20%20mo.stop(_ddl%20is%20NOT_YET%2C%20waiting_for(%22Exercise%202.1%20(check_to_sql)%22))%0A%20%20%20%20ddl_text%2C%20pandera_only%20%3D%20_ddl%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22**The%20table%2C%20generated%20from%20your%20contract%3A**%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22%60%60%60sql%5Cn%7Bddl_text%7D%5Cn%60%60%60%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22**Find%20each%20rule%20in%20both%20places.**%20Pick%20a%20rule%20in%20your%20schema%20(%6020_check_round.py%60%2C%20Exercise%202.1)%20and%20find%20its%20%60CHECK%60%20above%3A%20%60in_range(0%2C%20120)%60%20on%20%60age%60%20is%20%60CHECK%20(age%20BETWEEN%200%20AND%20120)%60%3B%20%60nullable%60%20missing%20on%20%60weight%60%20is%20%60NOT%20NULL%60%3B%20%60unique%3D%5B%5C%22hhid%5C%22%2C%20%5C%22member_no%5C%22%5D%60%20is%20the%20%60PRIMARY%20KEY%60%20(with%20%60round%60%2C%20because%20each%20round%20has%20its%20own%20people).%22)%2C%0A%20%20%20%20%20%20%20%20look(%22Rules%20that%20stay%20in%20pandera%20only%22%2C%20%22A%20rule%20written%20as%20a%20Python%20lambda%2C%20or%20one%20about%20several%20columns%20at%20once%2C%20has%20no%20automatic%20SQL%20form%3A%20%22%20%2B%20%22%2C%20%22.join(f%22*%7Br%7D*%22%20for%20r%20in%20pandera_only)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22.%20Writing%20them%20into%20the%20table%20by%20hand%20would%20make%20a%20second%20copy%20of%20the%20rule%2C%20which%20is%20exactly%20what%20this%20design%20avoids.%20pandera%20checks%20them%20before%20every%20load%3B%20section%204%20shows%20what%20that%20means.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**Recap**%0A%0A%20%20%20%20-%20A%20database%20constraint%20is%20checked%20on%20every%20row%2C%20whoever%20loads%20it%3A%20the%20last%20line%20of%20defence.%0A%20%20%20%20-%20Generating%20the%20table%20from%20the%20contract%20keeps%20each%20rule%20in%20one%20place.%0A%20%20%20%20-%20Rules%20about%20several%20columns%20stay%20in%20pandera%3B%20the%20database%20cannot%20say%20them%20without%20a%20second%20copy.%0A%0A%20%20%20%20Key%20terms%20(%5Bglossary%5D(%2F%3Ffile%3D91_glossary.py))%3A%20constraint%2C%20primary%20key%2C%20foreign%20key%2C%20CHECK.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%20%C2%B7%20Safe%20loads%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2045%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20to%20load%20a%20round%20so%20that%20loading%20it%20twice%20changes%20nothing%2C%20and%20a%20load%20that%20fails%20changes%20nothing%20either.%0A%20%20%20%20-%20**You%20build%3A**%20%60load_round%60%2C%20and%20Rounds%201%20and%202%20stored%20in%20%60survey.duckdb%60.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Two%20things%20go%20wrong%20with%20loads.%20**Loading%20twice**%3A%20someone%20runs%20the%20pipeline%20again%2C%20and%20every%20person%20of%20the%20round%20is%20now%20there%20twice.%20**Half%20a%20load**%3A%20an%20insert%20fails%20part-way%2C%20and%20the%20round%20is%20half%20replaced.%20Both%20have%20one%20cure%3A%0A%0A%20%20%20%201.%20delete%20the%20round's%20rows%2C%20then%20insert%20them%20again%3A%20loading%20twice%20gives%20the%20same%20result%20as%20loading%20once%20(this%20is%20called%20**idempotent**)%3B%0A%20%20%20%202.%20do%20both%20inside%20a%20**transaction**%3A%20a%20group%20of%20steps%20that%20is%20kept%20entirely%20(%60COMMIT%60)%20or%20undone%20entirely%20(%60ROLLBACK%60).%0A%0A%20%20%20%20%23%23%23%23%20Concept%3A%20a%20load%20with%20and%20without%20a%20transaction%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20card_transaction%20%3D%20mo.ui.switch(label%3D%22inside%20a%20transaction%22%2C%20value%3DFalse)%0A%20%20%20%20card_transaction%0A%20%20%20%20return%20(card_transaction%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(card_transaction)%3A%0A%20%20%20%20explain.transaction_demo(card_transaction.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20More%3A%20%5Bprimer%2013%2C%20Transactions%5D(%2F%3Ffile%3D90_primers.py).%0A%0A%20%20%20%20%23%23%23%20Exercise%203.1.%20Load%20a%20round%20safely%0A%0A%20%20%20%20**Why%20it%20matters%3A**%20a%20pipeline%20is%20run%20again%20and%20again%3B%20a%20load%20that%20doubles%20rows%2C%20or%20leaves%20half%20a%20round%2C%20quietly%20corrupts%20every%20total%20after%20it.%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20a%20DuckDB%20connection%2C%20a%20table%20name%2C%20a%20round%20ID%2C%20and%20the%20round's%20rows%20%E2%86%92%20the%20number%20of%20rows%20of%20that%20round%20in%20the%20table%20after%20the%20load.%20If%20anything%20fails%2C%20the%20table%20is%20left%20exactly%20as%20it%20was%2C%20and%20the%20error%20is%20raised%20again%20so%20the%20caller%20knows.%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20con.execute(%22BEGIN%20TRANSACTION%22)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20...%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%201.%20delete%20the%20round's%20rows%0A%20%20%20%20%20%20%20%20...%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%202.%20insert%20the%20new%20rows%0A%20%20%20%20%20%20%20%20con.execute(%22COMMIT%22)%0A%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20con.execute(%22ROLLBACK%22)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20undo%20everything%20since%20BEGIN%0A%20%20%20%20%20%20%20%20raise%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20and%20let%20the%20error%20go%20on%20to%20the%20caller%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20-%20Delete%3A%20%60con.execute(f%22DELETE%20FROM%20%7Btable%7D%20WHERE%20round%20%3D%20%3F%22%2C%20%5Bround_id%5D)%60.%20The%20%60%3F%60%20is%20filled%20in%20by%20DuckDB%20with%20the%20value%20in%20the%20list%2C%20which%20is%20safer%20than%20putting%20it%20into%20the%20text%20yourself.%0A%20%20%20%20-%20Insert%3A%20make%20the%20DataFrame%20visible%20to%20DuckDB%20with%20%60con.register(%22incoming%22%2C%20rows)%60%2C%20then%20%60con.execute(f%22INSERT%20INTO%20%7Btable%7D%20BY%20NAME%20SELECT%20*%20FROM%20incoming%22)%60.%20%60BY%20NAME%60%20matches%20columns%20by%20name%2C%20not%20by%20position.%0A%20%20%20%20-%20Count%3A%20%60con.execute(f%22SELECT%20count(*)%20FROM%20%7Btable%7D%20WHERE%20round%20%3D%20%3F%22%2C%20%5Bround_id%5D).fetchall()%5B0%5D%5B0%5D%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20load_round(con%3A%20duckdb.DuckDBPyConnection%2C%20table%3A%20str%2C%20round_id%3A%20str%2C%20rows%3A%20pd.DataFrame)%20-%3E%20int%3A%0A%20%20%20%20%22%22%22Replace%20a%20round's%20rows%20in%20a%20table%2C%20all%20or%20nothing.%20Returns%20how%20many%20rows%20the%20round%20has%20afterwards.%22%22%22%0A%20%20%20%20%23%20Exercise%203.1%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20%23%20Follow%20the%20shape%20above%3A%20BEGIN%2C%20then%20try%3A%20delete%2C%20register%2C%20insert%2C%20COMMIT%3B%20except%3A%20ROLLBACK%20and%20raise.%0A%20%20%20%20%23%20After%20the%20transaction%2C%20count%20the%20round's%20rows%20and%20return%20the%20count.%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%203.1%22)%0A%0A%0A%40app.function%0Adef%20load_round_story(rows%3A%20pd.DataFrame%2C%20bad_rows%3A%20pd.DataFrame)%20-%3E%20tuple%3A%0A%20%20%20%20%22%22%22Load%20twice%2C%20then%20try%20a%20bad%20load%2C%20on%20a%20small%20table%20in%20memory.%20Used%20by%20the%20check%20of%20Exercise%203.1.%22%22%22%0A%20%20%20%20con%20%3D%20duckdb.connect()%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20con.execute(%22CREATE%20TABLE%20t%20(round%20VARCHAR%2C%20hhid%20VARCHAR%2C%20age%20DOUBLE%20CHECK%20(age%20BETWEEN%200%20AND%20120)%2C%20PRIMARY%20KEY%20(round%2C%20hhid))%22)%0A%20%20%20%20%20%20%20%20first%20%3D%20load_round(con%2C%20%22t%22%2C%20%222024Q1%22%2C%20rows)%0A%20%20%20%20%20%20%20%20second%20%3D%20load_round(con%2C%20%22t%22%2C%20%222024Q1%22%2C%20rows)%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20load_round(con%2C%20%22t%22%2C%20%222024Q1%22%2C%20bad_rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20bad%20%3D%20%22the%20bad%20load%20was%20accepted%22%0A%20%20%20%20%20%20%20%20except%20duckdb.Error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20bad%20%3D%20%22the%20bad%20load%20raised%20an%20error%22%0A%20%20%20%20%20%20%20%20after%20%3D%20con.execute(%22SELECT%20count(*)%2C%20sum(age)%20FROM%20t%22).fetchall()%5B0%5D%0A%20%20%20%20%20%20%20%20return%20first%2C%20second%2C%20bad%2C%20int(after%5B0%5D)%2C%20float(after%5B1%5D)%0A%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20con.close()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_rows%20%3D%20pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%20*%203%2C%20%22hhid%22%3A%20%5B%22H1%22%2C%20%22H2%22%2C%20%22H3%22%5D%2C%20%22age%22%3A%20%5B34.0%2C%2051.0%2C%2020.0%5D%7D)%0A%20%20%20%20_bad%20%3D%20pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%20*%202%2C%20%22hhid%22%3A%20%5B%22H1%22%2C%20%22H4%22%5D%2C%20%22age%22%3A%20%5B35.0%2C%20999.0%5D%7D)%0A%20%20%20%20check_cases(%0A%20%20%20%20%20%20%20%20%22Exercise%203.1%22%2C%20load_round_story%2C%20%5B(%22three%20people%20loaded%20twice%2C%20then%20a%20load%20with%20an%20age%20of%20999%22%2C%20(_rows%2C%20_bad))%5D%2C%0A%20%20%20%20%20%20%20%20what%3D%22stories%22%2C%0A%20%20%20%20%20%20%20%20hint%3D%22Expected%3A%203%20rows%20after%20the%20first%20load%2C%20still%203%20after%20the%20second%2C%20the%20bad%20load%20raises%20an%20error%2C%20and%20the%20table%20still%20holds%20the%20first%20three%20people.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%3A%20load%20three%20people%20twice%20into%20a%20small%20table%20in%20memory%2C%20then%20a%20bad%20load.%20What%20does%20each%20step%20leave%3F%0A%20%20%20%20course.try_it(load_round_story%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%20*%203%2C%20%22hhid%22%3A%20%5B%22H1%22%2C%20%22H2%22%2C%20%22H3%22%5D%2C%20%22age%22%3A%20%5B34.0%2C%2051.0%2C%2020.0%5D%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%20*%202%2C%20%22hhid%22%3A%20%5B%22H1%22%2C%20%22H4%22%5D%2C%20%22age%22%3A%20%5B35.0%2C%20999.0%5D%7D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%203.1%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%206%20rows%20after%20the%20second%20load%20%7C%20The%20round's%20rows%20were%20not%20deleted%20first.%20%7C%20the%20%60DELETE%60%20in%20step%201%20%7C%0A%20%20%20%20%7C%20The%20bad%20load%20was%20accepted%2C%20or%20the%20table%20changed%20%7C%20There%20is%20no%20transaction%2C%20or%20no%20%60ROLLBACK%60%20on%20error.%20%7C%20%60BEGIN%60%2C%20and%20%60ROLLBACK%60%20in%20%60except%60%20%7C%0A%20%20%20%20%7C%20*TransactionContext%20Error%3A%20cannot%20start%20a%20transaction%20within%20a%20transaction*%20%7C%20An%20earlier%20failed%20run%20left%20a%20transaction%20open%2C%20because%20%60ROLLBACK%60%20was%20missing.%20%7C%20add%20the%20%60except%60%20part%2C%20then%20run%20the%20cell%20again%20%7C%0A%20%20%20%20%7C%20The%20error%20disappears%2C%20but%20the%20caller%20never%20hears%20of%20it%20%7C%20%60raise%60%20is%20missing%20after%20%60ROLLBACK%60.%20%7C%20re-raise%20the%20error%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20code_list_table()%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22Every%20edition%20of%20the%20code%20list%2C%20one%20row%20per%20code%2C%20for%20the%20areas%20table.%20A%20code%20keeps%20the%20edition%20it%20first%20appeared%20in.%22%22%22%0A%20%20%20%20tables%20%3D%20%5B%5D%0A%20%20%20%20for%20edition%20in%20(%222023Q4%22%2C%20%222024Q2%22)%3A%0A%20%20%20%20%20%20%20%20table%20%3D%20pd.read_excel(PATHS.reference%20%2F%20f%22psgc_%7Bedition%7D.xlsx%22%2C%20header%3D3%2C%20dtype%3Dstr)%0A%20%20%20%20%20%20%20%20table%20%3D%20table.rename(columns%3D%7B%22Code%22%3A%20%22code%22%2C%20%22Name%22%3A%20%22name%22%2C%20%22Geographic%20Level%22%3A%20%22level%22%2C%20%22Parent%20Code%22%3A%20%22parent%22%7D)%0A%20%20%20%20%20%20%20%20table%20%3D%20table%5Btable%5B%22code%22%5D.str.fullmatch(r%22%5Cd%2B%22).fillna(False)%5D%0A%20%20%20%20%20%20%20%20table%5B%22code%22%5D%20%3D%20table%5B%22code%22%5D.str.zfill(10)%0A%20%20%20%20%20%20%20%20table%5B%22parent%22%5D%20%3D%20table%5B%22parent%22%5D.where(table%5B%22parent%22%5D.isna()%2C%20table%5B%22parent%22%5D.str.zfill(10))%0A%20%20%20%20%20%20%20%20tables.append(table%5B%5B%22code%22%2C%20%22name%22%2C%20%22level%22%2C%20%22parent%22%5D%5D.assign(edition%3Dedition))%0A%20%20%20%20return%20pd.concat(tables%2C%20ignore_index%3DTrue).drop_duplicates(subset%3D%22code%22%2C%20keep%3D%22first%22)%0A%0A%0A%40app.function%0Adef%20to_store(clean%3A%20pd.DataFrame)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22The%20clean%20round%20in%20the%20database's%20columns%3A%20the%20area%20code%20as%20reported%2C%20and%20the%20area%20code%20only%20if%20it%20is%20real.%22%22%22%0A%20%20%20%20rows%20%3D%20clean.rename(columns%3DRENAME)%0A%20%20%20%20rows%5B%22area_code%22%5D%20%3D%20rows%5B%22area_code_reported%22%5D.where(rows%5B%22in_code_list%22%5D)%0A%20%20%20%20return%20rows.drop(columns%3Dlist(SKIP))%0A%0A%0A%40app.function%0Adef%20create_tables(con%3A%20duckdb.DuckDBPyConnection%2C%20ddl%3A%20str)%20-%3E%20None%3A%0A%20%20%20%20%22%22%22Create%20the%20areas%20table%20(filled%20from%20the%20code%20list)%20and%20the%20persons%20table%2C%20if%20they%20do%20not%20exist%20yet.%22%22%22%0A%20%20%20%20con.execute(%22CREATE%20TABLE%20IF%20NOT%20EXISTS%20areas%20(code%20VARCHAR%20PRIMARY%20KEY%20CHECK%20(regexp_full_match(code%2C%20'%5E%5C%5Cd%7B10%7D%24'))%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22name%20VARCHAR%20NOT%20NULL%2C%20level%20VARCHAR%20NOT%20NULL%2C%20parent%20VARCHAR%2C%20edition%20VARCHAR%20NOT%20NULL)%22)%0A%20%20%20%20con.register(%22code_list%22%2C%20code_list_table())%0A%20%20%20%20con.execute(%22INSERT%20INTO%20areas%20BY%20NAME%20SELECT%20*%20FROM%20code_list%20WHERE%20code%20NOT%20IN%20(SELECT%20code%20FROM%20areas)%22)%0A%20%20%20%20con.unregister(%22code_list%22)%0A%20%20%20%20con.execute(ddl)%0A%0A%0A%40app.function%0Adef%20store_round(round_id%3A%20str)%20-%3E%20dict%3A%0A%20%20%20%20%22%22%22Clean%20a%20staged%20round%20with%20the%20Check%20module's%20code%2C%20check%20it%20against%20the%20contract%2C%20and%20load%20it.%20Used%20by%20run.py.%22%22%22%0A%20%20%20%20schema%20%3D%20check_stage.survey_schema(check_stage.code_list_codes(check_stage.round_edition(round_id)))%0A%20%20%20%20clean%2C%20report%20%3D%20check_stage.clean_round(check_stage.load_staged(round_id)%2C%20check_stage.load_check_config(round_id))%0A%20%20%20%20failures%20%3D%20check_stage.validate_round(clean%2C%20schema)%0A%20%20%20%20if%20len(failures)%3A%0A%20%20%20%20%20%20%20%20raise%20RuntimeError(f%22the%20clean%20round%20%7Bround_id%7D%20still%20breaks%20the%20contract%20(%7Blen(failures)%7D%20failures)%3A%20nothing%20was%20loaded%22)%0A%20%20%20%20ddl%2C%20_%20%3D%20ddl_from_schema(schema%2C%20TABLE)%0A%20%20%20%20with%20course.database()%20as%20con%3A%0A%20%20%20%20%20%20%20%20create_tables(con%2C%20ddl)%0A%20%20%20%20%20%20%20%20stored%20%3D%20load_round(con%2C%20TABLE%2C%20round_id%2C%20to_store(clean))%0A%20%20%20%20return%20%7B%22round%22%3A%20round_id%2C%20%22rows%20cleaned%22%3A%20len(clean)%2C%20%22rows%20stored%22%3A%20stored%2C%20%22cleaning%20steps%22%3A%20len(report)%7D%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20store_button%20%3D%20mo.ui.run_button(label%3Df%22Clean%2C%20check%20and%20store%20rounds%20%7B'%20and%20'.join(ROUNDS)%7D%22)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22Both%20rounds%20must%20be%20staged%20(%60run.py%60)%2C%20and%20Round%202's%20duplicate%20decision%20saved%20(%6020_check_round.py%60%2C%20section%204).%20Then%20press%20it%2C%20and%20**press%20it%20again**%3A%20the%20counts%20must%20not%20change.%22)%2C%20store_button%5D)%0A%20%20%20%20return%20(store_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(store_button)%3A%0A%20%20%20%20mo.stop(not%20store_button.value)%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_round%20in%20ROUNDS%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows.append(store_round(_round))%0A%20%20%20%20%20%20%20%20except%20NotImplementedError%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows.append(%7B%22round%22%3A%20_round%2C%20%22problem%22%3A%20f%22%7B_error%7D%20is%20not%20written%20yet%22%7D)%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows.append(%7B%22round%22%3A%20_round%2C%20%22problem%22%3A%20f%22%7Btype(_error).__name__%7D%3A%20%7Bstr(_error).splitlines()%5B0%5D%5B%3A160%5D%7D%22%7D)%0A%20%20%20%20stored_report%20%3D%20pd.DataFrame(_rows)%0A%20%20%20%20stored_report%0A%20%20%20%20return%20(stored_report%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(stored_report)%3A%0A%20%20%20%20mo.stop(%22rows%20stored%22%20not%20in%20stored_report%20or%20stored_report%5B%22rows%20stored%22%5D.isna().any())%0A%20%20%20%20with%20course.database(read_only%3DTrue)%20as%20_con%3A%0A%20%20%20%20%20%20%20%20_counts%20%3D%20_con.sql(f%22SELECT%20round%2C%20count(*)%20AS%20persons%2C%20count(area_code)%20AS%20with_a_real_area_code%2C%20round(sum(weight))%20AS%20weighted_persons%20FROM%20%7BTABLE%7D%20GROUP%20BY%20round%20ORDER%20BY%20round%22).df()%0A%20%20%20%20mo.vstack(%5Bmo.md(f%22**What%20the%20database%20holds%20now**%20(a%20SQL%20query%20on%20%60%7BTABLE%7D%60)%3A%22)%2C%20_counts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%60with_a_real_area_code%60%20is%20smaller%20than%20%60persons%60%20by%20the%20people%20whose%20area%20code%20is%20not%20in%20the%20code%20list%3A%20you%20kept%20them%20(your%20decision%20in%20the%20Get%20module)%2C%20with%20their%20code%20in%20%60area_code_reported%60%20and%20%60area_code%60%20empty%2C%20so%20the%20foreign%20key%20holds.%22)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**Recap**%0A%0A%20%20%20%20-%20Delete%20the%20round's%20rows%2C%20then%20insert%20them%3A%20loading%20twice%20gives%20the%20same%20result%20as%20loading%20once.%0A%20%20%20%20-%20Inside%20a%20transaction%2C%20a%20load%20is%20kept%20entirely%20or%20undone%20entirely%3A%20never%20half%20a%20round.%0A%0A%20%20%20%20Key%20terms%20(%5Bglossary%5D(%2F%3Ffile%3D91_glossary.py))%3A%20transaction%2C%20idempotent.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%20%C2%B7%20Which%20layer%20catches%20what%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**In%20this%20section**%20(about%2045%20minutes)%0A%0A%20%20%20%20-%20**You%20learn%3A**%20which%20layer%20of%20your%20pipeline%20catches%20which%20kind%20of%20problem%2C%20and%20why%20you%20need%20all%20of%20them.%0A%20%20%20%20-%20**You%20build%3A**%20%60refused_by_database%60%2C%20and%20a%20table%20of%20every%20problem%20in%20Round%202%20with%20the%20layers%20that%20caught%20it.%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Your%20pipeline%20has%20four%20layers%20between%20a%20file%20and%20the%20database%3A%20**Get**%20(reading%2C%20with%20%60code_to_text%60)%2C%20the%20**contract**%20(pandera)%2C%20the%20**cleaning**%2C%20and%20the%20**database**%20(its%20constraints).%20What%20would%20happen%20if%20someone%20skipped%20the%20first%20three%20and%20sent%20Round%202's%20raw%20rows%20straight%20to%20the%20database%3F%20To%20find%20out%20without%20harming%20the%20stored%20data%2C%20you%20try%20rows%20**inside%20a%20transaction%20and%20always%20roll%20back**%3A%20the%20database%20answers%2C%20and%20keeps%20nothing.%0A%0A%20%20%20%20%23%23%23%20Exercise%204.1.%20Would%20the%20database%20refuse%20these%20rows%3F%0A%0A%20%20%20%20**Why%20it%20matters%3A**%20knowing%20what%20the%20database%20alone%20refuses%20tells%20you%20what%20the%20earlier%20layers%20must%20catch.%20The%20rules%20it%20cannot%20see%20are%20the%20ones%20that%20depend%20on%20pandera.%0A%0A%20%20%20%20**Input%20%E2%86%92%20output%3A**%20a%20connection%2C%20a%20table%20name%20and%20some%20rows%20%E2%86%92%20%60%22accepted%22%60%2C%20or%20the%20first%20line%20of%20the%20database's%20error.%20Either%20way%2C%20the%20table%20is%20left%20exactly%20as%20it%20was.%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20con.execute(%22BEGIN%20TRANSACTION%22)%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20...%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20register%20the%20rows%20and%20insert%20them%20BY%20NAME%2C%20as%20in%20Exercise%203.1%0A%20%20%20%20%20%20%20%20result%20%3D%20%22accepted%22%0A%20%20%20%20except%20duckdb.Error%20as%20error%3A%0A%20%20%20%20%20%20%20%20result%20%3D%20str(error).splitlines()%5B0%5D%0A%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20con.execute(%22ROLLBACK%22)%20%20%20%20%20%23%20always%3A%20this%20is%20a%20test%2C%20nothing%20is%20kept%0A%20%20%20%20return%20result%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20refused_by_database(con%3A%20duckdb.DuckDBPyConnection%2C%20table%3A%20str%2C%20rows%3A%20pd.DataFrame)%20-%3E%20str%3A%0A%20%20%20%20%22%22%22Try%20inserting%20rows%2C%20keep%20nothing%3A%20%22accepted%22%2C%20or%20the%20first%20line%20of%20the%20database's%20error.%22%22%22%0A%20%20%20%20%23%20Exercise%204.1%3A%20the%20task%20and%20examples%20are%20in%20the%20text%20above%20this%20cell.%0A%20%20%20%20%23%20Follow%20the%20shape%20above%3A%20BEGIN%3B%20try%3A%20register%20and%20insert%2C%20result%20%3D%20%22accepted%22%3B%0A%20%20%20%20%23%20except%20duckdb.Error%3A%20result%20%3D%20the%20error's%20first%20line%3B%20finally%3A%20ROLLBACK.%20Return%20the%20result.%0A%20%20%20%20raise%20NotImplementedError(%22Exercise%204.1%22)%0A%0A%0A%40app.function%0Adef%20refusal_story(rows%3A%20pd.DataFrame)%20-%3E%20tuple%3A%0A%20%20%20%20%22%22%22Try%20rows%20against%20a%20small%20table%20that%20already%20holds%20one%20person%3B%20report%20the%20verdict%20and%20what%20the%20table%20holds%20after.%22%22%22%0A%20%20%20%20con%20%3D%20duckdb.connect()%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20con.execute(%22CREATE%20TABLE%20t%20(round%20VARCHAR%2C%20hhid%20VARCHAR%2C%20age%20DOUBLE%20CHECK%20(age%20BETWEEN%200%20AND%20120)%2C%20PRIMARY%20KEY%20(round%2C%20hhid))%22)%0A%20%20%20%20%20%20%20%20con.execute(%22INSERT%20INTO%20t%20VALUES%20('2024Q1'%2C%20'H1'%2C%2034)%22)%0A%20%20%20%20%20%20%20%20verdict%20%3D%20refused_by_database(con%2C%20%22t%22%2C%20rows)%0A%20%20%20%20%20%20%20%20return%20(%22accepted%22%20if%20verdict%20%3D%3D%20%22accepted%22%20else%20%22refused%22)%2C%20con.execute(%22SELECT%20count(*)%20FROM%20t%22).fetchall()%5B0%5D%5B0%5D%0A%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20con.close()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20_cases%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22a%20new%2C%20correct%20person%22%2C%20(pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%2C%20%22hhid%22%3A%20%5B%22H2%22%5D%2C%20%22age%22%3A%20%5B51.0%5D%7D)%2C))%2C%0A%20%20%20%20%20%20%20%20(%22an%20age%20of%20999%22%2C%20(pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%2C%20%22hhid%22%3A%20%5B%22H3%22%5D%2C%20%22age%22%3A%20%5B999.0%5D%7D)%2C))%2C%0A%20%20%20%20%20%20%20%20(%22the%20person%20already%20stored%2C%20again%22%2C%20(pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%2C%20%22hhid%22%3A%20%5B%22H1%22%5D%2C%20%22age%22%3A%20%5B34.0%5D%7D)%2C))%2C%0A%20%20%20%20%5D%0A%20%20%20%20check_cases(%0A%20%20%20%20%20%20%20%20%22Exercise%204.1%22%2C%20refusal_story%2C%20_cases%2C%20what%3D%22trials%22%2C%0A%20%20%20%20%20%20%20%20hint%3D%22Expected%3A%20the%20correct%20person%20is%20accepted%2C%20the%20other%20two%20refused%2C%20and%20every%20time%20the%20table%20still%20holds%20exactly%20one%20row%20afterwards.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Try%20it%3A%20an%20age%20of%20999%20against%20a%20small%20table.%0A%20%20%20%20course.try_it(refusal_story%2C%20pd.DataFrame(%7B%22round%22%3A%20%5B%222024Q1%22%5D%2C%20%22hhid%22%3A%20%5B%22H3%22%5D%2C%20%22age%22%3A%20%5B999.0%5D%7D))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.accordion(%7B%22If%20the%20check%20is%20red%3A%20common%20causes%20for%20Exercise%204.1%22%3A%20mo.md(r%22%22%22%0A%20%20%20%20%7C%20what%20you%20see%20%7C%20the%20usual%20cause%20%7C%20look%20at%20%7C%0A%20%20%20%20%7C%3A--%7C%3A--%7C%3A--%7C%0A%20%20%20%20%7C%20The%20table%20holds%202%20rows%20after%20a%20trial%20%7C%20The%20insert%20was%20kept%3A%20no%20%60ROLLBACK%60%2C%20or%20%60COMMIT%60%20instead.%20%7C%20%60finally%3A%20con.execute(%22ROLLBACK%22)%60%20%7C%0A%20%20%20%20%7C%20Everything%20is%20%22accepted%22%20%7C%20The%20error%20is%20caught%20too%20widely%2C%20or%20%60result%60%20is%20set%20after%20the%20%60except%60.%20%7C%20set%20%60result%20%3D%20%22accepted%22%60%20right%20after%20the%20insert%20%7C%0A%20%20%20%20%7C%20*cannot%20start%20a%20transaction%20within%20a%20transaction*%20%7C%20An%20earlier%20run%20left%20a%20transaction%20open.%20%7C%20the%20%60finally%60%20part%3B%20then%20run%20the%20cell%20again%20%7C%0A%0A%20%20%20%20Still%20stuck%20after%20ten%20minutes%3F%20Ask%20your%20table%2C%20then%20raise%20your%20hand.%0A%20%20%20%20%22%22%22)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.function%0Adef%20layer_table(round_id%3A%20str)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%22%22%22For%20each%20rule%20the%20raw%20round%20breaks%3A%20how%20many%20rows%2C%20whether%20the%20contract%20caught%20it%2C%20and%20what%20the%20database%20alone%20says.%22%22%22%0A%20%20%20%20raw%20%3D%20check_stage.load_staged(round_id)%0A%20%20%20%20schema%20%3D%20check_stage.survey_schema(check_stage.code_list_codes(check_stage.round_edition(round_id)))%0A%20%20%20%20failures%20%3D%20check_stage.validate_round(raw%2C%20schema)%0A%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20ddl%2C%20_%20%3D%20ddl_from_schema(schema%2C%20TABLE)%0A%20%20%20%20with%20course.database()%20as%20con%3A%0A%20%20%20%20%20%20%20%20create_tables(con%2C%20ddl)%0A%20%20%20%20%20%20%20%20for%20rule%2C%20group%20in%20failures.groupby(%22check%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20at%20%3D%20sorted(group%5B%22index%22%5D.dropna().astype(int).unique())%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Raw%20rows%20straight%20from%20staging%2C%20under%20a%20test%20round%20so%20they%20cannot%20clash%20with%20the%20stored%20rounds%0A%20%20%20%20%20%20%20%20%20%20%20%20trial%20%3D%20to_store(raw.loc%5Bat%5D.assign(round%3D%22TEST%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Copies%20of%20the%20same%20person%20only%20break%20a%20rule%20together%3B%20every%20other%20row%20is%20tried%20on%20its%20own%0A%20%20%20%20%20%20%20%20%20%20%20%20batches%20%3D%20%5Btrial%5D%20if%20rule%20%3D%3D%20%22multiple_fields_uniqueness%22%20else%20%5Btrial.iloc%5B%5Bi%5D%5D%20for%20i%20in%20range(len(trial))%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20verdicts%20%3D%20%5Brefused_by_database(con%2C%20TABLE%2C%20batch)%20for%20batch%20in%20batches%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20refused%20%3D%20%5Bv%20for%20v%20in%20verdicts%20if%20v%20!%3D%20%22accepted%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20alone%20%3D%20%22refused%22%20if%20len(refused)%20%3D%3D%20len(verdicts)%20else%20%22ACCEPTED%22%20if%20not%20refused%20else%20f%22refused%20%7Blen(refused)%7D%20of%20%7Blen(verdicts)%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B%22rule%22%3A%20rule%2C%20%22rows%22%3A%20len(at)%2C%20%22contract%22%3A%20%22caught%22%2C%20%22database%20alone%22%3A%20alone%2C%20%22database's%20message%22%3A%20refused%5B0%5D%5B%3A120%5D%20if%20refused%20else%20%22%22%7D)%0A%20%20%20%20return%20pd.DataFrame(rows).sort_values(%5B%22database%20alone%22%2C%20%22rule%22%5D).reset_index(drop%3DTrue)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20layer_button%20%3D%20mo.ui.run_button(label%3D%22Try%20Round%202's%20raw%20problems%20against%20the%20database%22)%0A%20%20%20%20layer_button%0A%20%20%20%20return%20(layer_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(layer_button)%3A%0A%20%20%20%20mo.stop(not%20layer_button.value)%0A%20%20%20%20_table%20%3D%20attempt(layer_table%2C%20%222024Q1%22)%0A%20%20%20%20mo.stop(_table%20is%20NOT_YET%2C%20waiting_for(%22Exercise%204.1%22))%0A%20%20%20%20_short%20%3D%20int((pd.read_csv(PATHS.rounds%20%2F%20%222024Q1%22%20%2F%20%22survey.csv%22%2C%20dtype%3Dstr)%5B%22PSGC%22%5D.str.len()%20%3D%3D%209).sum())%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20_table%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20**Read%20it%20row%20by%20row.**%0A%0A%20%20%20%20-%20Before%20all%20of%20these%3A%20**Get**%20repaired%20%7B_short%7D%20area%20codes%20that%20lost%20their%20leading%20zero%2C%20and%20flagged%20the%20code%20that%20is%20not%20in%20the%20code%20list%20(your%20decision%20kept%20those%20people).%0A%20%20%20%20-%20Every%20rule%20here%20was%20**caught%20by%20the%20contract**%2C%20and%20the%20**cleaning**%20fixed%20or%20removed%20every%20row%20(the%20Check%20module's%20report).%0A%20%20%20%20-%20The%20**database%20alone**%20refuses%20most%20of%20them%2C%20by%20its%20constraints%3A%20the%20last%20line%20of%20defence.%0A%20%20%20%20-%20The%20rules%20marked%20**ACCEPTED**%20are%20the%20ones%20the%20database%20cannot%20see%3A%20rules%20about%20several%20columns%20at%20once.%20Without%20pandera%2C%20those%20rows%20would%20be%20stored%2C%20and%20nothing%20would%20say%20so.%20That%20is%20why%20the%20pipeline%20has%20more%20than%20one%20layer.%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205%20%C2%B7%20Run%20it%20all%0A%0A%20%20%20%20%60run.py%60%20now%20runs%20every%20stage%20for%20each%20round%3A%20**Get**%2C%20**Check**%20(contract%2C%20warnings%2C%20cleaning%2C%20contract%20again)%20and%20**Store**.%20In%20the%20course%20folder%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20uv%20run%20python%20run.py%20--rounds%202023Q4%2C2024Q1%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Run%20it%20twice.%20The%20second%20run%20gives%20the%20same%20counts%3A%20your%20loads%20are%20idempotent.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.callout(mo.md(r%22%22%22%0A%20%20%20%20**Recap%20of%20Check%20and%20Store**%0A%0A%20%20%20%20-%20The%20contract%20says%2C%20once%2C%20what%20a%20correct%20round%20is%3B%20pandera%20checks%20it%20before%20loading%2C%20the%20database's%20generated%20constraints%20check%20it%20again%20when%20loading.%0A%20%20%20%20-%20Cleaning%20is%20code%20with%20a%20report%20and%20written%20decisions%2C%20run%20again%20on%20every%20round.%0A%20%20%20%20-%20Loads%20are%20idempotent%20and%20all-or-nothing.%0A%20%20%20%20-%20Each%20layer%20catches%20different%20problems%3B%20together%20they%20let%20nothing%20through%2C%20and%20the%20rules%20about%20several%20columns%20depend%20on%20pandera.%0A%0A%20%20%20%20Key%20terms%20(%5Bglossary%5D(%2F%3Ffile%3D91_glossary.py))%3A%20layer%2C%20constraint%2C%20transaction%2C%20idempotent.%20Before%20you%20go%2C%20take%20the%20**post-test**%20(below).%20Stretch%20exercises%20for%20Check%20and%20Store%3A%20%5B82_stretch_day2.py%5D(%2F%3Ffile%3D82_stretch_day2.py).%0A%20%20%20%20%22%22%22)%2C%20kind%3D%22success%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20course.quizzes_at(%224.2%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A
981a8f6db74c7218435d95b89ec163d2