2022-01-01から1年間の記事一覧

Pythonでスクレイピングを並列処理する

並列処理について調べていたら、スクレイピングはサーバのレスポンス待ちなどでデータ受信に時間がかかるので、並列処理すると効率がよいという話を読んだ。 確かに納得感のある説明だが、実際のところどのくらいの効果があるのか気になり簡単な実験をしてみ…

null判定を含むSQLのcaseの書き方

SQLのcaseは列の値によって結果を出し分けたいときに便利な書き方である。 列名がwhenの外側かにくるか内側にくるかで大きく分けて2つの書き方があり、前者をcase式、後者をcase文と呼ぶ向きもある。*1 case <列名> when <条件1(「= 特定の値」など)> the…

Jupyter Notebookでローカルモジュールの更新を反映するときの注意点

ローカルモジュールを更新したとき、Jupyter Notebookを再起動しなければ更新内容が挙動に反映されない。以下のリンク先にもそのような説明がある。qiita.comtm23forest.comここで気をつけたいのは、更新内容が出力セルには反映される点だ。たとえばJupyter …

(随時更新)2022年に読んだ本のメモ

2月 www.shoeisha.co.jpwww.kspub.co.jpwww.msz.co.jpwww.chuko.co.jpwww.chikumashobo.co.jp 1月 データサイエンス関連 www.kspub.co.jp ベイズ統計の本をまともに読んだことがなかったのでざっと通読した。ソースコードが多くを占める本としては、理論的な…

相関係数と正規性

最近、相関係数における2変数の正規性の必要性について考えることがあり、そのときに調べたことをまとめた。確証の持てる結論は得られず、ややお気持ち的なまとめになっている。 推測統計の文脈で相関係数を使う場合 相関係数の検定や区間推定をする場合、事…