Python2年生 スクレイピングのしくみ 読んでみた。
［記事公開日］2021/01/18
［最終更新日］2023/06/10
Python
プログラミング
いろんな本が出てるので、どれを読んだらいいかわからない場合があります。
Pythonって何が出来るの？
プログラミング言語 Python
https://www.python.jp/index.html
機械学習やデータ分析になくてはならないデータ。
このようなデータはインターネット上には膨大にありますが、
Pythonを使えば効率よくデータ収集できます。
こうした手法をスクレイピング（scraping）といいます。
本書は、
Pythonの勉強をしたけど、次へのステップとして、何をしたらいいか、わからない。
Pythonの基本文法を知っている方
Python 1年生を読み終えた方
データ収集やデータ分析の初心者などに、わかりやすく解説
サンプルデータもあります。
サイトによっては、ログインしないと、スクレイピング（Web scraping）が出来ないです。ライブラリなどインストールすれば、それも可能です。
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ 単行本（ソフトカバー） – 2019/10/4
森 巧尚 (著)
ネット上からデータ収集を行う初心者
データ分析の手前の初心者
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ 単行本（ソフトカバー） – 2019/10/4
森 巧尚 (著)
目次
Python2年生 スクレイピングのしくみ 読んでみた。
第1章 Pythonでデータをダウンロード
第2章 HTMLを解析しよう
第3章 表データの読み書きしよう
第4章 オープンデータを分析してみよう
第5章 Web APIでデータを収集しよう
Python3年生 ディープラーニングのしくみ 体験してわかる!会話でまなべる! 単行本 – 2023/8/3
森 巧尚 (著)
「Python3年生」から初めて学ぶ方でもわかるように工夫しています
Python2年生 デスクトップアプリ開発のしくみ 体験してわかる!会話でまなべる! 単行本 – 2022/12/19
森 巧尚 (著)
Pythonで
デスクトップアプリ開発を
体験してみよう!
Python2年生 デスクトップアプリ開発のしくみ 体験してわかる!会話でまなべる! 単行本 – 2022/12/19
森 巧尚 (著)
Python1年生 第2版 体験してわかる!会話でまなべる!プログラミングのしくみ 単行本 – 2022/8/4
森 巧尚 (著)
読者の声に応えて
第2版の登場
Python1年生 第2版 体験してわかる!会話でまなべる!プログラミングのしくみ 単行本 – 2022/8/4
森 巧尚 (著)
初心者からちゃんとしたプロになる Python基礎入門 単行本（ソフトカバー） – 2023/4/21
大津真 (著), 田中賢一郎 (著)
Pythonの基礎からゲーム・Webスクレイピング・機械学習まで！
初心者からちゃんとしたプロになる Python基礎入門 単行本（ソフトカバー） – 2023/4/21
大津真 (著), 田中賢一郎 (著)
今日からできる! Python業務効率化スキルが身につく本 単行本 – 2022/11/11
いまにゅ (著)
「本×動画」で学ぶから超わかりやすい
今日からできる! Python業務効率化スキルが身につく本 単行本 – 2022/11/11
いまにゅ (著)
Pythonではじめる 音のプログラミング: コンピュータミュージックの信号処理 単行本 – 2022/9/6
青木 直史 (著)
Pythonで音作りをはじめよう!
よくわかるPython入門 単行本 – 2022/9/6
富士通ラーニングメディア (著)
人気ベスト10にもよく入る「Python入門」の研修コースの内容を今回書籍化しました。
よしもとプログラミング部と学ぶPython「超」入門教室(仮) 先生! 僕たちにPythonを教えてください! 単行本（ソフトカバー） – 2022/9/16
株式会社リーディング・エッジ社 (著), 吉本興業プログラミング部 (著)
吉本プログラミング部と一緒にプログラミングを1から学ぼう
よしもとプログラミング部と学ぶPython「超」入門教室(仮) 先生! 僕たちにPythonを教えてください! 単行本（ソフトカバー） – 2022/9/16
株式会社リーディング・エッジ社 (著), 吉本興業プログラミング部 (著)
プログラマーは世界をどう見ているのか (SB新書) 新書 – 2022/7/6
西村博之 (著)
文系出身のプログラマー・ひろゆきによる、
知識ゼロから取り組める、プログラミング超入門書!
プログラマーは世界をどう見ているのか (SB新書) 新書 – 2022/7/6
西村博之 (著)
紙とえんぴつで学ぶアルゴリズムとフローチャート 単行本 – 2022/6/24
岩松 洋 (著)
「プログラミングは勉強したのに、自分でプログラム作れない…」
そう悩んでいる人、けっこう多いんです。
紙とえんぴつで学ぶアルゴリズムとフローチャート 単行本 – 2022/6/24
岩松 洋 (著)
高校生からのPython入門 単行本（ソフトカバー） – 2022/4/13
立山 秀利 (著)
今年度から新たに高校でもプログラミング教育が必修化されました。
そんな今、まさに必要とされている高校生に向けたPython入門書です。
Python自動化簡単レシピ Excel・Word・PDFなどの面倒なデータ処理をサクッと解決 単行本（ソフトカバー） – 2022/5/23
森 巧尚 (著)
ビジネス現場では、様々な業務でPythonが利用され始めています。
Python自動化簡単レシピ Excel・Word・PDFなどの面倒なデータ処理をサクッと解決 単行本（ソフトカバー） – 2022/5/23
森 巧尚 (著)
野田クリスタルとあそぶ! PythonプログラミングBOOK (バラエティ) 大型本 – 2022/4/20
野田 クリスタル (著)
マヂカルラブリーの野田クリスタルさんと共にゲーム作りを学べる
超初心者向けプログラミング本の登場です!
野田クリスタルとあそぶ! PythonプログラミングBOOK (バラエティ) 大型本 – 2022/4/20
野田 クリスタル (著)
アメリカの中学生が学んでいる 14歳からのプログラミング 単行本（ソフトカバー） – 2022/3/9
ワークマンパブリッシング (著), 千葉敏生 (翻訳)
はじめてプログラミングを学ぶ人も
これまでプログラミングでつまづいた人も
これ1冊で一生使えるスキルが身につく!
実況! ビジネス力養成講義 プログラミング/システム 単行本（ソフトカバー） – 2022/3/5
岡嶋 裕史 (著)
プログラムは結局、「運動会のプログラム」と同じ?。
確かな力が身につくPython「超」入門 第2版 (確かな力が身につく「超」入門) 単行本（ソフトカバー） – 2022/3/8
鎌田 正浩 (著)
初心者に向けて、画面に打ち込む最初の1文字から丁寧に解説したPythonの入門書を、さらに分かりやすく改定しました。
フルカラー、多数のイラストで楽しく読めるので挫折させません。
確かな力が身につくPython「超」入門 第2版 (確かな力が身につく「超」入門) 単行本（ソフトカバー） – 2022/3/8
鎌田 正浩 (著)
Python最速データ収集術 〜スクレイピングでWeb情報を自動で集める (IT×仕事術) 単行本（ソフトカバー） – 2022/1/22
清水 義孝 (著)
プログラミングで情報収集を自動化!
Pythonエンジニア育成推進協会監修 Python実践レシピ 単行本（ソフトカバー） – 2022/1/19
鈴木 たかのり (著), 筒井 隆次 (著), 寺田 学 (著), & 3 そ
Pythonプログラミングに必携の、言語とライブラリの実践知識を網羅した1冊!
Pythonエンジニア育成推進協会監修 Python実践レシピ 単行本（ソフトカバー） – 2022/1/19
鈴木 たかのり (著), 筒井 隆次 (著), 寺田 学 (著), & 3 そ
アルゴリズムがわかる図鑑 (まなびのずかん) 単行本（ソフトカバー） – 2022/1/7
松浦 健一郎 (著), 司 ゆき (著)
あのややこしそうなアルゴリズムがこんなにわかりやすいなんて!
Pythonでプログラミング
アルゴリズムがわかる図鑑 (まなびのずかん) 単行本（ソフトカバー） – 2022/1/7
松浦 健一郎 (著), 司 ゆき (著)
あなたの仕事が一瞬で片付くPythonによる自動化仕事術 | 大人気 Youtube「キノコード」と連動して学習可能 単行本（ソフトカバー） – 2021/12/24
キノコード (著)
本書の内容は、全てKinoCodeのYouTube動画と連動しており、ページに設置されたQRコードを読み取って動画をご視聴いただくことができます。
あなたの仕事が一瞬で片付くPythonによる自動化仕事術 | 大人気 Youtube「キノコード」と連動して学習可能 単行本（ソフトカバー） – 2021/12/24
キノコード (著)
スラスラ読める Pythonふりがなプログラミング スクレイピング入門 単行本（ソフトカバー） – 2021/12/1
リブロワークス (著), 株式会社ビープラウド (監修)
スラスラ読める Pythonふりがなプログラミング スクレイピング入門 単行本（ソフトカバー） – 2021/12/1
リブロワークス (著), 株式会社ビープラウド (監修)
Python3年生 機械学習のしくみ 体験してわかる! 会話でまなべる! 単行本（ソフトカバー） – 2021/12/6
森 巧尚 (著)
機械学習をいちから学んでみよう
「Python1年生」「Python2年生」を読み終えた方を対象とした入門書です。
Python3年生 機械学習のしくみ 体験してわかる! 会話でまなべる! 単行本（ソフトカバー） – 2021/12/6
森 巧尚 (著)
Python 1年生シリーズ
Pythonのプログラミングについて、何も知らない初心者の方には、おすすめな本だと思います。
Python1年生シリーズ。
今では、Python 2年生シリーズも2種類出てます。
（スクレイピングのしくみ、と、データ分析のしくみが出てます。）
Pythonのプログラミング言語
Pythonもバージョンアップされてます。
2021年、現在のバージョンはPython3.9系です。
Python 1年生 体験してわかる！会話でまなべる！プログラミングのしくみ (日本語) 単行本（ソフトカバー） – 2017/12/5
Web開発やデータ分析などの分野で近年、ユーザー数が増えてきているPython。
最近では、Pythonに触れる方も多くなってきています。
本書はそうしたPython初心者の方に向けて、
簡単なサンプルを作りながら、対話形式でプログラミングのしくみを学ぶ書籍です。
Python
スクレイピングのしくみが読み終わった人は、
データ分析のしくみも出てます。
データ分析して必要なデータを取得しよう
Python2年生 データ分析のしくみ では、Anaconda（アナコンダ）をダウンロードしインストールして、環境構築Jupyter Notebook（ジュピターノートブック）で、Pythonを使う方法で解説されてます。
Anaconda（アナコンダ）を利用したPythonの環境構築
Anaconda（アナコンダ）は、Pythonでよく使われる、外部ライブラリが最初から入ってます。
Anaconda
https://www.anaconda.com
Python2年生 データ分析のしくみ 体験してわかる! 会話でまなべる! (日本語) 単行本（ソフトカバー） – 2020/8/21
スクレイピングなどで集めた大量のデータ。
データの分析方法を知りたい初心者
Python2年生 データ分析のしくみ 体験してわかる! 会話でまなべる! (日本語) 単行本（ソフトカバー） – 2020/8/21
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ (日本語) 単行本（ソフトカバー） – 2019/10/4
ネット上からデータ収集を行う初心者
データ分析の手前の初心者
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ (日本語) 単行本（ソフトカバー） – 2019/10/4
コピペで簡単実行! キテレツおもしろ自然言語処理 PythonとColaboratoryで身につく基礎の基礎 単行本（ソフトカバー） – 2021/12/6
youwht (著)
Python自然言語処理を、遊びながら学ぼう!
「面白さ」と「学び」がひとつに詰まった入門書!
コピペで簡単実行! キテレツおもしろ自然言語処理 PythonとColaboratoryで身につく基礎の基礎 単行本（ソフトカバー） – 2021/12/6
youwht (著)
スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活 (技術の泉シリーズ（NextPublishing）) オンデマンド (ペーパーバック) – 2020/9/4
齊藤 貴義 (著)
本書ではPythonを使ったWebスクレイピングテクニックについて解説します。
作業が一瞬で片付く Python自動化仕事術 単行本（ソフトカバー） – 2021/9/25
永井雅明 (著)
作業が一瞬で片付く Python自動化仕事術 単行本（ソフトカバー） – 2021/9/25
永井雅明 (著)
スラスラわかるPython 第2版 単行本（ソフトカバー） – 2021/11/17
岩崎 圭 (著), 北川 慎治 (著), 寺田 学 (監修)
Pythonの技術を基礎からやさしく解説した、入門書の決定版
スラスラわかるPython 第2版 単行本（ソフトカバー） – 2021/11/17
岩崎 圭 (著), 北川 慎治 (著), 寺田 学 (監修)
そろそろ常識? マンガでわかる「Python機械学習」 単行本（ソフトカバー） – 2021/9/22
田中賢一郎 (著), 澤田千代子 (著), リブロワークス (編集),
本書は、プログラミングやPython、機械学習の初心者向けに、マン ガでPython機械学習を解説します。
そろそろ常識? マンガでわかる「Python機械学習」 単行本（ソフトカバー） – 2021/9/22
田中賢一郎 (著), 澤田千代子 (著), リブロワークス (編集),
Pythonで作るゲームSNS 単行本（ソフトカバー） – 2021/9/22
大西武 (著)
本書はWebアプリ用のPythonを使って会員制サイトを作る入門書です。
Pythonで作るゲームSNS 単行本（ソフトカバー） – 2021/9/22
大西武 (著)
Pythonプログラミング完全入門 ~ノンプログラマーのための実務効率化テキスト 単行本（ソフトカバー） – 2021/8/2
高橋 宣成 (著)
武器としてのPythonを基礎から身につけるための1冊!
Pythonプログラミング完全入門 ~ノンプログラマーのための実務効率化テキスト 単行本（ソフトカバー） – 2021/8/2
高橋 宣成 (著)
スラスラ読める Pythonふりがなプログラミング 増補改訂版 (ふりがなプログラミングシリーズ) 単行本（ソフトカバー） – 2021/7/26
リブロワークス (著), 株式会社ビープラウド (監修)
人気シリーズ「Pythonふりがなプログラミング」を大きくして読みやすく、
内容を充実させて改訂しました。
スラスラ読める Pythonふりがなプログラミング 増補改訂版 (ふりがなプログラミングシリーズ) 単行本（ソフトカバー） – 2021/7/26
リブロワークス (著), 株式会社ビープラウド (監修)
解きながら学ぶ Pythonつみあげトレーニングブック 単行本 – 2021/7/16
リブロワークス (著), 株式会社ビープラウド (監修)
脱入門! プログラミング力を“トレーニング”でアップせよ!
解きながら学ぶ Pythonつみあげトレーニングブック 単行本 – 2021/7/16
リブロワークス (著), 株式会社ビープラウド (監修)
動画×会話でゼロからはじめるPython入門 (Informatics&IDEA) 単行本（ソフトカバー） – 2021/6/15
赤司 達彦 (著)
こんな人におすすめの本です
・プログラミングをやってみたいけど難しそうと思っている人
・Pythonを知りたい、やってみたいと思っている人
・AI(人工知能)やアプリ作成に興味のある人
動画×会話でゼロからはじめるPython入門 (Informatics&IDEA) 単行本（ソフトカバー） – 2021/6/15
赤司 達彦 (著)
ゲーム作りで楽しく学ぶ Pythonのきほん 単行本（ソフトカバー） – 2021/6/25
森 巧尚 (著)
ゲームを作りながらPythonを楽しく学ぶ!
ゲーム作りで楽しく学ぶ Pythonのきほん 単行本（ソフトカバー） – 2021/6/25
森 巧尚 (著)
Unityゲーム プログラミング・バイブル 2nd Generation 単行本 – 2021/6/29
森 哲哉 (著), 布留川 英一 (著), 西森 丈俊 (著), 車谷 勇人 (著), & 20 その他
Unityゲーム プログラミング・バイブル 2nd Generation 単行本 – 2021/6/29
森 哲哉 (著), 布留川 英一 (著), 西森 丈俊 (著), 車谷 勇人 (著), & 20 その他
JavaScriptゲームプログラミング 知っておきたい数学と物理の基本 (Future Coders（NextPublishing）) オンデマンド (ペーパーバック) – 2017/4/7
田中 賢一郎 (著)
本書では前提としている言語はHTML/JavaScriptだけです。DirectXやOpenGL、WebGLといった高度なAPIは使いません。ゲーム用ライブラリも一切使用しません。自分で数式を実装し、その結果をCanvas上に描画しながら2Dや3Dのゲームを実装してゆきます。すべて自分の手でプログラミングすることで、数学や物理の基礎に親しむとともに、プログラミングの楽しさを実感してもらうのが本書の狙いです。
価格：￥ 858（価格変動あり）
JavaScriptゲームプログラミング 知っておきたい数学と物理の基本 (Future Coders（NextPublishing）) Kindle版
田中 賢一郎 (著) 形式: Kindle版
Pythonゲームプログラミング 知っておきたい数学と物理の基本 (Future Coders（NextPublishing）) オンデマンド (ペーパーバック) – 2017/4/4
田中 賢一郎 (著)
PyGameだけで、自分で数式を実装し、物理エンジンや画像処理、VRMLビューワ、3Dゲームを作る!
本書では前提としているモジュールはPyGameだけです。DirectXやOpenGL、WebGLといった高度なAPIは使いません。自分で数式を実装し、その結果をSurface上に描画しながら2Dや3Dのゲームを実装してゆきます。すべて自分の手でプログラミングすることで、数学や物理の基礎に親しむとともに、プログラミングの楽しさを実感してもらうのが本書の狙いです。
価格：￥ 858（価格変動あり）
Pythonゲームプログラミング 知っておきたい数学と物理の基本 (Future Coders（NextPublishing）) Kindle版
田中 賢一郎 (著) 形式: Kindle版
ゲームを作りながら楽しく学べるPythonプログラミング (Future Coders（NextPublishing）) オンデマンド (ペーパーバック) – 2017/4/4
田中 賢一郎 (著)
本書の目的はPythonの基礎を習得することです。Pythonは機械学習など最先端の分野で注目されていますが、プログラミングを学習するための言語としても適しています。
プログラミング言語は本を読むだけではなかなか身に付きません。“いろいろなソースコードを読んで、いろいろなプログラムを書いてみる”といったプロセスが大切です。そこで、本書では前半でPythonの文法について説明し、後半で多くのサンプルを取り上げました。どのように文法が実装に落とし込まれているか見て欲しかったからです。このプロセスを継続するときに大切なのはモチベーションです。楽しくなければものごとは続きません。そこで、本書ではゲームを題材に選びました。ゲームで遊ぶのは楽しいことですが、作るのも同じように楽しいはずです。
価格：￥ 495（価格変動あり）
ゲームを作りながら楽しく学べるPythonプログラミング (Future Coders（NextPublishing）) Kindle版
田中 賢一郎 (著) 形式: Kindle版
動かして学ぶ! Pythonサーバレスアプリ開発入門 単行本（ソフトカバー） – 2021/6/14
本田 崇智 (著)
PythonとAWSで
サーバレスアプリケーションを開発しよう!
動かして学ぶ! Pythonサーバレスアプリ開発入門 単行本（ソフトカバー） – 2021/6/14
本田 崇智 (著)
Pythonではじめるデスクトップアプリ開発入門 オンデマンド (ペーパーバック) – 2021/3/17
久我 涼子 (著)
体験してわかるプログラミング教育 ~うちの子の「考える力」が伸びるワケ 単行本（ソフトカバー） – 2021/6/2
淺井 登 (著)
はまるプログラミング！スクラッチでゲーム作品をひとつ作ろう！！ Kindle版
成沢はまる (著) 形式: Kindle版
本書で解説しているプログラミングアプリは、「スクラッチ」を使用しています。
プログラミング「何だか難しそう」となってしまいがち
小学教科書ワーク プログラミング的思考 3~6年 (オールカラー,付録付き) 単行本 – 2020/3/15
文理 編集部 (著)
「プログラミング教育必修化」への対策はこれでかんぺき!
人気の『教科書ワーク』シリーズに,待望の「プログラミング的思考」が加わりました!
小学教科書ワーク プログラミング的思考 3~6年 (オールカラー,付録付き) 単行本 – 2020/3/15
文理 編集部 (著)
すみっコぐらし学習ドリル 小学1・2年 はじめてのプログラミングドリル 単行本 – 2019/11/29
鈴木 二正 (著)
プログラミングの基本をパソコンなしで学習
すみっコぐらし学習ドリル 小学1・2年 はじめてのプログラミングドリル 単行本 – 2019/11/29
鈴木 二正 (著)
まんがでプログラミング 進め!けやき坂クリエイターズ Scratch 3.0編 単行本（ソフトカバー） – 2021/6/3
橋爪 香織 (著), たき りょうこ (著), 阿部 和広 (監修)
本書は「はじめてのプログラミング」で人気を博した物語をそのままに、Scratch 3.0に対応して新装改訂した、最新プログラミング入門書です。
まんがでプログラミング 進め!けやき坂クリエイターズ Scratch 3.0編 単行本（ソフトカバー） – 2021/6/3
橋爪 香織 (著), たき りょうこ (著), 阿部 和広 (監修)
日経ソフトウエア 2021年 7 月号 雑誌 – 2021/5/24
日経ソフトウエア (編集)
ゲームボーイで動くゲームを作ろう
「micro: bit v2」で楽しいプログラミング
やさしくわかるPythonの教室 単行本（ソフトカバー） – 2021/5/15
リブロワークス (著), 株式会社ビープラウド (監修)
イラスト&会話形式で楽しもう! やさしくわかるPythonの教室。
やさしくわかるPythonの教室 単行本（ソフトカバー） – 2021/5/15
リブロワークス (著), 株式会社ビープラウド (監修)
Python ゼロからはじめるプログラミング (プログラミング学習シリーズ) 単行本（ソフトカバー） – 2021/5/24
三谷 純 (著)
プログラミング学習シリーズにPythonが新登場!
Python ゼロからはじめるプログラミング (プログラミング学習シリーズ) 単行本（ソフトカバー） – 2021/5/24
三谷 純 (著)
Pythonではじめるデスクトップアプリ開発入門 [プリント・レプリカ] Kindle版
久我 涼子 (著) 形式: Kindle版
本書は、プログラミングの知識がゼロからでも学習をはじめられます。最終的には、自身で小～中規模のデスクトップアプリケーションを開発できるようになることを目標にしています。本書を終えるころには、Pythonの公式ドキュメントや他の入門書を読む力も身につきます。
理解できればビジネスが10倍加速する! SEのトリセツ 単行本（ソフトカバー） – 2021/3/19
津田 徹 (著)
システムエンジニア(SE)になりたい人・SEに仕事を依頼している人、ビジネス上に関係のある人が知っておきたいSEの生態を解説
理解できればビジネスが10倍加速する! SEのトリセツ 単行本（ソフトカバー） – 2021/3/19
津田 徹 (著)
図解! Pythonのツボとコツがゼッタイにわかる本 プログラミング実践編 単行本 – 2021/3/27
立山秀利 (著)
図解! Pythonのツボとコツがゼッタイにわかる本 プログラミング実践編 単行本 – 2021/3/27
立山秀利 (著)
図解! JavaScriptのツボとコツがゼッタイにわかる本 “超”入門編 単行本 – 2021/3/24
中田 亨 (著)
JavaScriptの文法を基礎これから学びたいという初心者のための入門書。基本文法からゲームの作成まで、楽しくプログラミングを学べます。
図解! JavaScriptのツボとコツがゼッタイにわかる本 “超”入門編 単行本 – 2021/3/24
中田 亨 (著)
Web配信の技術―HTTPキャッシュ・リバースプロキシ・CDNを活用する (日本語) 単行本（ソフトカバー） – 2021/2/13
HTTPキャッシュ、リバースプロキシ、CDNなどWeb開発で大切な「配信」の技術。重要な技術ながら、現場では知見のあるエンジニアが少なく、なんとなくで運用されていたり、導入が遅れていたりします。本書では、HTTPキャッシュの基礎から解説し、一冊でしっかり配信が学べます。
Web配信の技術―HTTPキャッシュ・リバースプロキシ・CDNを活用する (日本語) 単行本（ソフトカバー） – 2021/2/13
集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析 (できるDigital Camp) (日本語) 単行本（ソフトカバー） – 2021/2/19
木田 和廣 (著)
集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析 (できるDigital Camp) (日本語) 単行本（ソフトカバー） – 2021/2/19
木田 和廣 (著)
Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド (日本語) 単行本（ソフトカバー） – 2019/8/10
Pythonによるクローリング・スクレイピングの入門から実践までを解説した書籍です。2017年の初版から内容をアップデート
Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド (日本語) 単行本（ソフトカバー） – 2019/8/10
Pythonコードレシピ集 (日本語) 単行本（ソフトカバー） – 2021/1/23
Pythonコードレシピ集 (日本語) 単行本（ソフトカバー） – 2021/1/23
こども統計学 なぜ統計学が必要なのかがわかる本 (日本語) 単行本（ソフトカバー） – 2020/12/14
統計学はデータを正しく読み取ったり、確率からより正しい判断ができるようになる学問です。「ビッグデータ」や「AI」がビジネスの世界でキーワードになっています。
こども統計学 なぜ統計学が必要なのかがわかる本 (日本語) 単行本（ソフトカバー） – 2020/12/14
PythonでExcel、メール、Webを自動化する本 (日本語) 単行本 – 2020/9/19
PythonでExcel、メール、Webを自動化する本 (日本語) 単行本 – 2020/9/19
シゴトがはかどる Python自動処理の教科書 (日本語) 単行本（ソフトカバー） – 2020/12/28
シゴトがはかどる Python自動処理の教科書 (日本語) 単行本（ソフトカバー） – 2020/12/28
人気ブロガーからあげ先生のとにかく楽しいAI自作教室 (日本語) 単行本 – 2021/1/8
人気ブロガーからあげ先生のとにかく楽しいAI自作教室 (日本語) 単行本 – 2021/1/8
12歳からはじめる ゼロからの Pythonゲームプログラミング教室 (日本語) 単行本（ソフトカバー） – 2017/5/11
Pythonで儲かるAIをつくる (日本語) 単行本 – 2020/8/6
Pythonで儲かるAIをつくる (日本語) 単行本 – 2020/8/6
Python実践データ分析100本ノック (日本語) 単行本 – 2019/9/27
Python実践データ分析100本ノック (日本語) 単行本 – 2019/9/27
プログラムはなぜ動くのか 第２版 知っておきたいプログラムの基礎知識 (日本語) 単行本（ソフトカバー） – 2007/4/1
【この1冊でよくわかる】ソフトウェアテストの教科書―品質を決定づけるテスト工程の基本と実践 (日本語) 単行本 – 2012/1/28
【この1冊でよくわかる】ソフトウェアテストの教科書―品質を決定づけるテスト工程の基本と実践 (日本語) 単行本 – 2012/1/28
基礎Python 改訂2版 (IMPRESS KISO SERIES) (日本語) 単行本（ソフトカバー） – 2021/1/22
Pythonで儲かるAIをつくる (日本語) 単行本 – 2020/8/6
Pythonで儲かるAIをつくる (日本語) 単行本 – 2020/8/6
図解即戦力 仮想化&コンテナがこれ1冊でしっかりわかる教科書 (日本語) 単行本（ソフトカバー） – 2020/11/20
現在のシステム開発・運用に欠かすことのできない仮想化技術とコンテナ技術について、その基本をわかりやすく解説する図解本
図解即戦力 仮想化&コンテナがこれ1冊でしっかりわかる教科書 (日本語) 単行本（ソフトカバー） – 2020/11/20
スッキリわかるPython入門 (スッキリシリーズ) (日本語) 単行本（ソフトカバー） – 2019/6/13
ビジネスPython超入門 (日本語) 単行本（ソフトカバー） – 2019/6/6
ゼロから学ぶPythonプログラミング Google Colaboratoryでらくらく導入 (KS情報科学専門書) (日本語) 単行本 – ビッグブック, 2020/12/17
SNSで大絶賛の名講義がついに書籍化
ゼロから学ぶPythonプログラミング Google Colaboratoryでらくらく導入 (KS情報科学専門書) (日本語) 単行本 – ビッグブック, 2020/12/17
Python2年生 スクレイピングのしくみ 読んでみた。
この本は、
カラー印刷本で、わかりやすく解説
体験してわかる。会話でわかる。など解説が丁寧な方だと思います。
データを解析して必要なデータを取得しよう。
機械学習やデータ分析になくてはならないデータ。
このようなデータはインターネット上には膨大にありますが、
Pythonを使えば効率よくデータ収集できます。
こうした手法をスクレイピングといいます。
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ 単行本（ソフトカバー） – 2019/10/4
森 巧尚 (著)
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ 単行本（ソフトカバー） – 2019/10/4
森 巧尚 (著)
目次
Python2年生 スクレイピングのしくみ 読んでみた。
第1章 Pythonでデータをダウンロード
第2章 HTMLを解析しよう
第3章 表データの読み書きしよう
第4章 オープンデータを分析してみよう
第5章 Web APIでデータを収集しよう
プログラミング言語 Python
https://www.python.jp
サンプルのテスト環境について
この本は、
2019年9月の時点など解説あり
また、Python3.7以降での動作確認をしています。と書かれています。
公式サイトPythonのダウンロードのページでは、Pythonのバージョンのサポート期限や、過去のPythonなどもダウンロードできます。
https://www.python.org/downloads/
自分の場合
Python3.6を使用してやったらエラーがでました。
Pythonのバージョンが古いから？
使っているOSバージョンが古いから？その他が原因？
本と同じ、環境ですれば、問題なく、たぶんできる思います。
この本では書いてないですが
Googleのchromeのブラウザ上で無料で利用が出来る
Google、Colaboratoryを使えば、
Pythonプログラミングなどできます。
Googleのアカウントなど持ってる（作成してる）なら
Colaboratoryを使えます。
Google Colaboratory はPythonバージョンは3.6らしいです。
Google Colaboratoryを利用すれば環境構築の手間などいらないです。
自分のパソコンに何もインストールする必要ないです。
Google、Colaboratory
https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja
Google Colaboratoryの始め方
Googleのアカウントでログインする
Google、Colaboratoryにログインしたら
ファイルからノートブックを新規作成するだけで、Pythonの利用が可能
Pythonって、プログラミングする前の準備の設定とかで、大変な場合もあります。
基本は、公式サイトのPythonからダウンロードしてインストールすれば利用ができるので、
簡単だと思いますが、
外部ライブラリなどインストールして使う場合や
ターミナルのアプリなのでライブラリを追加でインストールした。
インストールしたのに、エラーが出で、よくわからない場合などあります。
そういう場合など準備の段階で難しく感じます。
なるべく最新版をインストールして使うのがいいとは思います。
ただ、人によっては全く同じ環境などで、プログラミングをしてない人もいると思います。
使っている環境によっては、
本に書いてある通りに、プログラミングをしても、エラーなど出る場合があると思います。
エラーなど出た場合は
出版社の追加情報を見るか、又は自分で調べたりしてするしかないです。
Pythonは、外部ライブラリなどインストールして使う場合がありますが、
インストールしたライブラリなどがPythonのバージョンなどに合ってないとエラーなど出る場合もあるみたいです。
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ 単行本（ソフトカバー） – 2019/10/4
森 巧尚 (著)
Pythonは、Webへのアクセス、データ処理が得意な言語です。
Webページの情報なども取得することができます。
だから、機械学習やビックデータの分析によく使われる
自分のちょっとした調べものにも使えます
Webページから
気になるニュースを調べたり
地元のお店の情報を調べたり
このようなデータはインターネット上には膨大にあります。
Pythonを使えば効率よくデータ収集などができます。
こうした手法をスクレイピング（scraping）といいます。
Pythonスクレイピング
例えば、日経の平均のデータを、毎日、エクセルで記録したい。
でも、これを毎日、毎日、サイトにアクセスしてするのは面倒です。
Pythonのスクレイピングを使えば、指定したファイルや画像など自動収集してくれます。
この本では書いてないけどWebスクレイピングなどと言うみたいです。
Pythonには、インターネットにアクセスするライブラリが充実してます。
Lesson01
スクレイピング（Webスクレイピング）って何？
インターネット上には、いろいろな情報が公開されている
プログラムを使うと、インターネット上にあるデータを自動で集めることができます。
この、インターネット上に公開されているデータをかき集めることを、クローリングといいます。
ただし、集めたデータは、そのまま使えるとは限りません。
多くの場合は、データを分析して、必要なデータを取り出すことが必要になります。
この、収集したデータを解析して、必要なデータを取得することを「スクレイピング」といいます。
インターネット上のサイトから、クローリングする場合、サイトによっては、アクセスしすぎると、
そのサイトは、サーバーの負荷になり、迷惑がかかります。
サイトによっては、サイトのソースなど見ると、metaタグなどに、サイト全体をクロールしないで下さい。など記載されてるのもあります。と解説あり
Lesson02
Pythonにはバージョンがあります。
昔はPython2系でした。その後に、Python3系が出て、
一時期は、Python2系やPython3系など切り替えて使う人など。
今では、Python3系を使うのが一般的です。
2021年
最新のPythonのバージョンは、Python3.9バージョン
昔のmac OSは、買ったMacの中に、最初からPython2系がインストールされてます。
最新のMacはPython3などがインストールされてるそうです。
また、本には書いてないですが、
mac OSはには、「Python」がインストールされています。
このPythonは古いから使わないとかでPython自体を削除すると
mac OSのアップグレードとかする場合に、エラーとか起こるそうなので、
元からインストールされてるPythonは削除しないほうがいいそうです。
問題なくPythonが動くバージョンは？
Python3.7やPython3.8？
あまり古いPythonのバージョンだと、インストールした外部ライブラリなど対応いてないのもあるみたいです。
Pythonをインストールしてみよう
本では、macOSとWindowsで解説あり
Pythonのダウンロードとインストールの仕方など載ってます。
Welcome to Python.org
https://www.python.org
人によっては、Python 1年生 体験してわかるをすでにやっていて、
新たにPython2年生 スクレイピングのしくみをする方もいると思います。
Python 1年生 体験してわかる！会話でまなべる！プログラミングのしくみ (日本語) 単行本（ソフトカバー） – 2017/12/5
その場合は、すでにPythonなどインストールしてる方もいると思います。
また、インストールしてるPythonのバージョンなどが古い場合があります。
過去に、公式サイトからPython3.6系をダウンロードした。
次に、公式サイトからPython3.8をダウンロードした場合は、パソコンの中には、バージョンが違うPythonが増えていきます。
自分の場合は、2017年の12月に、Python 1年生 体験の本を買って、Pythonをダウンロードしてインストール。
その後、macの場合ならPythonのバージョンを切り替えて使える、
仮想環境のHomebrewなどで、Pythonをインストール。
またMac製品の場合（mac OS）は、Pythonが最初からインストールされてます。
本では解説で載ってないですが、
Pythonのアップグレードの仕方などあると親切かも。
Pythonを何個もダウンロードしてなくていいと思うので。
解説などないですが、
Pythonを標準で使い方は、公式サイトからPythonをダウンロードした方が、本と同じように学習が出来ると思います。
Pythonの使い方は、いろいろあると思います。
公式サイトからPythonをダウンロードする他に、
Macならターミナルのアプリなど使ってインストールする方法
他に
Anaconda（アナコンダ）をダウンロードしインストールしてPythonを使う人や、
Macなら仮想環境でPythonを使うなど（Homebrewでしてる方とかもいると思います。）
Visual Studio Codeのコード エディターとかで、拡張機能をインストールして、Pythonをすることもできます。
昔はなかったですが、今では、
Pythonをインストールしなくて使えるGoogle Colaboratoryを利用すれば、自分のパソコンにPythonをインストールする必要なく学習ができます。
自分がしやすい環境で、Pythonを使うといいと思います。
本で解説などないですが、
Macのパソコン（macOS）など使ってる人は、
Pythonが最初からインストールされていますが
そのPythonバージョンは古いものが入ってる場合があります。
パソコンに入ってるPythonのバージョンを確認する
Macならターミナルのアプリを起動して、
python3 –version と入力してEnterキーを押す。
例
Python 3.6.3 表示される
この場合は、Python3.6.3がインストールされてます。
Python 3.6以降では、SSL証明書のインストールも必要になります。と解説あり
Macのパソコンを使用で
過去に、すでにPythonをダウンロードし、インストールしてる方なら
アプリケーションフォルダの中に
Python3.6フォルダがあり、その中に、
IDLE.appのアプリケーションがあります。
本では書いてないけど、IDLEのバージョンの確認など。
IDLEは、環境設定をクリックして、バージョンの確認ができます。
Pythonを昔にダウンロードした場合、IDLEなどのバージョンが古いのもあるので、必要に応じて、最新版にするといいと思います。
本では、Python3系（Python3.7.4）のインストールで解説あり
また、出版社の追加情報でサイトが更新されてます。
追加情報
macOSの場合は、Pythonのアンインストールが少し手間がかかります。
そこでPython 3.8とPython 3.9の2つをインストールした状態でPython 3.8を使う方法を紹介します。
など。
Pythonのアンイストールなどは、本によっては、Pythonフォルダをゴミ箱に入れるだけなど解説してるのもあります。
インターネットで、Pythonの削除など検索すると、アンイストールのやり方などいろいろ出てきます。
Lesson03
「requests」でアクセスしてみよう
「requests」はインターネットに簡単にアクセスできるライブラリです。
「requests」を使う準備をします。
インターネットにアクセスする命令としては、Pythonの標準ライブラリに「urllib.requests」がありますが、
もっと簡単に使える「requests」という外部ライブラリがあるので、
これを使います。
「Requests」ライブラリのインストールの仕方
MacとWindowsで解説あり
macOS
Python3系を使ってる場合
「requests」をインストールをするにはターミナルのアプリで、pip3コマンドを使います。
この本では解説がないですが、
pip3にはバージョンもあります。
初めてPythonをダウンロードし、インストールするならいいけど、
過去に、Pythonなどダウンロードしたりして使っている場合は、
pip3などバージョンなど古いとエラーが出る場合があります。
その説明とか、この本ではないので、人によっては戸惑うと思うかも。
エラーなど出てよくわからない場合
Python2年生の正誤表とかに更新されてる場合もあります。
Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる! 大型本 – 2019/10/
https://www.shoeisha.co.jp/book/detail/9784798161914#errata
pip3のバージョンが古い場合は、pip3をアップグレードするといいです。
古いpip3のバージョンの場合はエラーなど出ます。
pipコマンド
macの場合、Python3を使ってるなら、
pip3と入力します。
PyPIからライブラリをインストールして設定までをしてくれるパッケージ管理システムです。
Python、3.4以降であれば、pipは標準で入っています。
自分の場合の、最初の環境は
macOS バージョン10.12
Python 3.6.3
で使っていたけど。。
Macで、Python3では「pip3」というコマンドになります。
pip3コマンドで、インストールされているリストの確認
Macならターミナルのアプリを起動して、
$ pip3 list と入力してEnterキーを押す。
ここで、エラーなどが出てたら、アップグレードするといいです。
又は、
pip3のバージョンを確認する
Macならターミナルのアプリを起動して、
$ pip3 –version と入力してEnterキーを押す。
pip3のバージョンが古い場合は、pip3をアップグレード
pip3をアップグレードする
Macならターミナルのアプリを起動して
$ pip3 install –upgrade pip と入力してEnterキーを押す。
これで、ターミナルのアプリで、pip3のアップグレードができます。
なんか、よくわからないと思う人もいると思います。
pip3をアップグレードしたので、
インターネットにアクセスするライブラリ
「requests」を、ターミナルのアプリを使ってインストールする
$ pip3 install requests と入力してEnterキーを押す。
「Requests」の外部ライブラリがインストールされた。
自分のMacのパソコンに、「Requests」外部ライブラリをインストールしたら
HTMLファイルをPythonで読み込んでみます。
今回は、この本のために、テスト用の、Python2年生のWebページ（HTMLファイル）を用意しています。と解説
このHTMLファイルを読み込むプログラムを書きます。
https://www.ymori.com/books/python2nen/test1.html
インターネット上のWebページ（Webサイト・サイト）は
requests.get(URL)という命令で取得できます。
ただ、取得したデータには、いろいろな情報が入っているので
そこから「.text」で文字列データを取り出します。
requests.getで、取得できるいろいろな種類など解説あり
Pythonのプログラムを実行させるには、実行するためのアプリが必要です。
公式サイトからPython本体をダウンロードしてインストールすると、Pythonフォルダの中には、IDLEのアプリがインストールされているので、そのIDLEアプリケーションを使います。
IDLEのアプリを使わない、又は使いたくないなら？。
最近の？いろいろなPython本とかでは
環境構築など、Anacondaとか使った方がスムーズかも？。
他に、
マイクロソフトのテキストエディタ
Visual Studio Codeとかを使って、Pythonのコードを書いて使うなど
Visual Studio CodeでPythonのidleを実行させるなど、
いろいろな仕方があるので、自分が学習しやすい方法でするといいと思います。
過去にPythonをインストールしてる方なら
アプリケーションフォルダの中に、IDLE.appのアプリケーションがあります。
これを使いPythonのプログラムを書いていきます。
アプリケーションの中にPythonフォルダがあります。
Pythonフォルダの中を開き
IDLEのアプリをクリックして起動
IDLEのアプリを起動すると、シェルウィンドウ（ターミナルに似てる）が起動します。
IDLEのアプリで、
Pythonのプログラムを書くので、新規ファイルを作成します。
IDLE.appのアプリケーションの
FileからNew Fileをクリック
すると、
シェルウィンドウの他に、
新規ファイルが表示されるので、ここに、Pythonのプログラムを書いて実行させる。
ウィンドウが2つ開いてる感じです。
PythonでHTMLファイルを読み込むプログラムを書く
chap1-1.pyファイル（見やすく改行してます）
import requests
# Webページを取得するURL
url = "https://www.ymori.com/books/python2nen/test1.html"
response = requests.get(url)
# 文字化けしないようにする
response.encoding = response.apparent_encoding
# 取得した文字列データを表示する
print(response.text)
Pythonのプログラムを書いたら、Saveをクリックして、書いたPythonプログラムファイルを保存する
今、書いたPythonのプログラムファイル
Pythonのプログラムファイルを実行する
実行するには、IDLEのアプリを使います。
IDLEのアプリで、Runをクリックして「Run Module」をクリック
これで、Pythonプログラムが実行されます。
Pythonで、このURLのWebページ
https://www.ymori.com/books/python2nen/test1.html
のWebページにアクセスして、情報を取得できました。
次は、Pythonで、テキストデータをパソコンに保存してみる
インターネット上のHTMLファイルを、自分のパソコンの中に保存します。
chap1-2.pyファイル
Pythonでプログラムを書いて、保存して、実行した。
すると、自分の場合、このようなエラーコードが表示された。
Traceback (most recent call last):
File "/Users/○○○/chap1-2.py", line 16, in
f.write(response.text)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 72-73: ordinal not in range(128)
Pythonは便利で？エラーのコードも表示で教えてくれてます。
line 16, in
f.write(response.text)
この16行目（line 16）のコードがエラーの原因？
f.write(response.text)が。
他に、
UnicodeEncodeError: とも出てるけど。
エラーが出ていても、自分の場合は、テキストファイルはダウンロードされました。
ダウンロードされたテキストファイルを、テキストエディタで開いて見ると、何も書かれていない。
Python 3.6.3を使ったからかな？。
うまくできない。
試しに、インターネットで検索したら、同じような人がいました。（今はわからないです。）
本で書いあるバージョンとかの環境でプログラミングしてる人って、
どのくらい、いるんだろ？。
人によっては、同じ環境とかでは使ってない、又はできないです。
エラーが出た場合インターネットで調べてやる
でも、解決しない。
よくわからないので、やめる。
それを繰り返し。年月が過ぎていく
試しに、
Google Colaboratoryでしてみた。
問題なく出来ました。
普通に実行され、テキストファイルもダウンロードされ、文字も入力されてる。
Google Colaboratory（Python3.6）
https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja
久々に、やってみたけどやっぱり、Python 3.6.3だとエラーが出る。
文字コードが原因？。
asciiコードが原因？。
自分の場合は、本とは違い、Pythonのバージョン3.6.3を使用
OSとかアップグレードしたくても、パソコンが古いとできないです。
自分は、いろいろ調べて、UTF-8文字コードを指定させました。
このように、強引に
f = open(filename, mode="w", encoding="utf-8")
これで、
実行すると、「download.txt」ダウンロード.txtという、
テキストファイルが作られています。
そして、そのテキストファイルの中には、先ほど見た、webページのデータが保存されています。
ただ、Python3系では、本来は、この書き方は？、よくないらしいけど。
ここまでするのに、
インストールしたpip3がエラー？なのか、
requestsがエラー？なのか、
SSL証明書がエラーなのか？
他がエラーなの？
文字コードがエラーなのか？。
いろいろ試したので、とても疲れたので、
Python 3.6.3を使うのではなく、
本に書いてあるPythonバージョンや
他のバージョンとかでした方が、スムーズかも知れません。
また、pipの仕方とかも、macとWindowsでは違います。
自分は、他のPythonのバージョンですることにしました。
Lesson04
HTMLの解析をしたい
PythonにはBeautiful Soupというライブがあります。
インターネットからデータをダウンロードしたはいいが、ゴチャゴチャして見にくいです。
HTMLのデータは、タイトルとか、見出しとか、画像など要素で作られてます。
そこで、必要なデータだけを取り出せるBeautiful Soupライブラリを使います。
MacとWindowsで解説あり
Beautiful Soupのライブラリをダウンロードしてインストールする
Beautiful Soupライブラリをインストールしたら
Beautiful Soupを使って解析する
Beautiful Soupで解析するとHTMLのcontentの中身が出力されます。
WEBサイト上にある、読み込みんだHTMLデータが、そのまま表示されます。
これが、解析した後の状態です。
解析したので、次に、Pythonを使って要素を、いろいろ、取り出してみます。
タグを検索して表示する
他に
すべてのタグを検索して表示する
id属性やclass属性で検索範囲を絞り込む
など
Lesson05
ニュースのサイトの最新記事を一覧を取得してみよう
YahooニュースのITの最新トピックス一覧を取得する
GoogleのChromeのデベロッパーツールの使い方など解説あり
Lesson06
リンクの一覧をファイルに書き出す
すべてのリンクタグのhref属性を表示する
すべてのリンクタグのhref属性を絶対URLで表示する
リンクの一覧を自動で作成プログラム
Lesson07
サイトから画像を一括でダウンロードする
画像ファイルを読み込んで、フォルダに保存する
ダウンロード用のフォルダを作って画像を保存する
サイトから、すべてのimgタグの画像ファイルのURLだけを表示する
ページ内の画像を一括ダウンロードするプログラム
データをまとめてみたい
Pythonには、いろんなライブラリがあります。
ライブラリはインストールして使います。
pandasというライブラリを使えば簡単
pandasライブラリを使えば、集めたデータを、まとめることができます。
Lesson08
pandasライブラリを使ってみよう
表データを読み込んで、データの追加、削除、抽出（ちゅうしゅつ）、集計、書き出しなど行える外部のライブ
表データを読み込んでみよう。
表データは、テキストデータや画像データと同じような重要なデータです。
pandasの外部のライブラリをインストールして使います。
macの場合はターミナルのアプリから、pandasのライブラリをインストール
MacとWindowsで解説あり
表データって何？
EXCELソフト（WindowsのExcel）
表データはCSVフォーマットがよく使われます。
CSVファイルを読み込む
列データ、行データを表示する
列データ、行データを追加する
列データ、行データを削除する
解説あり
Lesson09
さまざまなデータの加工
読み込んだ表データは、抽出（ちゅうしつ）したり、集計したり、並べ替えたりして、加工することができます。
必要な情報を抽出（ちゅうしつ）する
表データを集計する
データを並べ替える
行と列を入れ替える
CSVファイルに出力する
Lesson10
グラフで表示してみよう
読み込んだ表データをグラフで表示してみよう
Pythonで、グラフを表示させるには、matplotlibのライブラリをインストールして使います。
Macならターミナルを使い、matplotlibのライブラリをインストールして使う
matplotlibをインストール
pip3 install matplotlib
pip3 install japanize-matplotlib
MacとWindowsで解説あり
matplotlibをインストールしたら、グラフで表示する
グラフの使い分け、さまざまな種類のグラフを表示する
棒グラフ、棒グラフ（水平）、積み上げ棒グラフ、箱ひげグラフ、面グラフ
個別のデータをグラフで表示する
円グラフを作る
グラフの色は自動で作成されますが、自分の好きな色を指定して作成することも出来る
好きな色でグラフを作成
棒グラフを画像ファイルで出力する
Lesson11
計算ソフトのExcelファイルを読み書きしてみよう
今まで作ってきたグラフは、Excelファイルとしても書き出すことができます。
openpyxlをインストールして使う。
Macの場合はopenpyxlをターミナルでインストールする
MacとWindowsで解説あり
openpyxlをインストールしたら
Excelファイルに出力する
Excelファイルに出力され先頭にインデックスがついてます
先頭に付いたインデックスを削除して、Excelファイルに出力する
複数のExcelファイルのシートを、1つにExcelファイルにまとめて出力する
Excelファイル（ファイル名.xlsx）を読み込む
オープンデータとは
誰でも使っていいサイト
人口データや、年齢構成などのデータを手軽に調べることができる
Lesson12
オープンデータって何？
公的機関や企業などが、いろいろなデータを「どうぞ、お使いください」って、インターネット上で公開してる。
解説あり
Lesson13
郵便番号データ
郵便局のサイトから（オープンデータ）郵便番号データをダウンロードして、郵便番号や地名で調べてみる。
郵便番号データダウンロード
郵便局のサイトにアクセスして
郵便番号データをダウンロードします。
https://www.post.japanpost.jp/zipcode/download.html
ダウンロードしたzipファイルを解凍する
解凍するとCSVファイルが作成されます。このファイルをテキストエディタで開いてみる
1行目からデータが書かれてます。
日本語のShift JISが使われてます。
ダウンロードしたCSVファイルは日本語のShift JISが使われています。
先程pandasの外部のライブラリをインストールしました。
pandasは、デフォルトでは文字コードは、UTF-8形式です。
PythonでCSVファイルを読み込みしてみる
Shift JIS形式データのときはShift JISを指定します。
ヘッダーは無しを指定、文字コードは、日本語のShift JISを指定
出力結果には、東京都だけで、4048件など表示
郵便番号から住所を調べてみる
データを抽出（ちゅうしつ）する
Lesson14
政府がインターネット上で公開している統計データ
オープンデータを読み込んで、グラフで表示させる
e-Statのサイトは、政府統計データのサイトです。
e-Stat 政府統計の総合窓口
https://www.e-stat.go.jp
e-Statのサイトから
全国の人口推計データをダウンロードしてみる
ダウンロードの仕方など載ってます。
ダウンロードしたCSVファイルをPythonで読み込む
出力結果で、データ件数など確認できます。
自分の場合、
e-StatのサイトからダウンロードしたCSVファイルだとエラーが出るので、
サンプルのデータでしました。
平成30年の人口データを棒グラフで表示する
グラフの画面サイズを指定して表示する
人口の多い順に並び替えして表示する
2つの年（平成30年と平成29年）を比較して表示してみる
Lesson15
総務省は2018年に、小学生・中学生向けに統計データ検索サイトの「キッズすたっと」を公開した。
この、キッズすたっとサイトから
東京の平均気温、最高気温、最低気温の3つのデータをダウンロードして調べてみる。
気温の統計データ
複数のオープンデータを読み込んで、グラフで表示する
キッズすたっと～探そう統計データ～
https://dashboard.e-stat.go.jp/kids/
データのダウンロードの仕方など解説あり
キッズすたっとサイトから、3つのCSVファイルがダウンロードしました。
ダウンロードしたCSVファイルをテキストエディタで開いてみる
日本語はUTF-8が使われてるので、そのままPythonで読み込ます。
ダウンロードしたCSVファイルを読み込む
CSVファイルデータを折れ線グラフで表示してみる
年平均気温のCSVファイル
最高気温のCSVファイル
最低気温のCSVファイルを比べてグラフで表示してみる
Lesson16
地域に密着したオープンデータを読み込んでみます。
自治体のデータ
データシティ鯖江（さばえ）
福井県の鯖江市
データシティ鯖江ポータルサイト | Data City Sabae
https://data.city.sabae.lg.jp
データシティ鯖江（さばえ）のサイトから
消火栓のデータと店舗のデータをダウンロードして調べてみる
ダウンロードの仕方など解説あり
今回は、2つのCSVファイルがダウンロード
消火栓(福井県鯖江市)のCSVファイル
店舗(福井県鯖江市)のCSVファイル
ダウンロードした
消火栓(福井県鯖江市)のCSVファイルをテキストエディタで開いてみる
日本語はShift JISが使われてる
先程pandasの外部のライブラリ、インストールしました。
pandasは、デフォルトではUTF-8形式です。
Shift JIS形式データのときはShift JISを指定します。
文字コードは、日本語のShift JISを指定
出力結果、2568件と表示
消火栓がある地点を調べてみる
ただ、この数字だけでは、どこに消火栓があるかわからないので、地図でマーカーを付けて表示させる
地図でマーカーを付けて表示させるには、「folium」のライブラリをインストールして使います
「folium」は、地図を表示したり、地図上にマーカーをつけたりできる外部ライブラリです。
Macの場合はターミナルでします。
MacとWindowsで解説あり
「folium」をインストールしたら
消火栓(福井県鯖江市)のCSVファイル
地図上に消火栓を表示さてみよう
ファイル名sabae.htmlでHTMLファイルを書き出す
他に
消火栓のリストデータを使って、消火栓のある地点にマーカーを表示させる
Pythonで作成されたHTMLファイル、Webブラウザで開いてみると
消火栓のリストデータを使って、消火栓のある地点にマーカーを表示させることができた。
ダウンロードした
店舗(福井県鯖江市)のCSVファイルをテキストエディタで開いてみる
日本語はUTF-8が使われてる
先程pandasの外部のライブラリ、インストールしました。
pandasは、デフォルトではUTF-8形式です。なので、そのままPythonで読み込ます。
出力結果、72件と表示
店舗がある地点と名前を調べてみる
店舗(福井県鯖江市)のCSVファイル
地図上に店舗を表示
店舗名は、店舗をマウスでカーソルすると、店舗名が表示されるツールチップ付きマーカーを追加させ
ファイル名store.htmlでHTMLファイルを書き出す
store.htmlファイルをWebブラウザで開いて、マウスカーソルすると、店舗名なども表示されてます。
Lesson17
Web APIを使って、インターネットからデータを取得して分析
天気予報を取得できるOpenWeatherMapサイト
OpenWeatherMapのサイトで、新規でアカウントを作成して、
Web APIキーを取得
ダウンロードのサンプルでは、
Web APIキーは書かれて無いので、
自分でOpenWeatherMapのサイトで新規でアカウントを作成しないとAPIキーは利用できないです。
Web APIって何？
今までは、データをダウンロードして、Pythonで調べる方法をしてきました。
郵便番号とか消火栓の位置などは、あまり変化しないデータなので、
1回、ダウンロードすれば、しばらく使えますが、
天気予報とか株価とか毎日データが変わるものは、毎日ダウンロードは面倒です。
そういう時は、Web APIを利用すると便利です。
実行するたびに、プログラムがデータを取りに行くので、更新されたデータを取得できます。
いつも、最新のデータが取れます。
解説あり
Lesson18
OpenWeatherMapってなに？
OpenWeatherMapは、世界中の天気予報を公開している海外のオンラインサービスです。
OpenWeatherMapのサイトからWeb APIを利用する
OpenWeatherMapには無料版と有料版があります。
有料版は、細かい情報が取得できますが、今回は無料版を利用します。
OpenWeatherMapサイトにアクセスし新規でアカウントを作成する
OpenWeatherMap
https://openweathermap.org
OpenWeatherMapを利用する
OpenWeatherMapのAPIキーを取得
Lesson19
OpenWeatherMapのアカウントを作成したので、
OpenWeatherMapのAPIキーを使って
現在の天気予報を調べよう
OpenWeatherMapは海外のサイトなので、そのままでは天気予報は英語表示です。
日本語で表示する
現在の天気予報を調べる方法
指定した都市の現在の天気を取得する
神戸の現在の天気データを取得しましたが、
天気や気温などがJSON形式で出てますが、よくわからないです。
JSONって何？
JSONとはJavaScriptのデータの書き方
JavaScript Object Notationを略してJSONと言います。
JSONはシンプルで扱いやすいデータ表現なので、
他のプログラミング言語、JavaScriptだけでなく、Python、Java、PHP、Rubyなどでも利用されてます。
JSONデータの書式
JSONデータを読み込む方法
解説あり
データの構造がわかったので、都市名、気温、天気、天気詳細を取り出してみる
例
都市名 = 神戸市
気温 = 2.25
天気 = Clouds
天気詳細 = 曇りがち
今、神戸市の天気データを取得しましたが、ニューヨークの天気、ロンドンの天気を取得してみます。
イラスト図解式 この一冊で全部わかるWeb技術の基本 (日本語) 単行本 – 2017/3/16
OpenWeatherMapサイトは海外のサービスですが、
郵便番号を指定して、天気を取得することもできます。
解説あり
Lesson20
現在から5日間（3時間ごと）の天気を調べよう
明日や、あさっての天気もわかります。
解説あり
現在から5日間（3時間ごと）の天気を調べる方法
5日間の天気を取得する
UTC（協定世界時）をJST（日本標準時）に変換
日本の時間で取得します。
解説あり
5日間の気温をグラフ化して表示してみる
解説あり
最後に、
この本でPythonを使って
インターネットからデータを取り外して集計したり、グラフで表示することができた。
Pythonを使ってデータ処理ができるようになった。（データ分析）
Pythonという便利な道具を使って、いろいろ楽しみながら先に進んでみてください。
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ 単行本（ソフトカバー） – 2019/10/4
森 巧尚 (著)
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！ 単行本（ソフトカバー） – 2019/10/4
森 巧尚 (著)
