Pandas入門：データの読み込みから可視化まで

1. はじめに
- Pandasとは
- Pandasの重要性
2. データの読み込み
3. データの確認
4. データの選択
5. データのクリーニング
6. データの加工
7. データの分析
8. データの可視化
9. データの保存
10. まとめ

1. はじめに

Pandasとは

Pandasは、Pythonでデータを扱うためのライブラリの1つであり、主にテーブル形式のデータ（データフレーム）を扱うために使用されます。

Pandasの重要性

PandasはPythonでデータ分析を行う上で非常に重要な役割を担っています。そのため、Pythonでデータ分析を行う場合には、Pandasを熟練することが不可欠となっています。

2. データの読み込み

Pandasを使って、CSV、Excel、SQL、JSON、HTML、SQL、テキストファイルなど、様々な形式のデータを読み込むことができます。

import pandas as pd

# CSVファイルを読み込む
csv_data = pd.read_csv('sample.csv')

# Excelファイルを読み込む
excel_data = pd.read_excel('sample.xlsx')

# SQLiteのテーブルを読み込む
import sqlite3
connect = sqlite3.connect('sample.db')
table_data = pd.read_sql('SELECT * FROM sample_table', connect)

# JSONファイルを読み込む
import json
with open('sample.json', 'r') as f:
    json_data = pd.json_normalize(json.load(f))

3. データの確認

Pandasで読み込んだデータを確認する方法を説明します。

import pandas as pd

# データ読み込み
df = pd.read_csv('sample.csv')

# データの先頭5行を表示
print(df.head())

# データの大きさを確認
print(df.shape)

# 列ごとのデータ型を確認
print(df.dtypes)

# 欠損値の有無を確認
print(df.isnull().sum())

4. データの選択

Pandasでデータフレームから欲しいデータを選択する方法を説明します。

import pandas as pd

# データ読み込み
df = pd.read_csv('sample.csv')

# 特定の列のみを選択
print(df['column_name'])

# 条件を指定してデータを抽出
print(df[df['column_name'] == 1])

# 複数の条件を指定してデータを抽出
print(df[(df['column_1'] == 1) & (df['column_2'] == 2)])

# 複数の列を選択
print(df[['column_1', 'column_2']]])

# 行の範囲を指定して選択
print(df.loc[1:3])

# 行列の範囲を指定して選択
print(df.loc[1:3, ['column_1', 'column_2']])

5. データのクリーニング

データフレームの欠損値、重複データ、異常値などを処理する方法を説明します。

import pandas as pd

# データ読み込み
df = pd.read_csv('sample.csv')

# 欠損値の処理
df.dropna(inplace=True)

# 重複データの削除
df.drop_duplicates(inplace=True)

# 列名の変更
df.rename(columns={'old_name': 'new_name'}, inplace=True)

# インデックスの変更
df.set_index('column_name', inplace=True)

# 列の型の変更
df['column_name'] = df['column_name'].astype('int')

# データのソート
df.sort_values('column_name', inplace=True)

6. データの加工

Pandasでデータフレームに新しい列を追加し、既存の列を変更する方法を説明します。

import pandas as pd

# データ読み込み
df = pd.read_csv('sample.csv')

# 新しい列の追加
df['new_column'] = df['column_1'] + df['column_2']

# 既存の列の変更
df['column_name'] = df['column_name'] * 2

# データの結合
df1 = pd.read_csv('data1.csv')
df2 = pd.read_csv('data2.csv')
merged_data = pd.merge(df1, df2, on='key_column')

# データの分割
df[['new_column_1', 'new_column_2']] = df['column_name'].str.split('-', expand=True)

7. データの分析

Pandasでデータを集計、グループ化、結合、変換、フィルタリングする方法を説明します。

import pandas as pd

# データ読み込み
df = pd.read_csv('sample.csv')

# データの集計
df.groupby('column_name').sum()

# データのグループ化
df.groupby(['column_name_1', 'column_name_2']).mean()

# データの変換
df['new_column'] = df['column_name'].apply(lambda x: x ** 2)

# データのフィルタリング
df[(df['column_name'] > 10) & (df['column_name'] < 20)]

8. データの可視化

MatplotlibやSeabornを使って、Pandasで読み込んだデータを可視化する方法を説明します。

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# データ読み込み
df = pd.read_csv('sample.csv')

# データの可視化（折れ線グラフ）
plt.plot(df['column_name'])
plt.show()

# データの可視化（ヒストグラム）
plt.hist(df['column_name'], bins=10)
plt.show()

# データの可視化（散布図）
sns.scatterplot(x='column_1', y='column_2', data=df)
plt.show()

9. データの保存

Pandasで変換や加工したデータを、CSV、Excel、JSONなどのファイル形式で保存する方法を説明します。

import pandas as pd

# データ読み込み
df = pd.read_csv('sample.csv')

# CSVファイルとして保存する
df.to_csv('new_sample.csv')

# Excelファイルとして保存する
df.to_excel('new_sample.xlsx')

# JSONファイルとして保存する
df.to_json('new_sample.json')