【Python】Pandasの使い方【読み込みから整形まで】

pip install pandas openpyxl

import pandas as pd

# Excel → DataFrame
df = pd.read_csv(csv_path)

# Excel → DataFrame（ファイル名に日本語を含む場合）
df = pd.read_csv(csv_path, engine='python')

# Excel → DataFrame（文字化けする場合1）
df = pd.read_csv(csv_path, encoding='utf-8_sig')

# Excel → DataFrame（文字化けする場合2）
df = pd.read_csv(csv_path, encoding='cp932')

import codec

# Excel → DataFrame（最終手段）
with codecs open(csv_path, mode='r', encoding="utf-8_sig", errors='ignore') as f:
    df = pd.read_csv(f)

# インデックス列を指定
df = pd.read_csv(csv_path, index_col=0)

# Excel → DataFrame
df = pd.read_excel(excel_path, sheet_name=sheet_name)

# 2行目をカラム名に設定する
df = pd.read_excel(excel_path, sheet_name=sheet_name, header=2)

# 1シート目を読み込む
df = pd.read_excel(excel_path, sheet_name=0)

# dict → DataFrame
array = []
array.append({
    '列名1': 'value1',
    '列名2': 'value2',
    '列名3': 'value3',
})
df = pd.DataFrame.from_dict(array, dtype=object)

# Array → DataFrame
df = pd.DataFrame(array, columns=["1", "2", "3"], index=["1", "2", "3"])

# CSVとして出力
df.to_csv(csv_path, encoding='utf-8_sig')

# CSVとして出力
df.to_csv(csv_path, index=False)

# DataFrame → Excel
df.to_excel(output_path, sheet_name=sheet_name)

# DataFrame → Excel（追記モード）
with pd.ExcelWriter(output_path, mode="a") as writer:
    df.to_excel(writer, sheet_name=sheet_name)

# シート追記モードでExcelに書き込む
def pd_add_sheet(df, book_path, sheet_name):
    with pd.ExcelWriter(book_path, mode="a") as writer:
        df.to_excel(writer, sheet_name=sheet_name)

# int型に変換
df["列名"] = df["列名"].astype(int)

# int型に変換
df["列名"] = df["列名"].astype(str)

# float型に変換
df["列名"] = df["列名"].astype(float)

# str型 → timedelta型
df["時間"] = pd.to_timedelta(df["時間"])

# time型 → str型
df["時間"] = df["時間"].astype(str)
# str型 → timedelta型
df["時間"] = pd.to_timedelta(df["時間"])

# 00:00:00の形式にする
df["時間"] = pd.to_timedelta(df["時間"] + ":0")
# str型 → timedelta型
df["時間"] = pd.to_timedelta(df["時間"])

# str型 → datetime型
df['年月日'] = pd.to_datetime(df['年月日'])

# 要素に置き換え
df['年月日'] = df['年月日'].dt.year
df['年月日'] = df['年月日'].dt.month
df['年月日'] = df['年月日'].dt.day

# datetime型 → str型
df['年月日'] = df['年月日']).strftime('%Y%m%d')

# 身長180以上に絞り込む
df = df[df["身長"] >= 180]

# 身長180ピッタリのデータに絞り込む
df = df[df["体重"] == 180]

# 複数条件で絞り込む
df = df.loc[df['種類'] == 'バルク', '正規品']

# 文字列で絞り込み
df = df.query("列名 == '絞り込みたい文字列'")

# 変数（文字列）で絞り込み
var = '春'
df = df.query(f"列名 == '{var}'")

# 数値で絞り込み
df = df.query("列名 == 絞り込みたい数値")

# リストを作成
name_list = ["Mary", "John"]
# 「身長」列をリストに含まれるものだけに絞り込み
df = df[df["name"].isin(name_list)]

# 列を抽出（列名）
df = df.loc[:, ["列名1", "列名3", "列名5"]]

# 列を抽出（列番号）
df = df.iloc[:, [1, 3, 5]]

# name列のユニークな値を取得
df = list(df["name"].unique())

#1 社員番号'12345'がある行番号を取得
index_num = df['社員番号'].index.get_loc('12345')

#2 スライスで絞り込み
df = df[index_num+1:]

# 特定の列をインデックス名にする（元々の列を残す場合はdrop=False）
df = pd.set_index(csv_path, index_col=0)

# カラム名を変更
columns = {"1": "col1", "2": "col2"}
index = {"1": "row1", "2": "row2"}
df = df.rename(columns=columns, index=row)

# インデックスをリセット
df = df.reset_index(drop=True)

# DataFrame同士を結合（縦方向）
df = pd.concat([df_1, df_2])

# DataFrame同士を結合（横方向）
df = pd.concat([df_1, df_2], axis=1)

# DataFrame同士を結合（共通の列だけ残す）
df = pd.concat([df_1, df_2], join='inner')

# 列の削除
df = df.drop(df.columns[[1, 3, 7]], axis='columns')

# 行の削除
df = df.drop(df.columns[2, 4, 8])

# 15列目にarray（配列）を要素とする「名前」列を追加
df = df.insert(15, '名前', array)

# 欠損値を空白に置き換え
df = df.fillna("")

# 特定の列のみ欠損値を0に置き換え
var = {"col1": 0}
df = df.fillna(var)

# 欠損値のみの行を削除
df = df.dropna(how="all")

# 普通の並び替え（降順）
df = df.sort_values('列名', ascending=False)

# 複数条件
df = df.sort_values(by=["列名1", "列名2"])

# 数値以外なら行削除（方法1）
df = df[df['ID'].astype(str).str.isdecimal]

# 数値以外なら行削除（方法2）
df = df[~pd.to_numeric(df['ID'].errors='coerce').isnull()]

# 数値以外をNaNにする
df = pd.to_numeric(df['ID'].errors='coerce')
# NaNを別の文字列に置き換え
df['ID'].fillna(0)

# cost列の合計値
total_cost = df["cost"].sum()

# 行・列名から値を取得
var = df.at['行ラベル']['列ラベル']

# 行・列番号から値を取得
var = df.iat['行番号', '列番号']