AI & Data Dreamers練功房
寶箱片場規則
TAKE

載入中…

題目
會附在這次提交上,老師批改時看得到
⌘↵ 執行
⋯
DAILIES執行輸出・提交時自動附上
程式碼+執行輸出會一起送出

💡 期中提示卡

這是一張小抄,依主題分組,比題目用到的多:先想這一步要做什麼,再到對應的主題裡找。原始來源:pandas 官方 Cheat Sheet(PDF)、Pandas/Numpy/Python Cheatsheet(gist)

讀、接、寫

寫法做什麼什麼時候用
pd.read_csv(路徑)讀 CSV 成一張表每一題的第一步
FILE_1、DATE_COL、DATE_FMT、DIM_COL、NUM_COL、INVALID、ID_VARS…題目設定給的變數:檔案位置、欄名、日期格式、無效值清單程式裡不要自己打欄位名,用這些變數
pd.concat([df1, df2], ignore_index=True)多張表上下接起來;ignore_index 讓列號重編資料分幾批匯出
pd.concat([df1, df2], axis=1)左右接(欄位並排)兩張表列數一樣、想合欄
pd.merge(左, 右, on="鍵", how="inner")用共同欄位對起來;how 可 left/right/outerpandas 裡做 JOIN
df.to_sql("表名", conn, index=False, if_exists="replace")整張表寫進資料庫接下來要用 SQL
pd.read_sql("SELECT …", conn)SQL 查詢結果讀回成表算完要回 pandas
df.to_csv("檔名.csv", index=False)存成 CSV想把結果留下來

看資料

寫法做什麼什麼時候用
df.head(n) df.tail(n)前/後 n 列先看長什麼樣
df.shape len(df)幾列幾欄/幾列每清一步就看一次
df.dtypes每欄型別;object=文字判斷哪欄要轉型
df.info()欄位、型別、非空筆數一次看剛讀進來
df.describe()數值欄的平均、分位數、最大最小找極端值
df.isna().sum()每欄缺幾個:isna 回 True/False,sum 把 True 當 1 加起來清理前
s.value_counts()每個值出現幾次看分類欄有哪些寫法
s.nunique() s.unique()有幾種值/列出來清分類欄前後比對
df.duplicated().sum()整列重複幾筆去重複前
df[欄].min() .max() .mean()最小、最大、平均檢查轉型結果

轉型別

寫法做什麼什麼時候用
pd.to_datetime(s, format="…", errors="coerce")文字 → 日期;coerce=轉不成變缺值日期欄是文字
pd.to_numeric(s, errors="coerce")文字 → 數字數字欄是文字
s.astype(str) s.astype(float) s.astype(int)直接換型別,轉不成會報錯確定每格都轉得了
s.dt.year s.dt.month s.dt.date從日期取出年、月、日要按年分組
s.str.replace(樣式, 新字, regex=True)取代;regex=True 時樣式是正規表示式去掉逗號、貨幣符號
s.str.strip() s.str.upper() s.str.lower()去頭尾空白/轉大寫/轉小寫分類欄寫法不一
s.str.contains("字") s.str.split() s.str[0]含不含某字/依空白切開/取切開後的第一段文字欄有固定格式
s.str.strip().str.upper()字串方法要連著用時,每一個前面都要再寫 .str一行做好幾個字串處理
r"[^0-9.\-]"正規表示式:不是數字、小數點、負號的字元只想留數字

清理

寫法做什麼什麼時候用
df.dropna(subset=[欄…])這幾欄有缺值的列整列刪;subset 是「只看這幾欄」缺值不能補
s.fillna(值)缺值補成某個值缺值可以補
s.replace([舊…], 新)整格相等就換掉;配 pd.NA 可把無效值變缺值Unknown、N/A 這類假值
df.drop_duplicates()整列重複只留一筆同一筆出現兩次
s.quantile(0.01) s.quantile(0.99)分位數:資料自己的界線找極端值的門檻
df[s.between(低, 高)]只留介於兩數之間的列(含頭尾)去極端值
df[df[欄] > 0] df.query("欄 > 0")條件篩選列刪掉不合理的值
s.clip(下限, 上限)超出的值壓到界線,不刪列想保留列數

整形、分組

寫法做什麼什麼時候用
df.melt(id_vars=…, value_vars=…, var_name=…, value_name=…)寬表 → 長表:欄名變成一欄的值一個類別一欄
df.pivot_table(index=…, columns=…, values=…, aggfunc="sum")長表 → 寬表要做交叉表
pd.cut(s, bins=切點, labels=[…], include_lowest=True)依你給的切點分區間切點自己算好
pd.qcut(s, q=3, labels=[…])依分位數分成 q 等分想要每組筆數差不多
df.groupby(欄)[數值欄].agg(["count", "mean"])分組後算筆數、平均pandas 版的 GROUP BY
df.sort_values(欄, ascending=False)依某欄排序找最多、最高
df.rename(columns={"舊": "新"})改欄名欄名要統一
df["新欄"] = …加一欄算出衍生欄位

SQL

寫法做什麼什麼時候用
SELECT 欄 FROM 表 WHERE 條件挑欄、挑列任何查詢
JOIN 表2 別名 ON 表1.鍵 = 別名.鍵兩張表對起來;ON 一定要寫主表接對照表、兩平台接書號
LEFT JOIN左表全留,對不到的右邊是 NULL不想漏掉主表的列
GROUP BY 欄按欄分組;SELECT 裡非聚合的欄要在這裡每組幾筆、每組平均
COUNT(*) AVG(欄) SUM(欄) MIN/MAX聚合函式跟 GROUP BY 一起
HAVING COUNT(*) >= 5分組後再過濾(WHERE 是分組前)去掉筆數太少的組
ORDER BY 欄 DESC LIMIT n排序(DESC 由大到小)、只取前 n找最多、最高
ROUND(數, 1)四捨五入到小數 1 位平均要好看
COUNT(*) * 1.0 / (SELECT COUNT(*) FROM 表)佔比;乘 1.0 讓整數相除出小數各組佔幾成
CASE WHEN 條件 THEN '甲' ELSE '乙' END AS 新欄依條件產生分類比價:哪邊便宜
表 別名取別名後用「別名.欄」JOIN 時兩表有同名欄

LLM API

寫法做什麼什麼時候用
os.environ["名字"]讀環境變數;key 不寫進程式拿 API key
f"…{變數}…"f-string:大括號填變數值組 prompt、組 Bearer 標頭
requests.post(網址, headers={…}, json={…})送出請求:網址、身分、內容呼叫任何 REST API
{"Authorization": "Bearer <key>"}身分標頭的固定格式:Bearer、一個空格、keyOpenAI 與多數 API
{"model": "…", "messages": [{"role": "user", "content": prompt}]}Chat API 的請求內容;role 是這一則訊息誰說的:user=使用者、assistant=模型OpenAI chat completions
resp.status_code200 成功;401 key 錯;429 額度或太頻繁先看這個再看內容
resp.json()回應轉成字典取內容
data["choices"][0]["message"]["content"]一層一層取:list 用位置(從 0 數起)、dict 用欄位名從回應取出文字

想看資料長怎樣:最後一行寫 df.head()、df.dtypes、df.describe() 就會顯示,跟 Colab 一樣,不用 print。卡住的順序:先自己想 → 問貓頭鷹教練 → 問同組 → 查這張卡 → 舉手叫助教。