使用 Python+Google Cloud Platform+Line Bot 自動執行例行瑣事

以簽到獎勵 APP 為例，打造每日自動簽到腳本

$Photo by [Paweł Czerwiński](https://unsplash.com/@pawel_czerwinski?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText){:target="_blank"}$

Photo by Paweł Czerwiński

起源

一直以來都有使用 Python 做小工具的習慣；有做正經的，工作上自動爬數據、產報表，也有不正經的，排程自動查想要的資訊或是交給腳本完成本來要手動執行的動作。

一直以來「自動」這件事，我都很粗暴直接開一台電腦掛著 Python 腳本讓他掛著跑；優點是簡單方便，缺點是要有台設備接著網路接著電；就算是樹莓派也是要消耗著微量的電費網路錢，還有也不能遠端控制啟動或關閉（其實可以，但很麻煩）；這次趁著工作空擋，研究了一下免費&上雲端的方法。

目標

將 Python 腳本搬到雲端執行、定時自動執行、可透過網路開啟/關閉。

本篇以我耍的小聰明，針對簽到獎勵型 APP 撰寫的自動完成簽到的腳本為例，能每日自動幫我簽到，我不用在特別打開 APP 使用；並在執行完成後發通知給我。

完成通知！

本篇章節順序

使用 Proxyman 進行 Man in the middle attack API 嗅探
撰寫 Python 腳本，偽造 APP API 請求（模擬簽到動作）
將 Python 腳本搬到 Google Cloud 上
在 Google Cloud 設定自動排程

因涉及到敏感領域本篇不會告知是哪個簽到獎勵型 APP，大家可以延伸自行使用
如果只想了解 Python 怎麼串自動執行可跳過前半段 Man in the middle attack API 嗅探部分，從第 3 章看起 。

使用到的工具

Proxyman ：Man in the middle attack API 嗅探
Python ：撰寫腳本
Linebot ：發送腳本執行結果通知給自己
Google Cloud Function ：Python 腳本寄存服務
Google Cloud Scheduler ：自動排程服務

1.使用 Proxyman 進行 Man in the middle attack API 嗅探

之前有發過一篇「 APP有用HTTPS傳輸，但資料還是被偷了。」的文章，道理類似，不過這次改用 Proxyman 取代 mitmproxy；同樣免費，但更好用。

到官網 https://proxyman.io/ 下載 Proxyman 工具
下載完後啟動 Proxyman，安裝 Root 憑證（為了做 Man in the middle attack 解包 https 流量內容）

「Certificate 」->「 Install Certificate On this Mac」->「Installed & Trusted」

電腦的 Root 憑證裝好後換手機的：

「Certificate 」->「 Install Certificate On iOS」->「Physical Devices…」

依照指示在手機上掛好 Proxy 並完成憑證安裝及啟用。

在手機上打開想要嗅探 API 傳輸內容的 APP

這時候 Mac 上的 Proxyman 就會出現嗅探到的流量，點擊裝置 IP 下想要查看的 APP API 網域；第一次查看需要先點「Enable only this domain」之後的流量才能被解包出來。

「Enable only this domain」後就能看到新攔截的流量就會出現原始的 Request、Response 資訊：

我們使用此方法嗅探 APP 上操作簽到時打了哪隻 API EndPoint 及帶了哪些資料，將這些資訊記錄下來，等下使用 Python 直接模擬請求。

⚠️要注意有的 APP token 資訊可能會換，導致日後 Python 模擬請求失效，還要多了解 APP token 交換的方式。

⚠️如果確定 Proxyman 有正常運作，但在掛 Proxyman 的情況下 APP 無法發出請求，代表 APP 可能有做 SSL Pining；目前無解，只能放棄。

⚠️APP 開發者想知道怎麼防範嗅探可參考之前的文章。

這邊假設我們得到的資訊如下：

POST /usercenter HTTP/1.1
Host: zhgchg.li
Content-Type: application/x-www-form-urlencoded
Cookie: PHPSESSID=dafd27784f94904dd586d4ca19d8ae62
Connection: keep-alive
Accept: */*
User-Agent: (iPhone12,3;iOS 14.5)
Content-Length: 1076
Accept-Language: zh-tw
Accept-Encoding: gzip, deflate, br
AuthToken: 12345

2. 撰寫 Python 腳本，偽造 APP API 請求（模擬簽到動作）

在撰寫 Python 腳本之前，我們可先使用 Postman 調試一下參數，觀察看看哪個參數是必要的或是有時效會改變；但要直接照搬也可以。

checkIn.py:

  
import requests
import json

def main(args):
    results = {}
    try:
      data = { "action" : "checkIn" }
      headers = { "Cookie" : "PHPSESSID=dafd27784f94904dd586d4ca19d8ae62", 
      "AuthToken" : "12345",
      "User-Agent" : "(iPhone12,3;iOS 14.5)"
      }
      
      request = requests.post('https://zhgchg.li/usercenter', data = data, headers = headers)
      result = json.loads(request.content)
      if result['status_code'] == 200:
        return "CheckIn Success!"
      else:
        return result['message']
    except Exception as e:
      return str(e)

⚠️ main(args) 這邊的 args 用途後面會講，如果要在本地測試直接帶 main(True) 就好。

使用 Requests 套件幫我們執行 HTTP Request，如果出現：

ImportError: No module named requests

請先使用 pip install requests 安裝套件。

加上執行結果 Linebot 通知：

這部分我做的很簡單，僅共參考，僅通知自己。

前往&啟用 Line Developers Console 開發者
建立一個 Provider

選擇「Create a Messaging API channel」

下一步填好基本訊息後按「Create」送出建立。

建立好之後在第一個「Basic settings」Tab 下面找到「Your user ID」區塊，這就是你的 User ID

建立好之後，選擇「Messaging API」Tab，掃描 QRCode 將機器人加入好友。

繼續往下滾找到「Channel access token」區塊，點擊「Issue」產生 token。

複製下來產生出來的 Token，我們有這組 Token 就能發訊息給使用者。

有了 User Id 跟 Token 之後我們就能發訊息給自己了。

因沒有要做其他功能所以連 python line sdk 都不用裝，直接打 http 發。

串上之前的 Python 腳本後…

checkIn.py:

  
import requests
import json

def main(args):
    results = {}
    try:
      data = { "action" : "checkIn" }
      headers = { "Cookie" : "PHPSESSID=dafd27784f94904dd586d4ca19d8ae62", 
      "AuthToken" : "12345",
      "User-Agent" : "(iPhone12,3;iOS 14.5)"
      }
      
      request = requests.post('https://zhgchg.li/usercenter', data = data, headers = headers)
      result = json.loads(request.content)
      if result['status_code'] == 200:
        sendLineNotification("CheckIn Success!")
        return "CheckIn Success!"
      else:
        sendLineNotification(result['message'])
        return result['message']
    except Exception as e:
      sendLineNotification(str(e))
      return str(e)
      
def sendLineNotification(message):
    data = {
        "to" : "這邊帶你的 User ID",
        "messages" : [
            {
                "type" : "text",
                "text" : message
            }
        ]
    }
    headers = {
        "Content-Type" : "application/json",
        "Authorization" : "這邊帶channel access token"
    }
    request = requests.post('https://api.line.me/v2/bot/message/push',json = data, headers = headers)

測看看通知有沒有發成功：

Success!

小插曲，通知部分我本來是想用 Gmail SMTP 用信件來發，結果上到 Google Cloud 後發現無法使用…

3. 將 Python 腳本搬到 Google Cloud 上

前面基本的講完了，正式進入本篇重頭戲；將 Python 腳本搬上雲端。

這部分我一開始向中的是 Google Cloud Run 但用了下覺得太複雜，我實際懶得研究，因為我的需求太小用不到這麼多功能；所以 我用的是 Google Cloud Function serverless 方案；實際上比較常用來做的是構建 serverless web 服務。

如果沒使用過 Google Cloud 的朋友，請先前往 主控台 新增好專案＆設定好帳單資訊
在專案主控台首頁，資源的地方點擊「Cloud Functions」

上方選擇「建立函式」

輸入基本資訊

⚠️記下「 觸發網址」

區域可選：

US-WEST1 、 US-CENTRAL1 、 US-EAST1 可享 Cloud Storage 服務免費額度。
asia-east2 (Hong Kong) 靠我們比較近，但需要支付微微的 Cloud Storage 費用。

⚠️建立 Cloud Functions 時會需要 Cloud Storage 寄存程式碼。

⚠️詳細計價方式請參考文末。

觸發條件選： HTTP

驗證： 依需求，我希望我能從外部點連結執行腳本，所以選擇「允許未經驗證的叫用」；如果選擇需要驗證，後續 Scheduler 服務也要做相應設定。

變數、網路及進階設定可在變數中設定變數給 Python 使用（這樣參數有變動就不用改到 Python 程式碼）：

在 Python 中調用的方式：

  
import os

def main(request):
  return os.environ.get('test', 'DEFAULT VALUE')

其他設定都不需要動，直接「儲存」->「下一步」。

執行階段選「Python 3.x」並將寫好的 Python 腳本貼上，進入點改成「main」

補充 main(args) ，同前述，此項服務比較是用來做 serverless web；所以 args 實際是 Request 物件，你能從其中拿到 http get query 及 http post body 資料，具體方式如下：

取得 GET Query 資訊：
request_args = args.args

example: ?name=zhgchgli => request_args = [“name”:”zhgchgli”]

取得 POST Body 資料：
request_json = request.get_json(silent=True)

example: name=zhgchgli => request_json = [“name”:”zhgchgli”]

如果使用 Postman 測試 POST 記得使用「Raw+JSON」POST 資料，否則不會有東西：

程式碼部分 OK 之後，切換到「requirements.txt」輸入有用到的套件依賴：

我們使用「request」這個套件幫我們打 API，此套件不在原生 Python 庫裡面；所以我們要在這裡加上去：

requests>=2.25.1

這邊指定版本 ≥ 2.25.1，也可不指定只輸入 requests 安裝最新版。

都 OK 之後點擊「部署」開始部署。

需要花約 1~3 分鐘的時間等他部署完成。

部署完成後可由前面記下的「 觸發網址 」前去執行查看是否正確運行，或使用「動作」->「測試函式」進行測試

如果出現 500 Internal Server Error 則代表程式有錯，可點擊名稱進入查看「紀錄」，在其中找到原因：

UnboundLocalError: local variable 'db' referenced before assignment

點擊名稱進入後也可按「編輯」修改腳本內容

測試沒問題就完成了！我們已經順利將 Python 腳本搬上雲端。

補充關於變數部分

依照我們的需求，我們需要能有個地方存放、讀取簽到 APP 的 token；因為 token 可能會失效；需要重新要求並寫入共下次執行時使用。

想要從外部動態傳入變數到腳本中有以下方法：

[Read Only] 前述所提到的，執行階段環境變數
[Temp] Cloud Functions 有提供一個 /tmp 目錄共執行時寫入、讀取檔案，但結束後就會刪除，詳情請參考官方文件。
[Read Only] GET/POST 傳送資料
[Read Only] 放入附加檔案

在程式中使用相對路徑 ./ 就能讀取到， 僅限讀取無法動態修改 ；要修改只能在控制台這修改＆重新部署。

想要可以讀取、動態修改就需要串接其他 GCP 服務，例如：Cloud SQL、Google Storage、Firebase Cloud Firestore…

[Read & Write] 這邊我選擇的是 Firebase Cloud Firestore 因為目前只有此方案有免費額度使用。

按照入門步驟，建立好 Firebase 專案後；進入 Firebase 後台：

在左方選單列找到「 Cloud Firestore 」->「 新增集合 」

輸入集合 ID。

輸入資料內容。

一個集合可以有多個文件，每個文件可以有各自的欄位內容；使用上非常彈性。

在 Python 中使用：

請先到 GCP控制台 -> IAM與管理 -> 服務帳戶，按照以下步驟下載身份驗證私鑰文件：

首先選擇帳號：

下方「新增金鑰」->「建立新的金鑰」

選擇「JSON」下載檔案。

將此 JSON 檔案放到同 Python 的專案目錄下。

本地開發環境下：

pip install --upgrade firebase-admin

安裝 firebase-admin 套件。

在 Cloud Functions 上要在 requirements.txt 中多加入 firebase-admin 。

環境弄好後，可以來讀取我們剛剛新增的數據了：

firebase_admin.py:

  
import firebase_admin
from firebase_admin import credentials
from firebase_admin import firestore

if not firebase_admin._apps:
  cred = credentials.Certificate('./身份驗證.json')
  firebase_admin.initialize_app(cred)
# 因若重複 initialize_app 會報以下錯誤
# providing an app name as the second argument. In most cases you only need to call initialize_app() once. But if you do want to initialize multiple apps, pass a second argument to initialize_app() to give each app a unique name.
# 所以安全起見在 initialize_app 前先檢查是否已 init

db = firestore.client()
ref = db.collection(u'example') //集合名稱
stream = ref.stream()
for data in stream:
  print("id:"+data.id+","+data.to_dict())

如果是在 Cloud Functions 上除了可以把身份驗證 JSON 檔一起上傳上去，也可以在使用時將連接語法改成以下使用：

  
cred = credentials.ApplicationDefault()
firebase_admin.initialize_app(cred, {
  'projectId': project_id,
})

db = firestore.client()

如果出現 Failed to initialize a certificate credential. ，請檢查身份驗證 JSON 是否正確。

新增、刪除更多操作請參考官方文件。

4. 在 Google Cloud 設定自動排程

有了腳本之後再來是要讓他自動執行才能達到我們的最終目標。

前往 Google Cloud Scheduler 控制台首頁
上方「建立工作」

輸入工作基本資料

執行頻率： 同 crontab 輸入方式，如果你對 crontab 語法不熟，可以直接使用 crontab.guru 這個神器網站 ：

他能很直白的翻譯給你所設定的語法實際意思。（點 next 可查看下次執行時間）

這邊我設定 15 1 * * * ，因為簽到每天只需要執行一次，設在每日凌晨 1:15 執行。

網址部分： 輸入前面記下的「 觸發網址 」

時區： 輸入「台灣」，選擇台北標準時間

HTTP 方法： 照前面 Python 程式碼我們用 Get 就好

如果前面有設「驗證」 記得展開「SHOW MORE」進行驗證設定。

都填好後 ，按下「建立」。

建立成功後可選擇「立即執行」測試一下正不正常。

可查看執行結果、上次執行日期

⚠️ 請注意，執行結果「失敗」僅針對 web status code 是 400~500 或 python 程式有錯誤。

大功告成！

我們已達成將例行任務 Python 腳本上傳到雲端＆設定自動排成自動執行的目標。

計價方式

還有一部分很重要，就是計價方式；Google Cloud、Linebot 都不是全免費服務，所以了解收費方式很重要；不然為了一個小小的腳本，付出太多的金錢那不如電腦開著掛著跑哩。

Linebot

參考官方定價資訊，一個月 500 則內免費。

Google Cloud Functions

參考官方定價資訊，每月有 200 萬次叫用、400,000 GB/秒和 200,000 GHz/秒的運算時間、 5 GB 的網際網路輸出流量。

Google Firebase Cloud Firestore

參考官方定價資訊，有 1 GB 大小容量、每月 10 GB 流量、每天 50,000 次讀取、20,000 次寫入/刪除；輕量使用很夠用了！

Google Cloud Scheduler

參考官方定價資訊，每個帳號有 3 項免費工作可設定。

對腳本來說以上免費用量就綽綽有餘啦！

Google Cloud Storage 有條件免費

東躲西躲，還是躲不掉可能被收費的服務。

Cloud Functions 建立好之後會自動建立兩個 Cloud Storage 實體：

如果剛剛 Cloud Functions 選擇的是 US-WEST1、US-CENTRAL1 或 US-EAST1 這三個地區則可享有免費使用額度：

我是選擇 US-CENTRAL1 沒錯，可以看到第一個 Cloud Storage 實體的地區是 US-CENTRAL1 沒錯，但第二個是寫 美國多個地區 ； 我自已估計這項是會被收費的 。

參考官方定價資訊，依照主機地區不同有不同的價格。

程式碼沒多大，估計應該就是每個月最低收費 0.0X0 元（？

⚠️以上資訊均為 2021/02/21 時撰寫時紀錄，實際以當前價格為主，僅共參考。

計價預算控制通知

just in case…假設真的有狀況超出免費用量開始計價，我希望能收到通知；避免可能程式錯誤暴衝造成帳單金額報表卻渾然不知。。。

前往 主控台
找到「 計費功能 」Card：

點擊「 查看詳細扣款紀錄 」進入。

展開左邊選單，進入「 預算與快訊 」功能

點擊上方「 設定預算 」

輸入自訂名稱

下一步。

金額，輸入「 目標金額 」，可輸入 $1、$10；我們不希望在小東西上花太。

下一步。

動作這邊可以設定當預算達到多少百分比時會觸發通知。

勾選「 透過電子郵件將快訊傳送給帳單管理員和使用者 」，這樣當條件處發時就能第一時間收到通知。

點擊「完成」送出儲存。

當預算超過時我們就能馬上就能知道，避免產生更多費用。

總結

人的精力是有限的，現今科技資訊洪流，每個平台每個服務都想要榨取我們有限的精力；如果能透過一些自動化腳本分擔我們的日常生活，聚沙成塔，讓我們省下更多精力專心在重要的事情之上！

===

本文首次發表於 Medium ➡️ 前往查看

使用 Python+Google Cloud Platform+Line Bot 自動執行例行瑣事