Google Cloud Platform – Larry的午茶時光

Google Cloud Storage Client Library

Larry — Sun, 27 Jul 2014 01:31:00 +0000

https://developers.google.com/storage/docs/json_api/v1/json-api-javascript-samples

The sample almost demonstrates everything for authenticated users (who need to have google accounts.) The actions include read, write, modify access control, etc. One problem is that it doesn't have progress, and currently I can't find any way to get that information.

The sample utilizes Google API (JavaScript gapi.* functions.)
The API reference webpage:
https://developers.google.com/storage/docs/json_api/v1/?hl=zh-TW

https://developers.google.com/storage/docs/json_api/v1/json-api-python-samples

The sample is like a tool in the local development environment. It also needs user authentications (w/ Google account.) As far as a local development tool is concerned, it's simpler. But it should have less opportunity to become web applications,

The sample utilizes third-party python libraries.

https://developers.google.com/appengine/docs/python/googlecloudstorageclient/getstarted

The sample is python code executed in the server side with “get” method. It works well in the server side and doesn't need any authentication, which is reasonable because it is executed in the server side and the App Engine project natively has the authentication to read/write its Cloud Storage.

The sample doesn't have progress either. The use case should be read/write text files to Cloud Storage (the server code hangs in reading/writing Blob files.)

Google Cloud SQL

Larry — Sun, 29 Jun 2014 13:55:00 +0000

https://developers.google.com/appengine/docs/python/cloud-sql/?hl=zh-tw

因為 App Engine 本身是不支援 relational database 的, 所以一般使用 MySQL 的 web 框架其實是不能在 App Engine 上直接運行, 需要用到另一服務 CloudSQL.

一般我們說 user friendly, 做 Cloud 服務很重要一點是: developer friendly. CloudSQL 這點做的不錯, 很簡單的跟 MySQL Client 連線, 輸入 command, 反應也都很快.

這個 sample 是 webapp2 框架. 其實用 webapp2 好處很多. 他本來就輕量, 而且因為 App Engine 運行環境本來就裝有 webapp2, 所以對開發者來說, 要上傳/維護的檔案真的極少 (跟 Django 比較的話, 差別非常明顯).

另一方面, 由於 Django 是主流框架, 大型的開源專案, 持續有在演進, 先進很多, 功能也比較完整. 如果真的將 Django 在 App Engine 上的 ORM 等弄順, 其實是非常有價值的.

最後補充一下如何在 local 建 MySQLdb 環境, 基本上下面 link 敘述的非常詳細:
http://stackoverflow.com/questions/1448429/how-to-install-mysqldb-python-data-access-library-to-mysql-on-mac-os-x

MySQL – Python 的專案頁面:
http://sourceforge.net/projects/mysql-python/

Build 的時候會 fail, ex: _mysql.c 找不到 Python.h
改為 #include “Python/Python.h” 就好了

Google App Engine (5) : Python, Django

Larry — Sun, 12 Jan 2014 09:44:00 +0000

將 Django 放在 project folder 中開發時幾點要注意的地方:

1. PYTHONPATH 要指向放 Django 的 folder (PYTHONPATH 會被加到 Python 的 sys.path 裡).

2. 在該目錄下 “django-admin.py startproject mysite” 產生 project. 此時 mysite/mysite 中有 settings.py, urls.py, wsgi.py.

3. 將 Django 改放到 project folder 中 (mysite).

4. 在 project folder 下 “python manage.py runserver” 做驗證.

5. 在 project folder 下 “python manage.py syncdb” create database tables. By https://docs.djangoproject.com/en/1.6/intro/tutorial01/
“The syncdb command looks at the INSTALLED_APPS setting and creates any necessary database tables according to the database settings in your mysite/settings.py file.”

6. 在 project folder 下 “python manage.py startapp polls” 產生第一個 app (注意之前 mysite/mysite 不是 app). 此時 polls folder 中有 admin.py, models.py, tests.py, views.py.

7. 在 Django-nonrel testapp 的 project folder 下 “python manage.py runserver”, “python manage.py startapp polls” ㄧ樣可以成功 (testapp 中用的 Django 版號, 內容都與原始 Django 不同, 不是理所當然可以成功).

8. 定義你的 data models (polls/models.py), and activate them.

9. “python manage.py syncdb” 產生 model tables (Django-nonrel testapp 不用)

10. 下 “python manage.py shell”, 他會開啟 Python shell 同時設定 DJANGO_SETTINGS_MODULE. 在此環境下可以使用 Django API. Tutorial 有說可以外部先設定 DJANGO_SETTINGS_MODULE (ex. mysite.settings), 之後可以直接下 “python” 進入 shell, 但目前不採用這樣配置, 因為多專案時設定 DJANGO_SETTINGS_MODULE 會有一些麻煩.

11. 同樣試一下 Django-nonrel testapp, 依照 https://developers.google.com/appengine/articles/django-nonrel
“Here is the resulting content for the models.py file:…” 設定 models.py. 並且試用 Django API, 成功.

12. 在 polls.admin 註冊在 admin 要出現的界面. 進入 admin 編輯 polls. For native Django, it's ok. For Django-nonrel testapp, polls 中沒有 admin.py, 進入 admin 後當然也沒有顯示 polls app 中的 objects. 但用 Django API 確認上一步輸入的 data 還在, 查詢了一下, 在 djangotoolbox/admin.py 註冊是 ok 的.

13. 接著在 project_folder/urls.py 加上你的 URL map, 在 project_folder/polls/urls.py 加上你的 URL map, project_folder/polls/views.py 加上你 URL handler function. 同時也許需要在 project_folder/polls/templates/ 中加上 html files. “views.py” 雖然名稱是 views, 但是以 MVC 架構來說, 它更像是 controller 的角色.

Additional ref:
https://developers.google.com/appengine/articles/app-engine-patch?hl=zh-TW

Google App Engine (4) : Python, Django

Larry — Sun, 15 Dec 2013 14:00:00 +0000

Google Cloud SQL 是 non-relational database, 而 Django 本身是只支援 traditional databases, 所以 Django 要上 GAE 的話, 要注意的是原始 Django framework 不能再用了, 要改用 Django-nonrel 這個專案.
https://github.com/django-nonrel/django

另外要注意的是, 目前不管是 django-nonrel 的 testapp
https://github.com/django-nonrel/django-testapp

還是 Google Cloud Platform 的 django-skeleton
https://github.com/GoogleCloudPlatform/appengine-django-skeleton

都是用 execute_manager 這個 function, 在目前 Django 版本 (1.6) 已經不支援它了. 所以就單純化問題來說, 電腦最好不要安裝新版 Django. 安裝 django-nonrel/testapp 與 Google Cloud Platform/django-skeleton 時下載相依檔案時會下載 django-nonrel 的 1.4 版 (其他相依模組也是 1.4 版).

django-nonrel/testapp 與 Google Cloud Platform/django-skeleton 的差異? django-skeleton 的 app.yaml 有加 comment. 如果不算 comment 或 README 的話, 兩個 project 算是相同. 接著分析一下上述專案的架構, 它包含5個 app
autoload
dbindexer
django
djangoappengine
djangotoolbox

程式進入點 djangoappengine.main.application 位於 djangoappengine/main/__init__.py
application = WSGIHandler()

launch 起來看到的頁面是 /templates/home.html, 依照 Django 的架構, 由 /url.py 所指定. Nice article:
http://blog.wu-boy.com/2009/04/django-web-framework-django-%E5%88%9D%E9%9A%8E%E5%AD%B8%E7%BF%92%E5%BF%83%E5%BE%97/

Google App Engine (3) : Python

Larry — Sat, 16 Nov 2013 13:46:00 +0000

嘗試分析一下這個 GAE 基礎 sample 的架構
https://github.com/GoogleCloudPlatform/appengine-guestbook-python

他是教學網頁(大概是從這一頁開始)
https://developers.google.com/appengine/docs/python/gettingstartedpython27/handlingforms
的範例程式碼.

首先看 app.yaml. 其中

- url: /.*
  script: guestbook.application

說明會有一個 “guestbook” module (guestbook.py), 裡面會有一個 “application” object 當作 request handler.

另外 app.yaml 中

libraries:
- name: webapp2
  version: latest
- name: jinja2
  version: latest

指出這個 application 中使用 webapp2, jinja2 兩個 library (jinja2 是 templating engine). 使用 jinja2 可以將一大堆 html 從 guestbook.py 中切開 (此例是放在 index.html, 使用了 bootstrap front-end framework).

Python NDB 的部分主要是用在 request handling module (guestbook.py). By
https://developers.google.com/appengine/docs/python/gettingstartedpython27/usingdatastore
為了要有效率的 query data, Google Datastore 建議要用 custom index for some queries, 在此例中, 宣告在 index.yaml. Datastore 的部分我覺得是比較艱澀難懂, 留在之後再研究.

Google App Engine (2) : PHP, WordPress

Larry — Sun, 27 Oct 2013 06:03:00 +0000

最近由 Windows 轉到 Mac OS X, GAE 的開發環境又要重新設定. 參考了 http://www.saick.net/blog/2013/06/07/mysql-for-macosx-an-zhuang-he-ji-ben-cao-zuo/

終於成功的 create local database. 接著下 “AppEngine_PHP_SDK/dev_appserver.py THE_APP_DIR/”

卻出現了找不到 php-cgi 的 error (The path specified with the –php_executable_path flag () does not exist). Google 了一下有人有一樣的問題
http://stackoverflow.com/questions/16680729/google-app-engine-php-running-on-mac

搜尋了一下, 似乎沒有解法, 資訊也不多. 後來發現從
https://code.google.com/p/googleappengine/downloads/list
download 的 1.8.6 PHP SDK 會有以上問題, 但從
https://developers.google.com/appengine/docs/php/gettingstarted/installingmac
頁面上提示的 dmg 安裝包並不會發生這個問題.

GAE 連接 local MySql DB 會有問題, 嘗試了很久, 應該是 bug, 有人有一樣的問題
http://stackoverflow.com/questions/19132196/database-errors-when-running-wordpress-on-google-app-engine/19209375#19209375

直接嘗試上傳部署是成功的, command “appcfg.py update THE_APP_DIR/”, 結果在 (因為這個 application 會持續使用 Google Cloud SQL, 我把它 disable 掉了)
http://larrys-matcha-waffle.appspot.com/

掙扎了一會, 終於把 Google Cloud Storage 與 App Engine 的合作弄好了. App Engine 一定要有 GCS (Google Cloud Storage) 才能上傳多媒體檔案. GCS 觀念上要釐清: 他是可以支援多個 application 的, GCS 的計價也是獨立計算.

其實整體問題還很多, 參考的 link 記錄一下
http://michaelsync.net/2013/10/27/migrating-the-existing-blog-to-google-app-engine-php-runtime-is-not-that-simple

Google App Engine (1)

Larry — Sat, 04 May 2013 11:49:00 +0000

一般所謂的雲端服務分為 SaaS (Software as a Service)，PaaS (Platform as a Service)，和 IaaS (Infrastructure as a Service)。而本篇主角 Google App Engine 則是 PaaS 的代表之一。https://developers.google.com/appengine/training/intro/whatisgae

這兩天抽空將 GAE (Google App Engine) 的流程走了一遍，包含佈署 (deploy) 上線。https://developers.google.com/appengine/docs/java/gettingstarted/

專案資料夾主要分為 src 與 war。src 當然就是放你的原始碼，war 資料夾在最終會上傳佈署，其中包含：css、html、xml、jsp、多媒體資源檔、compiled byte-code，和相依的 jar libraries。

Eclipse “Web Application Project” 模版 “war” folder 裡 “index.html” 為網站的入口頁面。

“warWEB-INF” 裡的 “web.xml” 為 “web application deployment descriptor”。其宣告了，，和。

的 default 值是 “index.html”。根據：
https://developers.google.com/appengine/docs/java/gettingstarted/creating

“It also says that, whenever the user fetches a URL path that is not already mapped to a servlet and represents a directory path inside the application's WAR, the server should check for a file named index.html in that directory and serve it if found.”

另外還有一 “appengine-web.xml”，則是 GAE 專屬，其標籤是重點，須與你的 GAE application ID 同。指定 JSP 網頁的方式：
https://developers.google.com/appengine/docs/java/gettingstarted/usingjsps

開發過程主要就是新增 JSP 檔和在 “web.xml” 指定你 JSP 檔的 mapping URL。當然 JSP 檔可以跟 Java servlet 做互動。

GAE 提供了免費 (或是一定費用) 的虛擬 server，免去採購 server，設定 server，建置維護網站運行環境所需的人力與金錢。

附註：GAE 目前還不成熟，tool chain 的建置不是很順暢，很多東西要 google 一陣子才知道做法。