User Tools

Site Tools


google_cloud_platform

Google Cloud Engine

GCE是什麼?

那么GCE很像传统上大家所熟悉的伺服器,但它假設在Google自己的數據中心,由專人維護,並且通過Google超快速的全球私有光線網絡互相連接。

字幕:GCE可以做什么? GCE擁有豐富且強大的配套功能。 首先,在GCE上,我們首先可以客制化虛擬機。我們可以選擇從微型实例到配备多达 160 个 vCPU 和高达 3.75 TB 系统内存。 我們還可以為虛擬機添加永久性磁盘,如果虚拟机终止运行,其永久性磁盘会保留数据,且可立刻掛載到其他虛擬機上。 另外,如果使用GCE的全球负载平衡器功能,還可以實現最優化的網絡分流。

字幕:為甚麼我們選擇GCE? 客戶選擇GCE的一大理由是它的穩定和來自于Google的自動維護的支持。

例如,我們的客戶MANTAN公司是一家1500万PV/月的新聞網站,通過導入GCE讓MANTAN公司的網站能輕鬆應對流量高峰,保證了訪客的流暢閱覽體驗。

MANTAN公司之所以選擇GCE,是因為Google的伺服器和负载平衡器的能力就足夠應對全球規模的訪問。其次GCE還提供自動維護功能,即使因為虚拟机负载量极高導致进入维护,系统也会自动将您运行中的虚拟机移至附近的主机系统。甚至出現一些硬件故障時,您都不需要重新启动虚拟机。在穩定的GCE上您不會錯失任何一次商業機會。

BigQuery

Design

BigQuery provides external access to the Dremel technology, a scalable, interactive ad hoc query system for analysis of read-only nested data. To use the data in BigQuery, it first must be uploaded to Google Storage and in a second step imported using the BigQuery HTTP API. BigQuery requires all requests to be authenticated, supporting a number of Google-proprietary mechanisms as well as OAuth.

Features

  • Managing data - create and delete tables based on a JSON-encoded schema, import data encoded as CSV or JSON from Google Storage.
  • Query - the queries are expressed in a standard SQL dialect[6] and the results are returned in JSON with a maximum reply length of approximately 128 MB, or an unlimited size when large query results are enabled.[7]
  • Integration - BigQuery can be used from Google Apps Script[8] (e.g. as a bound script in Google Docs), or any language that can work with its REST API or client libraries[9].
  • Access control - is possible to share datasets with arbitrary individuals, groups, or the world.

Cloud ML

  1. Cloud Machine Learning Engine:用户自己提供算法。在本地機器上進行的機器學習訓練时data的整理和机器的scaling是很麻烦的,GCP可以自动帮忙做这些。
  2. Cloud AutoML、Natural Language和Vision等:用户提供Data。
  3. Cloud Speech-to-Text API、Cloud Video Intelligence等:Google训练完成的。用户不需要提供Data。

Note

  • Unordered List Item Google Cloud ML使用的 ML frameworks: TensorFlow, scikit-learn, XGBoost, Keras.
  • 谷歌自己研发的ML专用芯片 —— TPU:the TPU is on average about 15X-30X faster than its contemporary GPU or CPU, with TOPS/Watt about 30X - 80X higher. Moreover, using the GPU’s GDDR5 memory in the TPU would triple achieved TOPS and raise TOPS/Watt to nearly 70X the GPU and 200X the CPU. https://arxiv.org/pdf/1704.04760.pdf
google_cloud_platform.txt · Last modified: 2019/01/04 16:29 by admin