Javaを使用したGoogle Cloud Storage：クラウド内の画像とその他のファイル

Google App Engine / Google Cloud EndpointsプラットフォームでのJava Web開発に関する一連の記事を続けて、Google Cloud Storageファイルのクラウドストレージのサービスを見ていきます。



一般に、スキームは次のとおりです。バックエンドのサーバーは、ストレージの特定のコンテナ（バケット）にファイルを転送するための一時リンク（アドレス）を生成し、フロントエンドのファイルを転送するフォームに挿入します。 ユーザーは、指定されたアドレスに1つ以上のファイルをリクエスト本文に指定してPOST HTTPリクエストを送信し、ファイルを受信して​​リポジトリに配置します。配置されたファイルに関するデータとともにHTTPリクエストをサーブレットが受信します。サーブレットは、配置されたファイルに関する情報を処理した後、HTTPレスポンスをユーザーに返します： JSONまたはtext / html、または私たちが望むもの。



ファイルはリポジトリに保存され、サーブレットにはファイルへのアクセスを許可するキーがあります。特に、別のサーブレットを使用してユーザーにファイルを発行するか、「静的」リンク（https：//）を作成できます。

リポジトリへのアクセスは、ウェブインターフェースから、およびgsutilユーティリティを使用してコマンドラインからも利用できます。



例として、Google Cloud StorageをGAEのアプリケーションと統合します：hello-habrahabr-api.appspot.com + hello-habrahabr-webapp.appspot.comは前の例で使用しました。

Google Cloud StorageをGoogle App Engine / Google Cloud Endpointsのプロジェクトに接続します

まず、App Engine Developerコンソールにアクセスします： appengine.google.com/dashboard ?& app_id=hello-habrahabr-api （https://appengine.google.com/dashboard?&app_id={ project ID}）



[アプリケーションの設定]> [クラウド統合]に移動し、ページの下部にある[作成]をクリックします。







「クラウド統合タスクが開始されました」というメッセージが表示されます。



Google Developer Consoleには「古い」と「新しい」の2つのバージョンがあり、機能は徐々に「古い」から「新しい」に移行しています。 古い開発者コンソールからCloud Integrationを含めています（この機能はすぐに新しいコンソールにも登場することを期待すべきです）。



「作成」ボタンの代わりに、クラウド統合セクションの下部にページをリロードすると、「プロジェクトが正常に作成されました。 詳細については、「基本」セクションを参照してください。「基本セクションの少し上に、接続されたGoogle Cloud Storageバケットへのリンクが表示されます。デフォルトでは、GAEプロジェクトと同じ名前が付けられます（私の場合はhello-habrahabr-api.appspot.com）。







リンクをクリックすると、アドレスconsole.developers.google.com/storage/browser {name Bucket} / Dに移動します：私の場合： console.developers.google.com/storage/browser/hello-habrahabr-api.appspot.com （当然のことながら承認が必要です）、ストレージブラウザにアクセスします：







ここでは、新しいフォルダーの作成、ファイルのアップロードと削除、ファイルのアクセス許可の管理を行うことができます。たとえば、ファイルを公開し、Web用のファイルへのパーマリンクを受け取ることができます（たとえば、Web用に画像やその他の静的ファイルを使用する場合サイト）、検索およびフィルター。



Cloud Storageは、Google App Engineのすべてのアプリケーションに無料のバケットを提供しますが、この場合、ストレージブラウザーのウェブインターフェースはバケットのコンテンツを表示する機能のみを提供します。 ストレージブラウザーのすべての機能をアクティブにし、追加のバケットを作成するには、請求を有効にしてクレジットカード情報を入力する必要があります（「無料トライアルに署名」をクリックしてクレジットカード情報を入力すると、トライアル期間である60日間、または300ドル以内で無料トライアルが得られます） ）

ファイルをダウンロードするための一時リンクを作成する

必要なインポート：

import com.google.appengine.api.blobstore.BlobstoreService; import com.google.appengine.api.blobstore.BlobstoreServiceFactory; import com.google.appengine.api.blobstore.UploadOptions;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リンクを作成するコマンド：

 String uploadUrl = BlobstoreServiceFactory.getBlobstoreService().createUploadUrl( "/upload", // path to upload handler (servlet) UploadOptions.Builder.withGoogleStorageBucketName("hello-habrahabr-api.appspot.com") // bucket name )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

たとえば、Cloud EndpointsでAPIを作成すると、ファイルをダウンロードするためのリンクを返すAPIは次のようになります。

 package com.appspot.hello_habrahabr_api; import com.google.api.server.spi.config.Api; import com.google.api.server.spi.config.ApiMethod; import com.google.appengine.api.blobstore.BlobstoreServiceFactory; import com.google.appengine.api.blobstore.UploadOptions; import java.io.Serializable; @Api(name = "uploadAPI", version = "ver.1.0", scopes = {Constants.EMAIL_SCOPE}, clientIds = { Constants.WEB_CLIENT_ID, Constants.API_EXPLORER_CLIENT_ID }, description = "uploads API") public class UploadAPI { // add this class to <init-param> of <servlet-name>SystemServiceServlet</servlet-name> in web.xml /* API methods can return JavaBean Objects only, so we use this as a wrapper for String */ class StringWrapperObject implements Serializable { private String string; public StringWrapperObject() { } public StringWrapperObject(String string) { this.string = string; } public String getString() { return string; } public void setString(String string) { this.string = string; } } // end of StringWrapperObject class @ApiMethod( name = "getCsUploadURL", path = "getCsUploadURL", httpMethod = ApiMethod.HttpMethod.POST ) @SuppressWarnings("unused") public StringWrapperObject getCsUploadURL() { String uploadURL = BlobstoreServiceFactory.getBlobstoreService().createUploadUrl( "/cs-upload", // upload handler servlet address UploadOptions.Builder.withGoogleStorageBucketName( "hello-habrahabr-api.appspot.com" // Cloud Storage bucket name ) ); return new StringWrapperObject(uploadURL); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

フロントエンドフォーム：

 <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.2.0/jquery.min.js"></script> <title>File Upload Form</title> </head> <body> <hr> One File: <hr> <form action="" method="post" enctype="multipart/form-data"> <input type="file" name="file"> <input type="submit" value="Upload"> </form> <hr> Multiple Files: <hr> <form action="" method="post" enctype="multipart/form-data"> <input type="file" name="files[]" multiple> <input type="submit" value="Upload"> </form> <!-- JavaScript --> <script> 'use strict'; $(document).ready(function () { var url = "https://hello-habrahabr-api.appspot.com/_ah/api/uploadAPI/ver.1.0/getCsUploadURL"; $.ajax(url, { method: "POST", // (default: 'GET') async: false, // default: true processData: true, // (default: true) (By default, data passed in to the 'data' option as an object) success: function (data) { console.log("responce received:"); console.log(data); $("form").attr("action", data.string); } }) }) </script> </body> </html>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

JSPと同じ形式：

 <%@ page contentType="text/html;charset=UTF-8" language="java" %> <%@ page import="com.google.appengine.api.blobstore.BlobstoreService" %> <%@ page import="com.google.appengine.api.blobstore.BlobstoreServiceFactory" %> <%@ page import="com.google.appengine.api.blobstore.UploadOptions" %> <% BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService(); %> <html> <head> <title>File Upload Form</title> </head> <body> <hr> One File: <hr> <form action="<%= blobstoreService.createUploadUrl("/cs-upload", UploadOptions.Builder.withGoogleStorageBucketName("hello-habrahabr-api.appspot.com")) %>" method="post" enctype="multipart/form-data"> <input type="file" name="file"> <input type="submit" value="Upload"> </form> <hr> Multiple Files: <hr> <form action="<%= blobstoreService.createUploadUrl("/cs-upload", UploadOptions.Builder.withGoogleStorageBucketName("hello-habrahabr-api.appspot.com")) %>" method="post" enctype="multipart/form-data"> <input type="file" name="files[]" multiple> <input type="submit" value="Upload"> </form> </body> </html>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

表示されるリンクは次のようになります。



https://hello-habrahabr-api.appspot.com/_ah/upload/AMmfu6YJ0ci-sKP5k98sKaJEUjYwBFbkVfQ7iylXTJV52_gy5HIECKNG52IPUCJ9PB3wpL2wxgX82GkGkzetHt-6fuu4yzAzFFhD8HGOcD7eJ48KJLnKnb2EqbuoFEdyuc8r_FTR7779IIaf42rf_jhkl7Hju3GxWDmxh2WtmcPR2AbB9OWlQhYxBIWtZgBW9OsHO50pI21/ALBNUaYAAAAAVp2DRSZYST46t2kPmrGrrBoY3AFjyOiD/









ただし、HTTP応答は、アドレス/cs-upload



あるサーブレットによって作成されます

HTTP応答を生成するサーブレット（アップロードハンドラー）

このサーブレットは次のようになります。

 package com.appspot.hello_habrahabr_api; import com.google.appengine.api.blobstore.BlobKey; import com.google.appengine.api.blobstore.BlobstoreServiceFactory; import com.google.appengine.api.blobstore.FileInfo; import com.google.appengine.api.images.ImagesServiceFactory; import com.google.appengine.api.images.ServingUrlOptions; import com.google.appengine.repackaged.com.google.gson.Gson; import com.google.appengine.repackaged.com.google.gson.GsonBuilder; import javax.servlet.ServletException; import javax.servlet.http.HttpServlet; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.io.PrintWriter; import java.util.ArrayList; import java.util.logging.Logger; public class CSUploadHandlerServlet extends HttpServlet { private final static Logger LOG = Logger.getLogger(CSUploadHandlerServlet.class.getName()); private final static String HOST = "https://hello-habrahabr-api.appspot.com"; /* Object to be returned as JSON in HTTP-response (and can be stored in data base) */ class UploadedFileData { FileInfo fileInfo; String BlobKey; String fileServeServletLink; String servingUrlFromgsObjectName; String servingUrlFromGsBlobKey; } // end of uploadedFileData @Override public void doPost(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException { // Returns the FileInfo for any files that were uploaded, keyed by the upload form "name" field. // This method should only be called from within a request served by the destination of a createUploadUrl call. // https://cloud.google.com/appengine/docs/java/javadoc/com/google/appengine/api/blobstore/BlobstoreService#getFileInfos-HttpServletRequest- java.util.Map<java.lang.String, java.util.List<FileInfo>> fileInfoListsMap = BlobstoreServiceFactory.getBlobstoreService().getFileInfos(req); LOG.warning("[LOGGER]: " + new Gson().toJson(fileInfoListsMap)); ArrayList<UploadedFileData> uploadedFilesDataList = new ArrayList<>(); for (java.util.List<FileInfo> fileInfoList : fileInfoListsMap.values()) { for (FileInfo fileInfo : fileInfoList) { UploadedFileData uploadedFileData = new UploadedFileData(); uploadedFileData.fileInfo = fileInfo; LOG.warning("uploadedFileData created:" + new Gson().toJson(uploadedFileData)); BlobKey blobKey = BlobstoreServiceFactory.getBlobstoreService().createGsBlobKey(fileInfo.getGsObjectName()); uploadedFileData.BlobKey = blobKey.getKeyString(); uploadedFileData.fileServeServletLink = HOST + "/serve?blob-key=" + blobKey.getKeyString(); // Use Images Java API to create serving URL // works only for images (PNG, JPEG, GIF, TIFF, BMP, ICO, WEBP) for (com.google.appengine.api.images.Image.Format type : com.google.appengine.api.images.Image.Format.values()) { LOG.warning("com.google.appengine.api.images.Image.Format type: " + type.toString()); LOG.warning("fileInfo.getContentType(): " + fileInfo.getContentType()); if (fileInfo.getContentType().toLowerCase().contains(type.toString().toLowerCase())) { uploadedFileData.servingUrlFromgsObjectName = ImagesServiceFactory.getImagesService().getServingUrl(ServingUrlOptions.Builder.withGoogleStorageFileName(fileInfo.getGsObjectName())); // should be the same as servingUrlFromGsBlobKey uploadedFileData.servingUrlFromGsBlobKey = ImagesServiceFactory.getImagesService().getServingUrl(ServingUrlOptions.Builder.withBlobKey(blobKey)); // should be the same as servingUrlFromgsObjectName } } uploadedFilesDataList.add(uploadedFileData); } } res.setContentType("application/json"); res.setCharacterEncoding("UTF-8"); PrintWriter pw = res.getWriter(); //get the stream to write the data Gson gson = new GsonBuilder().disableHtmlEscaping().create(); pw.println( gson.toJson(uploadedFilesDataList) ); LOG.warning("uploadedFilesDataMap" + new Gson().toJson(uploadedFilesDataList)); pw.close(); //closing the stream } // doPost End }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

HTTPレスポンスで次のJSONを生成します。



それは、我々は、リンクのいずれかのタイプを使用してユーザーを与えることができますダウンロードしたファイルであるhttp://lh3.googleusercontent.com/biRXwDZgclmYJa4hDUwOqBMK--VDNwj-9kZ27vzachWAGBunKVDelImXC9S5EZIhDm1T4xbyq8djFqNKkTzkSpcVkgbPO2ovxg





http://lh3.googleusercontent.com/biRXwDZgclmYJa4hDUwOqBMK--VDNwj-9kZ27vzachWAGBunKVDelImXC9S5EZIhDm1T4xbyq8djFqNKkTzkSpcVkgbPO2ovxg





-それは、画像ファイル、または（いずれの場合にも）を基準として表示されたサーブレットであればhttps://hello-habrahabr-api.appspot.com/serve?blob-key=AMIfv95nBw0rYnC39nCATxvyecFw0JEe64eTm-OhpsSsrR3Idv_rPbO2c6xTDx3q1xkulXfUyapqtEXdeQQur7FcppXa9rRcnlF7QnU8jur7a7AP3T5Ze_-bdD_F6F5mGP9Tteo7p7cN4UccqoYhnAyabAIsJBq3pZIwX2NlHhqcK_aelnu1tl3aszZU4cVmhLiZGE8hFvgDQyt-2oB4DurXUKTwGC56cZykCdYONO0EDETgkImiytbtk1iV_muyYZzfd7on3OS0LSmY8ls7QIcm1IMgl5jDPJANlsk_iWtnRJfEiYAC9pZ7DfhSPxTeYzko0b1TXrKuGjpG8cYMcxiA0Cmeya8y-7SCQuWQLlKCX8WFpIVOr26UguDaq8SFYplALbxgQUiB





https://hello-habrahabr-api.appspot.com/serve?blob-key=AMIfv95nBw0rYnC39nCATxvyecFw0JEe64eTm-OhpsSsrR3Idv_rPbO2c6xTDx3q1xkulXfUyapqtEXdeQQur7FcppXa9rRcnlF7QnU8jur7a7AP3T5Ze_-bdD_F6F5mGP9Tteo7p7cN4UccqoYhnAyabAIsJBq3pZIwX2NlHhqcK_aelnu1tl3aszZU4cVmhLiZGE8hFvgDQyt-2oB4DurXUKTwGC56cZykCdYONO0EDETgkImiytbtk1iV_muyYZzfd7on3OS0LSmY8ls7QIcm1IMgl5jDPJANlsk_iWtnRJfEiYAC9pZ7DfhSPxTeYzko0b1TXrKuGjpG8cYMcxiA0Cmeya8y-7SCQuWQLlKCX8WFpIVOr26UguDaq8SFYplALbxgQUiB





serve





場所 serve





-サーブレットパス、 blob-key





blob-key





-目的のファイルを見つけるためのパラメーター。最も明白なバリアントでは、その値はBlobKeyになります。



BlobKeyは、サーブレットをバイパスしてファイルに直接アクセスすることはできず、サーブレットは、設定した基準に応じて、ファイルを転送する場合と転送しない場合があることに注意してください。 Google App Engineが提供するOAuth2.0認証を使用したり、リクエストで追加のパラメーターを使用したりできます。



サーブレットのアップロードファイルは次のようになります。

 package com.appspot.hello_habrahabr_api; import com.google.appengine.api.blobstore.BlobKey; import com.google.appengine.api.blobstore.BlobstoreService; import com.google.appengine.api.blobstore.BlobstoreServiceFactory; import com.google.appengine.api.users.User; import com.google.appengine.api.users.UserService; import com.google.appengine.api.users.UserServiceFactory; import javax.servlet.http.HttpServlet; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.io.IOException; import java.util.logging.Logger; public class FileServeServlet extends HttpServlet { private final static Logger LOG = Logger.getLogger(CSUploadHandlerServlet.class.getName()); private BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService(); // works both for Bloobstore and Cloud Storage public void doGet( HttpServletRequest req, HttpServletResponse res ) throws IOException { // --- check user: UserService userService = UserServiceFactory.getUserService(); User user = userService.getCurrentUser(); if (user == null) { LOG.warning("[LOGGER] User not logged in"); } else { LOG.warning("[LOGGER] user: " + user.getEmail()); } // get parameter from url constructed with: // "/serve?blob-key=" + blobKey.getKeyString() BlobKey blobKey = new BlobKey(req.getParameter("blob-key")); blobstoreService.serve(blobKey, res); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Images Java API

上記のように、Images Java APIを使用して、

 ImagesServiceFactory.getImagesService().getServingUrl( ServingUrlOptions.Builder.withGoogleStorageFileName(fileInfo.getGsObjectName()) );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

またはと

 ImagesServiceFactory.getImagesService().getServingUrl( ServingUrlOptions.Builder.withBlobKey(blobKey) );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

画像ファイルを提供するURLを取得します。 このファイルのダウンロード方法は、サーブレットを使用するよりも高速に機能しますが、それに応じて「静的」ファイルへのリンクがあり、サーブレットを使用する場合のようにリクエストを処理できません。



しかし、ファイルへのそのような作成されたリンクは、 .deleteServingUrl（BlobKey blobKey）メソッドを使用して作成されたように削除できます。ファイル自体はリポジトリから削除されず、新しいリンクを作成できます。 つまり 必要に応じて作成および削除することにより、このようなリンクを「1回限り」作成できます。



getServingUr（）を使用して作成されたイメージへのリンクに加えて、 http://[image-url]=s200-fh-p-b10-c0xFFFF0000





の形式でイメージを変更するパラメーターを追加できます。 http://[image-url]=s200-fh-p-b10-c0xFFFF0000





：



s640-最大のエッジで640ピクセルの画像を生成します

s0-元の画像サイズ（デフォルトでは、出力画像は縮小されます！）

w100-幅100ピクセルの画像を生成します

h100-高さ100ピクセルの画像を生成します

c-指定したサイズ（たとえば、s200）に画像をトリミングします

p-「スマート」な画像のトリミング、顔に合わせてトリミングを試みます（うまく機能しません）

pp-前の段落と同じことを行う代替方法（同じように機能します）

cc-丸い画像を生成します

fv-垂直に反転します

fh-水平に反転します

r {90}-指定した角度を時計回りに回転します

rj-JPGイメージを生成します

rp-PNG画像を生成します

rw-WebP形式の画像を生成します

rg-GIFイメージを生成します

b10-指定された幅のフレーム（この場合は10px）を追加します

c0xffff0000-フレームの色を設定します（この場合は赤）

d-ブラウザーでの読み込みを開始するヘッダーを追加します

h-画像を含むHTMLページを表示します



たとえば、元の画像から：



パラメーター付き： =w100-h100-cc





=w100-h100-cc





-丸いアバターを生成できます。



パラメーター付き： =s200-b3-c0xffff0000





=s200-b3-c0xffff0000





-顔の最大サイズが200ピクセル、幅が3ピクセルの赤い境界線のサムネイル：



この場合、CSSの使用とは異なり、画像は既に目的のサイズに縮小されたサーバーから読み込まれます。



その他のオプションについては、 stackoverflow.com / questions / 25148567 / list-of-all-the-app-engine-images-service-get-serving-url-uri- optionsを参照してください

コマンドラインからリポジトリにアクセスする（ gsutilユーティリティ）

gsutilはPython（Python 2.6.xまたは2.7.xが必要）で記述され、Linux / Unix、Mac OS、およびWindows（XP以上）のコマンドラインから実行されます。



インストール手順： cloud.google.com/storage/docs/gsutil_install



インストール後、次を実行します。

 gcloud auth login
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ログインします（ habrahabr.ru/post/268863に記載されている内容と同様）



gsutilは、通常のLinux / Unixコンソールコマンドと同様のコマンドを使用したスト​​レージコンテナーへのアクセスを表します;ストレージ内のファイルは、gs：// {container name}の形式の「パス」で示されます。



そのため、コンテナ内のファイルに関する情報を表示するには、次のコマンドを入力します

 gsutil ls gs://hello-habrahabr-api.appspot.com
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

現在のユーザー（Googleアカウント）が使用できるすべてのコンテナ内のすべてのファイル：

 gsutil ls gs://*
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

lsコマンドでより詳細な情報を表示するには、 -l



パラメーターを指定し、ファイルに関する完全な情報を表示するには、 -L



パラメーターを指定します。







したがって、 gs://{ } /{ }





を使用して、 cp



、 mv



、 rm



コマンドをコンテナ内のファイルアドレスとして使用できますgs://{ } /{ }





gs://{ } /{ }





ローカルOS上のファイルの通常のパス、ワイルドカード文字（ gs://*





もサポートされています gs://*





）gsutilコマンドの詳細： cloud.google.com/storage/docs/gsutil

したがって、gsutilの機能を使用して、リポジトリ内のファイルを使用した作業を整理および自動化できます。

参照資料

• Google Cloud Storageとは何ですか？
• Google Cloud Storage用のJavaクライアント
• Images Java APIの概要
• Blobstore Java APIの概要