Common Lispパート1でWebサーバーを作成する

少し前に、私はCommon Lispの研究を始めました。 新しいプログラミング言語を習得するのは簡単な作業ではないように思えます。特に、これまでに出会ったすべての言語とはまったく異なる場合です。 そこで私はLand Of Lispから始めることにしました。 この本は非常に良く、面白い写真があり、初心者にはとても良いです。 章の1つでは、Common LispでWebサーバーを作成する方法について説明しました。 私はこのトピックを少し開発することにしましたが、最終的にはこの章で説明したものを正確に入手することはできませんでしたが、非常に興味深いWebサーバーになりました。 ソースコードはこちらにあります 。



書くには、emacs、sbcl、slime、quicklispがインストールされたLinuxが必要です。 インストール、構成、および使用方法については説明しません。これについては、インターネット上に多くの記事があります。 Webサーバー全体がmywebという1つのパッケージに含まれます。 この名前のフォルダーを作成し、その中に2つのフォルダーlogおよびwebを作成します。 ログフォルダーには、Webサーバーのログファイルが含まれます。 Webフォルダーには、Webサーバーがクライアントに提供するHTMLページと画像が含まれます。 Webサーバー全体は7つのファイルで構成されています。



パッケージを宣言するファイルと、パッケージの説明用のasdファイルから始めましょう。



package.lispファイルを作成します。

(in-package :cl-user) (defpackage :myweb (:use :cl :usocket :bordeaux-threads) (:export :start-http :stop-http :list-workers :list-requests)) (defpackage :myweb.util (:use :cl :local-time) (:export :parse-request :read-utf-8-string :response-write :get-param :get-header :http-response :file-response :html-template :log-info :log-warning :log-error)) (defpackage :myweb.handler (:use :cl) (:export :process-request))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ご覧のとおり、Webサーバーは3つのパッケージで構成されています。

• myweb -Webサーバーを起動および停止するための関数が含まれます
• myweb.util-リクエストの処理に役立つ関数が含まれます
• myweb.handler-リクエスト処理コード自体が含まれます

パッケージ内関数は通常、ファイルの先頭に配置され、変数と関数を宣言するパッケージの名前を示します。 この場合、パッケージを宣言しているため、メインパッケージcl-userでパッケージを宣言する必要があります。

パッケージ宣言の：useおよび：exportディレクティブに注意してください。 ：useを使用すると、関数名の先頭にパッケージ名を指定せずに他のパッケージの関数を使用できるため、入力するテキストの量が減ります。 ：exportは、パッケージの外部で使用できる関数の名前を設定します。 ご覧のとおり、パッケージにはmyweb関数start-httpおよびstop-httpがあります。 パッケージであるcl-userでは、最初に：exportディレクティブを使用して宣言しない限り、myweb：start-httpを介してそれらを呼び出すことはできません。



パッケージの広告はすでにありますが、現在はこれらのパッケージのソースコードを記述する必要があります。 web.lisp、util.lisp、およびhandler.lispファイルを作成し、それぞれにパッケージ内呼び出しを追加します。 web.lispの場合-（インパッケージ：myweb）、util.lispの場合（インパッケージ：myweb.util）など また、呼び出しでlog.lispファイルを作成する必要があります（インパッケージ：cl-log）。 このファイルは、 cl-logロギングシステムを実行および構成するために必要です。



Webサーバーのファイル構造を作成する最後の作業は、myweb.asdファイルの作成です。このファイルには、すべてが機能するためにasdfシステムが読み込む必要があるファイルが記述されています。

 ;; myweb.asd (asdf:defsystem #:myweb :serial t :components ((:file "package") (:file "log") (:file "util") (:file "web") (:file "handler")))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

キー：serial tは、asdfがリストされているのと同じ順序でファイルをダウンロードすることを示します。



次に、load.lispファイルを作成する必要があります。これにより、パッケージがロードされ、slimekサーバーがスライム用に起動されます。

 (in-package :cl-user) (quicklisp:quickload "swank") (quicklisp:quickload "usocket") (quicklisp:quickload "bordeaux-threads") (quicklisp:quickload "trivial-utf-8") (quicklisp:quickload "cl-log") (quicklisp:quickload "local-time") (pushnew '*default-pathname-defaults* asdf:*central-registry*) (asdf:load-system 'myweb) (swank:create-server)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

開発を続けるには、swankをすでに実行し、quicklispを使用して必要なすべてのライブラリをロードする必要があります。 これを行うには、mywebディレクトリでsbclを実行し、関数を呼び出します（quicklisp：quickload“ swank”）。 swankをインストールした後、sbclコマンドラインから（swank：create-server）を呼び出してswankサーバーを起動します。

emacsからスライム接続を使用して、実行中のsbclに接続し、emacsのスライムモードとctrl-eキーの組み合わせを使用して、load.lispからquicklispを使用して他のすべての機能を呼び出します。 すべてを正しく行った場合、quicklispは必要なすべてのライブラリをダウンロードし、asdfを使用してそれらをロードします。 すべてが開発を開始する準備ができています。



Webサーバー自体から始めましょう。 彼にはソケットが必要です。 私は、広く使用されているusocketライブラリを使用してソケットを操作することにしました 。 スレッドも必要になります。そのためにbordeaux-threadsを使用します。 しかし、最初に、作成するhttp-requestの処理モデルについてお話したいと思います。 各リクエストは個別のスレッドで処理されます。 リクエストの数に応じて作成されるワーカースレッドがあります。 その中には、個別のアイドルストリームがあり、リクエストを処理した後、条件待機状態になり、新しいリクエストを待機します。 したがって、新しいワーカースレッドを作成する負担を軽減できます。 HTTPリクエストを処理するための一種のスレッドプールメカニズムが判明しました。

web.lispファイルでmutexのソケットと変数を宣言することから始めましょう。

 (defvar *listen-socket* nil) (defvar *listen-thread* nil) (defvar *request-mutex* (make-lock "request-mutex")) (defvar *request-threads* (list)) (defvar *worker-mutex* (make-lock "worker-mutex")) (defvar *workers* (list)) (defvar *worker-num* 0) (defvar *idle-workers* (list)) (defvar *idle-workers-num* 0) (defvar *request-queue* (list))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リクエストをスレッド間で受け入れて分散させるために、別のスレッドを使用します。このポインターへのポインターは* listen-thread *に保存されます。 start-httpメソッドから始めましょう：

 (defun start-http (host port &key (worker-limit 10) (idle-workers 1)) (if (not *listen-socket*) (setq *listen-thread* (make-thread (lambda () (http-acceptor host port worker-limit idle-workers)) :name "socket-acceptor")) "http server already started"))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これは、ディスペンサーストリームを開始する単純な関数であり、http-acceptor関数を呼び出します。 また、2つのキーがあります-これはworker-limit-ワーカーの最大数、およびidle-workers-アイドルワーカーの数です。

クエリ配布関数自体を記述しましょう。

 (defun http-acceptor (host port worker-limit idle-workers) (setq *listen-socket* (socket-listen host port :reuse-address t :element-type '(unsigned-byte 8) :backlog (* worker-limit 2))) (let ((request-id 0) (worker-id 0)) (loop while *listen-thread* do (let* ((socket (socket-accept *listen-socket* :element-type '(unsigned-byte 8)))) (progn (setq request-id (1+ request-id)) (acquire-lock *worker-mutex*) (if (>= *worker-num* worker-limit) (push (cons request-id socket) *request-queue*) ;; Get worker from idle workers (if (> *idle-workers-num* 0) (progn (push (cons request-id socket) *request-queue*) (condition-notify (caar *idle-workers*))) ;; Add new Worker (progn (setq worker-id (1+ worker-id)) (setq *worker-num* (1+ *worker-num*)) (setq *workers* (cons (make-thread (lambda () (worker-thread request-id socket idle-workers)) :name (concatenate 'string "socket-worker-" (prin1-to-string worker-id))) *workers*))))) (release-lock *worker-mutex*) t)))))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最初に行うことは、指定されたアドレスとポートへのソケットリッスンです。 さらにループ内でsocket-acceptを実行し、接続されたクライアントにソケットを作成します。これはワーカーで処理する必要があります。 さらに、request-idをリクエストに割り当てます。 この段階で、リクエストの処理方法と処理方法を決定する必要があります。 まず、アイドルスレッドの数を確認します。 すべてのワーカーがビジーの場合、リクエストを処理のためにキューに追加します。 空きアイドルワーカーがある場合は、リクエストを再びキューに追加しますが、今回は（condition-notify（caar * idle-workers *）））を呼び出します。 3番目のケースでは、新しいワーカーを作成してリクエストを渡すだけで、ワーカースレッド関数で処理されます。 すべてが非常に簡単です。 ワーカーストリームを処理するための関数を記述するだけです。

 (defun worker-thread (request-id socket idle-workers) (if request-id ;; Process request if it is not nil (progn (with-lock-held (*request-mutex*) (setq *request-threads* (cons (cons request-id (current-thread)) *request-threads*)) ) (http-worker socket) (with-lock-held (*request-mutex*) (setq *request-threads* (remove-if (lambda (x) (eq (car x) request-id)) *request-threads*)) ) )) (acquire-lock *worker-mutex*) (if *request-queue* (let ((request nil)) (setq request (car *request-queue*)) (setq *request-queue* (cdr *request-queue*)) (release-lock *worker-mutex*) (worker-thread (car request) (cdr request) idle-workers)) (if (< *idle-workers-num* idle-workers) (let ((condition (make-condition-variable)) (idle-lock (make-lock)) (request nil)) (push (cons condition (current-thread)) *idle-workers*) (setq *idle-workers-num* (1+ *idle-workers-num*)) (release-lock *worker-mutex*) (list-workers) (with-lock-held (idle-lock) (condition-wait condition idle-lock) ) (with-lock-held (*worker-mutex*) (setq *idle-workers* (cdr *idle-workers*)) (setq *idle-workers-num* (1- *idle-workers-num*)) (setq request (car *request-queue*)) (setq *request-queue* (cdr *request-queue*)) ) (worker-thread (car request) (cdr request) idle-workers)) (progn (setq *workers* (remove (current-thread) *workers*)) (setq *worker-num* (1- *worker-num*)) (release-lock *worker-mutex*)))))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

request-idで呼び出しがあった場合、最初に要求を処理する必要があります。 単に補助関数http-workerを呼び出して、クライアントソケットをそれに渡します。 次に、処理要求がまだあるかどうかをチェックします。最初の要求をキューから削除し、処理のためにワーカースレッドに渡すだけで、ワーカースレッド関数を再帰的に呼び出します。 質問が発生する場合があります。「キューに多数のリクエストがある場合など、ある時点でスタックがオーバーフローすると再帰制限が発生しますか？」worker-threadを呼び出した後、関数で何も再帰的に呼び出されないため、再帰制限は発生しません。 ほとんどすべての最新のCommon Lisp実装は、この最適化をサポートしています。 キューが空の場合、アイドルワーカーの数を確認する必要があります。 すべてが問題ない場合、リクエストを終了し、ワーカーのリストからワーカーを削除します。 そうでない場合は、条件待機を行い、ワーカーはアイドルワーカーになります。

お気づきの場合は、リストワーカーも呼び出します。 これは、デッドスレッドのワーカーリストを単純に消去するヘルパー関数です。

http-worker関数を書くことは残っています：

 (defun http-worker (socket) (let* ((stream (socket-stream socket)) (request (myweb.util:parse-request stream))) (myweb.handler:process-request request stream) (finish-output stream) (socket-close socket))) (defun list-workers () (with-lock-held (*worker-mutex*) (setq *workers* (remove-if (lambda (w) (not (thread-alive-p w))) *workers*)) (setq *worker-num* (length *workers*)) *workers*))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここでソケットストリームを作成し、リクエストを解析してmyweb.handlerに渡します：process-request（これらの機能については2番目の部分で説明します）。 list-workersは単純にワーカーのリストを返し、以前にデッドスレッドをクリアしました。 condition-waitの前にworker-threadでこの関数を呼び出します。

最後に行う必要があるのは、Webサーバーを停止するstop-http関数を作成することです。

 (defun stop-http () (if *listen-socket* (progn (stop-thread) (socket-close *listen-socket*) (setq *listen-socket* nil) (setq *request-queue* nil) (setq *worker-num* 0) (setq *workers* nil) (mapcar (lambda (i) (destroy-thread (cdr i))) *idle-workers*) (setq *idle-workers-num* 0) (setq *idle-workers* nil) (release-lock *worker-mutex*) (setq *request-threads* nil) (release-lock *request-mutex*) (setq *request-mutex* (make-lock "request-mutex")) (setq *worker-mutex* (make-lock "worker-mutex"))))) (defun stop-thread () (if (and *listen-thread* (thread-alive-p *listen-thread*)) (destroy-thread *listen-thread*)))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ご覧のとおり、ここではすべてがシンプルです。ディスペンサーのフローを停止し、すべてのワーカーを殺してリストをゼロにします。

したがって、すべてがリクエストを処理する準備ができています。 これについては、 第2部で説明します。



ご清聴ありがとうございました！



PSスペルチェックとレイアウトに関するヘルプをありがとうertaquo