Recommended
More Related Content
What's hot
What's hot (20)
Similar to grpc-haskell.pdf
Similar to grpc-haskell.pdf (20)
More from Kousuke Ruichi
grpc-haskell.pdf
- 2. • 類地 孝介 (Ruichi) • @ruicc • サーバーサイドエンジニア • Haskeller • 好きなモナド • STM 自己紹介
- 3. このLT(?)について • 20min → 40min • ということでnixについて追加
- 5. 前職の話 • ScalaでFinagle(Twitter製RPCフレームワーク)を使っていて、とても良かった • 高速 • 割と読みやすいIDL (Thrift) • 拡張に対してバイナリ互換性のあるフォーマット • 大規模システムでの実績 • 便利なライブラリ群
- 6. 余談: 正確な型か互換性か バイナリフォーマット • 拡張に対してバイナリ互換性のあるフォーマット • Thriftの場合 • ただしoptionalで追加した場合に限る • requiredでフィールド追加すると、以前のバイナリがdecode出来なくなる ➡ 運用上全てoptionalで追加する • protocol bu ff er3の場合 • 全フィールドがoptional • 全てがoptionalなので型の嬉しさが少ない • 運用上の互換性を重視した結果（と認識してる）
- 8. 最近出てきたHaskell製RPCフレームワーク • grpc-haskell • GabriellaGonzalez他 @Awake Networks • Initial commit: 2015-02-27 • https://github.com/awakesecurity/gRPC-haskell • hsthrift • Simon Marlow他 @Meta • Initial commit: 2021-01-28 • https://github.com/facebookincubator/hsthrift
- 10. • https://grpc.io/ • Google製RPCフレームワーク • Google内製Stubbyを標準化しつ つOpenにした • HTTP/2上に構築されている • IDLはProtocol Bu ff er (default) gRPCとは
- 11. grpc-haskellとは • grpc(google製, C library)のwrapperライブラリ • chsでGRPCAPIをwrap • grpc server/clientが書ける
- 12. HERPでのgrpcの使用 • 外部へは見せてない (microservice間のやりとり) • 現状Unary RPCのみ • TLS o f app server grpc server User grpc https LB http
- 13. grpc serverと管理ツール • grpc serverと内部的にやりとりする管理ツール(Web UI)を作った app server grpc server grpc LB User HERPエンジニア mng server JSON grpc JSON
- 14. grpc serverと管理ツール grpc request生成 • grpc requestを作るのは少し面倒 • 例: grpcurlというcurlのgrpc版が有る • JSONからgrpc requestを生成してサーバへ投げられる • ただし、server re fl ection有無により必要な情報が異なる
- 15. grpc serverと管理ツール server re fl ection • Server Re fl ectionとは • grpc serverが、rpc serviceの情報(.proto)を返してくれる機能 • 言語によって実装されたりされてなかったりする • go, pythonあたりのgrpc serverは実装されてる • C言語実装には無い模様
- 16. grpc serverと管理ツール grpc request生成 • grpcurl • server re fl ection無し • JSONと.protoファイルを与える必要がある
- 17. grpc serverと管理ツール grpc request生成 • grpcurl • server re fl ection無し • JSONと.protoファイルを与える必要がある • proto3-suite • haskellのprotobufライブラリ • .protoファイルからhaskellコードを生成する • JSON <=> protobuf binary の変換関数も生成する
- 19. grpc serverと管理ツール app server grpc server grpc LB User HERPエンジニア mng server JSON grpc JSON HaskellでJSON <=> protobuf binary変換
- 22. grpc serverと管理ツール htmlフォーム生成問題 • .protoファイルはprotobuf自身でエンコード出来る • そのための.protoファイルが公式から提供されてる • https://github.com/protocolbu ff ers/protobuf/blob/main/src/google/protobuf/descriptor.proto • .protoファイルを用いてTypeScriptでform生成 • (インターンの方がやってくれました thx: @tkr)
- 25. grpc-haskellの使い方 • 問題点 • 導入が難しい • nix使用が必須 • stackサポートは以前あったが無くなった
- 26. nixを使う必要がある
- 28. • https://nixos.org • ここではpackage managerについて扱う 1. 再現性のあるbuild 2. 再現性のあるshell環境 nixとは
- 31. nixが解決する問題例 • 様々な環境でちゃんと動くshellスクリプトを書くのが難しい！！！ • GNU coreutilsに依存していいのか • sedのGNU/BSD/BusyBoxでの挙動の違い • POSIX準拠...
- 32. nixが解決する問題例 • 様々な環境でちゃんと動くshellスクリプトを書くのが難しい！！！ • GNU coreutilsに依存していいのか • sedのGNU/BSD/BusyBoxでの挙動の違い • POSIX準拠... ➡ nixで実行環境も提供してしまえばいいじゃない (shell.nix) • 環境にcoreutilsを入れてしまう coreutils使える • 環境にgnusedを入れてしまう gnused使える
- 33. 今回nixで解決したい問題 • grpc-haskellが使えるshell環境を用意したい • ghc • cabal-install • grpc • 適切なバージョンのもの(具体的には1.34.1) • buildに必要なライブラリ • zlib, ... • 開発に必要なライブラリ • ghcid, hls, ...
- 34. • nix package manager用の package collection set • https://github.com/NixOS/nixpkgs • 最新は release-22.05 branch • 半年ごとのリリース • Manual • https://nixos.org/manual/nixpkgs/stable/ nixpkgsとは https://nixos.org/manual/nixpkgs/stable/
- 35. パッケージ検索 • 検索出来る • How to installとか書いてある nixpkgs https://search.nixos.org/packages
- 36. 今回の問題とnixpkgs • grpc-haskellが使えるshell環境を用意したい • ghc • cabal-install • grpc • 適切なバージョンのもの(具体的には1.34.1) • buildに必要なライブラリ • zlib, ... • 開発に必要なライブラリ • ghcid, hls, ... ⬅︎ nixpkgsで複数バージョン用意されてる ⬅︎ nixpkgsで用意されてる ⬅︎ nixpkgsで用意されてる ⬅︎ nixpkgsで用意されてる
- 37. 今回の問題とnixpkgs • grpc-haskellが使えるshell環境を用意したい • ghc • cabal-install • grpc • 適切なバージョンのもの(具体的には1.34.1) • buildに必要なライブラリ • zlib, ... • 開発に必要なライブラリ • ghcid, hls, ... ⬅︎ nixpkgsで用意されてるが新しすぎてダメ
- 38. • grpc-haskell repositoryで適切な grpc-1.34.1の調達方法が用意さ れてる (grpc.nix) • fl ake.nix未対応 • fl ake.nix対応してるとそれに沿ったやり 方があるけどここでは触れない grpcの調達 https://github.com/awakesecurity/gRPC-haskell/blob/b ff 44d09bb6008d52dfec2c7a86e945f4c8097e2/nix/grpc.nix
- 39. release.nix • READMEによると、release.nixを 用いる • release.nix を見るとgrpcが提供 されている grpc-haskellの利用 https://github.com/awakesecurity/gRPC-haskell/blob/b ff 44d09bb6008d52dfec2c7a86e945f4c8097e2/release.nix
- 41. • nixには様々なpackageの上書き 手段が用意されている • overlaysはnixpkgsを上書きす る手段 • 使用例 • ベースとなるnixpkgs (release-22.05)にチームで必要 なpackagesをoverlaysで追加し て、チームで共有する Overlaysとは https://nixos.wiki/wiki/Overlays
- 42. nix-expression • Overlayとは2引数で返り値がset の関数 • arg: e は lambda literal • self: super: と意味ありそうに見えるけ ど、単なる引数名。意味無し。 • { k1=v1; k2=v2; } は set literal Overlaysとは https://nixos.org/manual/nixpkgs/stable/#sec-overlays-de fi nition
- 43. 引数 • self, super にはそれぞれnixpkgs が渡される • selfは全部のoverlays適用後の nixpkgs • superは自身のoverlay適用前の nixpkgs • self, superという慣習名はOOのクラスの 継承から取られてる Overlaysとは https://nixos.org/manual/nixpkgs/stable/#sec-overlays-de fi nition
- 44. 返り値 • 返り値のsetは上書き、追加する packages • 右の例ではnixpkgsに boost, rr の二つを上書きしてる Overlaysとは https://nixos.org/manual/nixpkgs/stable/#sec-overlays-de fi nition
- 46. selfについて • selfが使われてる • つまり、"全てのoverlays適用 後"のnixpkgs.stdenv_32bitを 参照 • self.boostはこのoverlayで上書 き済みのもの Overlaysとは https://nixos.org/manual/nixpkgs/stable/#sec-overlays-de fi nition
- 50. • repo内のrelease.nixをimport • 前述のset (overlay含む)が手に 入る • "${grpc-haskell-src}" は fetchGitで取得した/nix/storeの pathが展開される shell.nix作成 https://github.com/ruicc/hs-grpc-sample/blob/3cb0d2e82f4a9f3f61d5fc083413342639f777fe/shell.nix
- 52. • mkShellはshell環境を構築する関 数 • packagesに必要なパッケージを 列挙する • ghc • cabal-install • grpc • 他 shell.nix作成 https://github.com/ruicc/hs-grpc-sample/blob/3cb0d2e82f4a9f3f61d5fc083413342639f777fe/shell.nix
- 53. • nix-shellを実行 • direnv, nix-direnvを導入(オススメ) • .envrc に `use nix` shell環境構築
- 54. 1. 環境構築 (shell.nix) 2. cabal project作成 3. .protoファイル作成 4. .protoからhaskellコード生成 5. serverを書く grpc serverを書こう DONE
- 56. .protoファイル作成 • service定義します • service: Greet • method: hello grpc serverを書こう
- 60. Serverを書く • hello methodを実装 • 'Normal はUnary RPCの意味 grpc serverを書こう
- 66. まとめ • grpcのHERPでの利用について • grpc-haskellを使うために必要なnix-shellの話 • nixにまつわるネタは結構ある • nix-build、 fl ake.nix等の話はまた別の機会に...