Mastodon Pawooの運用&開発技術 - pixiv Night のまとめ

まとめてみました。

まとめを作った人： もっふ @moff
タグ： pixiv_night pixiv マストドン mstdn

Mastodon/Pawooの運用&開発技術の #pixiv_night 19時半からです mstdn.jp/media/RKmAXZjCP7Az9ow

[public] 2017/04/25 07:07:29

Mastodon/Pawooの運用&開発技術 - pixiv Night #04 pixiv.connpass.com/event/55613 #pixiv_night
抽選枠4倍はヤバい

[public] 2017/04/20 11:16:31

これ中継配信されないかなー。/ Mastodon/Pawooの運用&開発技術 - pixiv Night #04 pixiv.connpass.com/event/55613 #pixiv_night

[public] 2017/04/20 09:25:14

#pixiv_night pawoo.net/media/Q6fpgWK2XuWKM7

[public] 2017/04/25 07:17:40

pawoo.net/media/kJPXkNJ3Q8z3Dx #pixiv_night 描いたよ！！

[public] 2017/04/25 07:24:10

#pixiv_night オタクが一杯いる

[public] 2017/04/25 07:20:26

大体エンジニア #pixiv_night

[public] 2017/04/25 07:22:09

なんかほんとにMacしかいないな
#pixiv_night

[public] 2017/04/25 07:27:29

人溢れてる。すごい。 #pixiv_night

[public] 2017/04/25 07:34:19

行きたかったなあ… #pixiv_night

[public] 2017/04/25 07:39:37

#pixiv_night 始まったよ。プログラム はこちらmstdn.jp/media/YBTFIuQ5MtFsU77

[public] 2017/04/25 07:34:35

1.今後のPawooについて
登壇：norioさん

#pixiv_night

[public] 2017/04/25 07:36:47

マストドンのおもしろさとは何か
#pixiv_night

[public] 2017/04/25 07:37:34

インスタンスごとのタイムライン

#pixiv_night

[public] 2017/04/25 07:37:47

Twitterも最初の頃はpublic timelineがあったが、マストドンのpublic timelineはちょっと違う。
#pixiv_night

[public] 2017/04/25 07:38:40

と言うのもインスタンスごとに別れてるので、インスタンスの特徴に合ったタイムラインになる
#pixiv_night

[public] 2017/04/25 07:39:19

フォローしなくても誰かに見てもらえる
#pixiv_night

[public] 2017/04/25 07:39:49

清水「ローカルタイムラインは街、歩行者天国に似ている」 #pixiv_night
mstdn.jp/media/V0t5Ndw8U6vSvkM

[public] 2017/04/25 07:41:52

インスタンス＝街 #pixiv_night

[public] 2017/04/25 07:40:14

mastodonは街。歩行者天国。 #pixiv_night

[public] 2017/04/25 07:40:34

如何にして街から文化形成されるかの話がされている… #pixiv_night

[public] 2017/04/25 07:42:11

「新宿とか渋谷や秋葉原といったように、文化は場所に根ざす。それのウェブ版みたいなものにマストドンがならないかと思った」 #pixiv_night

[public] 2017/04/25 07:43:17

「スライド1枚で申し訳ないです」
#pixiv_night

[public] 2017/04/25 07:44:01

時間がなくてスライドが作れてないw #pixiv_night

[public] 2017/04/25 07:44:04

Pawooはノリで始まった（会社も共感してくれた）
#pixiv_night

[public] 2017/04/25 07:44:55

pixivは創作活動を支える場。発表、物を売る、学習する、交流する… #pixiv_night

[public] 2017/04/25 07:45:17

活動の場を支えていきたいと思っていてそれを支える場としてpawooを作ろうと思った #pixiv_night

[public] 2017/04/25 07:45:44

創作カテゴリごとにインスタンス作るかも #pixiv_night

[public] 2017/04/25 07:52:56

pixivがPawoo以外の複数インスタンスを持つ計画 #pixiv_night

[public] 2017/04/25 07:51:29

これから
pixivとして複数インスタンス展開をしたい
#pixiv_night

[public] 2017/04/25 07:51:17

結局アカウント統一したら中央集権的になってしまうジレンマ　#pixiv_night

[public] 2017/04/25 07:52:57

意識高い話
#pixiv_night

[public] 2017/04/25 07:53:04

分人主義
#pixiv_night

[public] 2017/04/25 07:53:13

分人主義 #pixiv_night

[public] 2017/04/25 07:53:24

「でもそれだと中央集権的な構造に戻ってしまうので、分人主義的に人格を分ける仕組みを実現したい」 ジンメルが言ってたことにも近いな #pixiv_night

[public] 2017/04/25 07:54:04

意識高い系男子のりお #pixiv_night

[public] 2017/04/25 07:53:32

脱中央集権、難しい #pixiv_night

[public] 2017/04/25 07:56:04

コミュニケーションを取る人によって人格が違う。
なのでアカウントを複数取る人がいるのは当然の流れ。
#pixiv_night

[public] 2017/04/25 07:54:53

なぜにG＋のサークル？facebookのグループも同じっしょ？#pixiv_night

[public] 2017/04/25 07:56:13

1個のアカウントからアカウントが簡単に作れれば共有アカウントはいらない #pixiv_night

[public] 2017/04/25 07:56:48

社員募集中！
#pixiv_night

[public] 2017/04/25 07:56:47

wantedlyだよ！！！
wantedly.com/projects/96771 #pixiv_night

[public] 2017/04/25 07:57:07


ここから開発的な話

AWSでシュッとやる
#pixiv_night

[public] 2017/04/25 07:59:25

10時間でシュッとやる #pixiv_night

[public] 2017/04/25 07:59:47

維持費どんなもんだろう #pixiv_night

[public] 2017/04/25 08:03:27

金で解決（負荷に対してサーバ増やして対応） #pixiv_night

[public] 2017/04/25 08:04:02

フォロワーが多いとsidekiqがひーこらいう　 #pixiv_night

[public] 2017/04/25 08:04:36

sidekiq のキューのジョブ数 50k すごい… #pixiv_night

[public] 2017/04/25 08:04:49

sidekiqがメインロジック #pixiv_night

[public] 2017/04/25 08:04:55

マストドンの仕組みの話面白すぎる。そしてSidekiq無双すごすぎるwww #pixiv_night

[public] 2017/04/25 08:06:52

デフォルトだけで1000スレッド以上経ってるw #pixiv_night

[public] 2017/04/25 08:06:29

sidekiq管理画面が重い・・・？ #pixiv_night

[public] 2017/04/25 08:06:44

どうにかしないとDDoSみたいになる
#pixiv_night

[public] 2017/04/25 08:07:21

金の力で増やしまくってもやばいw #pixiv_night

[public] 2017/04/25 08:07:17

「インスタンス運営の課題は、ユーザー数ではなくてトゥート数」 #pixiv_night

[public] 2017/04/25 08:09:50

現状アカウント増やされるよりtootの上限でマストドンは死ぬ
#pixiv_night

[public] 2017/04/25 08:09:43

次はnodeの話だよ #pixiv_night

[public] 2017/04/25 08:10:41

nodeのCPU使用率が100％に張り付いてたのをどうにかした話
#pixiv_night

[public] 2017/04/25 08:11:47

今回の登壇者みんな「ヤバイ」しか言ってない
#pixiv_night

[public] 2017/04/25 08:12:11

#pixiv_night github.com/tootsuite/mastodon/ clusterのコードはこれかな

[public] 2017/04/25 08:14:37

nodeはシングルスレッドなのでCPUのコア数関係ない。
つまりnodeが1コアを殺しにかかってる。
じゃあどうするか？
nodeをマルチコアに対応させる
#pixiv_night

[public] 2017/04/25 08:15:16

マルチコア対応することによって殺す力が1/3になった
#pixiv_night

[public] 2017/04/25 08:15:39

さくらインターネットから質問攻めｗ #pixiv_night

[public] 2017/04/25 08:19:02

質問「プロセス分散させたところでいい感じに分散するのか？」
回答「最初に掴んだプロセスをずっと使い続けるので強いユーザーがいると…」
#pixiv_night

[public] 2017/04/25 08:19:33

nodeをGOに書き換えてもサイドキック問題が解決しないので根本的な解決にならないが面白そう
#pixiv_night

[public] 2017/04/25 08:20:22

redisはともかくやっぱりSidekiqがやばい #pixiv_night

[public] 2017/04/25 08:20:45

#pixiv_night だいたいSidekiqのせい

[public] 2017/04/25 08:20:50

redisはつよい #pixiv_night

[public] 2017/04/25 08:20:54

みんな資料があやしい（Mastodonにめっちゃコミットしてるんやで☺） #pixiv_night

[public] 2017/04/25 08:18:35

(ここにプロセスの負荷がいい感じに見て取れる美しいグラフを置く)wwwww #pixiv_night

[public] 2017/04/25 08:17:06

休憩。ピザとビール！ #pixiv_night

[public] 2017/04/25 08:21:26

🍕🍕🍕#pixiv_night mstdn.jp/media/jyHBPM-C0rE_r5W

[public] 2017/04/25 08:24:38

pawooアプリの話 #pixiv_night

[public] 2017/04/25 08:34:06

minSDKVersion=21
#pixiv_night

[public] 2017/04/25 08:34:12

このアプリはAndroid5から
#pixiv_night

[public] 2017/04/25 08:34:19

できること：全部
#pixiv_night

[public] 2017/04/25 08:34:28

メイン機能難しい→最速実装 #pixiv_night

[public] 2017/04/25 08:34:43

なるはやで実装 #pixiv_night

[public] 2017/04/25 08:34:49

スピード命。なる早で実装。6日で作った #pixiv_night

[public] 2017/04/25 08:34:52

6日で作った
#pixiv_night

[public] 2017/04/25 08:34:54

１日目：TL表示 #pixiv_night

[public] 2017/04/25 08:35:17

２日目：ログアウト #pixiv_night

[public] 2017/04/25 08:35:37

３日目：インスタンス入力画面〜TLページングなど #pixiv_night

[public] 2017/04/25 08:36:50

４日目（４名）：形になる #pixiv_night

[public] 2017/04/25 08:37:07

５日目（４名）：いろいろな一覧、翻訳など #pixiv_night

[public] 2017/04/25 08:37:46

６日目：🐛🐔 #pixiv_night

[public] 2017/04/25 08:37:58

６日で作るの楽しそう #pixiv_night

[public] 2017/04/25 08:38:09

「ハッカソン6日連続みたいになって辛かった」w #pixiv_night

[public] 2017/04/25 08:39:25

最初に人が増やせる体勢を作れるの大事 #pixiv_night

[public] 2017/04/25 08:38:02

ハッカソン的ノリで一気に作った #pixiv_night

[public] 2017/04/25 08:38:04

タスク振りのタイミングなどがいいかんじっぽい #pixiv_night

[public] 2017/04/25 08:38:56

これから
複数インスタンス対応
バグ取り
まだない機能の対応
Pawooの発展に追従（メディアTLなど）
#pixiv_night

[public] 2017/04/25 08:40:15

スタッフ募集中
#pixiv_night

[public] 2017/04/25 08:40:23

Mastodonアンドロイドアプリ、一週間でリリースできちゃうpixivの技術力めちゃくちゃ食らってる・・・。 #pixiv_night #マストドン

[public] 2017/04/25 08:41:03

通知はジョブスケジューラーを使ってる
#pixiv_night

[public] 2017/04/25 08:41:25

5分に1回フェッチして差分があると通知している
#pixiv_night

[public] 2017/04/25 08:41:48

通知はちょっとバグってて、さっきリリースしたバージョンの説明文にも書いてある…(´・_・`)wwwww #pixiv_night

[public] 2017/04/25 08:42:04

push通知はポーリングで実装、push通知サーバを立てるのは時間がかかるのでスピード感とのトレードオフ…なるほど。 #pixiv_night

[public] 2017/04/25 08:45:12

サーバーの負荷的にも端末のバッテリー的にもよろしくないがスピード重視のためこういう実装にした。
#pixiv_night

[public] 2017/04/25 08:42:17

さっき発表した資料あげた！ speakerdeck.com/chocomelonchan #pixiv_night

[public] 2017/04/25 08:48:32


ここからサーバーサイドの話

「Mastodonを３倍早くしたい話」赤くすれば？ #pixiv_night

[public] 2017/04/25 08:45:19

mstdn.jpのDoS攻撃w #pixiv_night

[public] 2017/04/25 08:45:31

mstdn.jpへのDos攻撃への対応w #pixiv_night

[public] 2017/04/25 08:45:49

APサーバ10台、Sidekiq60プロセス1400ワーカー(´・_・`)！ #pixiv_night

[public] 2017/04/25 08:46:06

40C/160GB→16C40GB、すごい改善だ　 #pixiv_night

[public] 2017/04/25 08:46:24

インデックス張っただけで40コア160GB→16コア64GBに出来るぐらい負荷改善した
#pixiv_night

[public] 2017/04/25 08:46:59

index貼るだけで40コア160GBから16コア64GBまで改善 #pixiv_night

[public] 2017/04/25 08:46:40

タイムアウトが60秒設定になってるので変更した
#pixiv_night

[public] 2017/04/25 08:47:16

mastodon同士のtimeoutが60秒で遅いインスタンスがあると即死ぬ#pixiv_night

[public] 2017/04/25 08:47:25

timeoutそのままだと60秒とかのがあってヤバイ。そのままの設定でだとsidekiqとかで死ぬ #pixiv_night

[public] 2017/04/25 08:47:40

PixivのPRをマージするとmastodonが早くなる #pixiv_night

[public] 2017/04/25 08:48:13

mstdn.jpが落ちると一気に数万件のキューが積まれる　ひえええええええ(´・_・`) #pixiv_night

[public] 2017/04/25 08:50:16

retry戦略が必要
どこかのインスタンスが落ちたらそれを管理する
#pixiv_night

[public] 2017/04/25 08:49:19

またさくらインターネットの人wwwww #pixiv_night

[public] 2017/04/25 08:55:08

Pawoo単体での収益化は考えてない
#pixiv_night

[public] 2017/04/25 08:55:19

現在はPawooノープランw #pixiv_night

[public] 2017/04/25 08:55:36

今月AWSいくらぐらいになりますか？

ノーコメント
#pixiv_night

[public] 2017/04/25 08:56:09

すごい金額なりそう・・・ #pixiv_night

[public] 2017/04/25 08:56:13

Pawooだけでは収益化は考えていない #pixiv_night

[public] 2017/04/25 08:55:05

#pixiv_night ハッシュタグ軽く手繰ったら地獄の釜みたいな悲鳴が見える（嬉しい悲鳴ではありそう）

[public] 2017/04/25 08:56:02

#pixiv_night 創作活動が盛り上がってまわりまわって(ピクシブの)利益になれば良いので、(Pawoo単体の)収益は考えていない

[public] 2017/04/25 08:56:38

Pawooの収益化についてはまったくノープランというか、今のところする気はない。(つまりその辺は考えず勢いで始めた)とにかく手伝ってくれる人を大募集中との事　#pixiv_night

[public] 2017/04/25 08:59:06

給料倍積まれればmstdn.jp捨ててでも今からpixiv行くのもやぶさかでは無い (無理)

[public] 2017/04/25 08:52:58

絵をアップロードした時にtwitterに凍結されてしまうような人の表現の自由を守りたい #pixiv_night

[public] 2017/04/25 09:00:59

このサービスがあったからこそ生まれた作品が出てきた時が嬉しい #pixiv_night

[public] 2017/04/25 09:01:25
💬 コメント
400文字以内