5ch DAT Support (#20)

* Update README.md

* Mirakurun の導入しなくても動作するように設計変更

* 資格情報などが設定されず連携機能を提供できない場合にログを出力

* URL を Pages に変更

* Update README.md

* PR 時に走る CI を修正

* ci7lus/elaina:latest に関する記述を追加

* ログレベルを変更可能にした

* バッジの CI 名を修正

* 不要なライブラリを一時的に無効化

* イメージを JRE 17 に更新

* ReadOnlyContainer の update が走るときにログを出力

* Kotlin 1.4.30 に更新

* Update README.md

* 不要な pluginManagement を削除

* イメージ名を修正

* mirakc-arib と連携して TS ファイルの EPG 情報を提供するエンドポイントを追加

* Update README

* Update README

* MIRAKURUN_HOST 未設定時にスタックするバグを修正

* 勢いリストを実装

* /channels を追加

* Mirakurun オブジェクトにプレフィックスを追加

* CommentInfo オブジェクトに service, channel フィールドを追加

* ログに表示されるクラス名を修正

* 各 Client の初期化を lazy で行うように変更

* 内部データの更新間隔を設定できるようにした

* jk フィールドを削除

* LiveCommentProvider を再実装

* Twitter Streaming に失敗した際に REST API による検索にフォールバックするようにした

* Penicillin のログレベルを INFO に変更

* ログにレートリミットを表示

* COPY するタイミングを修正

* コメント取得 Job が失敗した際にリトライするようにした

* ストリーミング API を優先使用するオプションを追加

* Update README.md

* ツイートのミリ秒フィールドを乱数にした

* RT を除外

* ベースイメージに ffmpeg を追加

* 長すぎる Twitter のツイートログを修正

* Job が多重に生成されてしまうバグを修正

* Penicillin => 6.0.3

* ストリームAPIの問題解消のため Twitter API に Apache Client を使用するようにした

* Twitter コメントのユーザ名にスクリーンネームを追加

* 通常ユーザで実行するように改善

* Twitter ストリーミングAPIでタイムアウトが発生する問題を修正

* REST API 経由での取得で何度も同じツイートが表示されるバグを修正

* ストリーミングAPiと検索APIで取得された結果を区別するようにした

* チャンネル定義を yml からロードするように変更

* definitions に改名

* definitions.yml の内容を提供するエンドポイント /definitions/{channels,boards} を追加

* 5ch API クライアントを実装

* Update README.md

* trivy-action を追加

* Docker Build を master/dev ブランチに制限

* スターチャンネルの実況板を追加 (仮)

* 板 URL を HTTPS に変更

* 板 URL の指定方法を変更

* normalize を移動

* 潜在的に資格情報が未設定の CommentProvider が無限ループに陥るバグを修正

* LiveCommentProvider の命名規則を変更

* 5ch DAT 取得による CommentProvider を実装

* Update README.md

* ハードウェアエンコーディングを有効にしたイメージを追加

* fix typo

* 試験的に板キーワードを無効化

* スレッド数のリミットを引き上げ

* 一部のキャンセルが伝搬しないバグを修正

* ニコニコ生放送ソースに番組名を含めるようにした

* ニコニコ生放送のコメントが重複するバグを修正

* 依存関係を更新, Bintray 廃止に向け準備

* ffmpeg ビルドステージを削除しプレビルドのイメージを使用するようにした

* Update README.md

* Job がキャンセルできなくなっていたバグを修正

* エンコーディングエラーを修正

ref: https://qiita.com/csharpisthebest/items/2cd61661dbc42d81aa45

* twitterKeywords にハッシュタグではないキーワードも登録可能にした

* sourceUrl フィールドを追加した

* JSON API でデフォルト値が出力されるように修正

* Filter Stream のレートリミット時以外リトライをするように変更

* 5ch レス取得時に滝になるのを緩和するためランダムに遅延を挟むようにした

* 不要な distinctBy を削除

* 5ch URL を修正

* スレッド一覧取得時のエンコーディングエラーを修正

Author: SlashNephy

.github/workflows/docker.yml

@@ -6,15 +6,14 @@ on:
       - .gitignore
       - LICENSE
       - '**.md'
-    branches-ignore:
-      - 'releases/**'
+    branches:
+      - master
+      - dev
 
   release:
     types:
       - published
 
-  workflow_dispatch:
-
 env:
   DOCKER_BASE_NAME: slashnephy/saya
 
@@ -32,26 +31,48 @@ jobs:
           username: ${{ secrets.DOCKERHUB_USERNAME }}
           password: ${{ secrets.DOCKERHUB_TOKEN }}
 
-      - name: Build & Push (master)
+      - name: Prepare image tag (master)
         if: github.event_name == 'push' && github.ref == 'refs/heads/master'
+        run: echo "DOCKER_TAG=latest" >> $GITHUB_ENV
+      - name: Prepare image tag (dev)
+        if: github.event_name == 'push' && github.ref == 'refs/heads/dev'
+        run: echo "DOCKER_TAG=dev" >> $GITHUB_ENV
+      - name: Prepare image tag (Release)
+        if: github.event_name == 'release'
+        run: echo "DOCKER_TAG=${{ github.event.release.tag_name }}" >> $GITHUB_ENV
+
+      - name: Build & Push
         uses: docker/build-push-action@v2
         with:
           push: true
-          tags: ${{ env.DOCKER_BASE_NAME }}:latest
+          tags: ${{ env.DOCKER_BASE_NAME }}:${{ env.DOCKER_TAG }}
 
-      - name: Build & Push (dev)
-        if: github.event_name == 'push' && github.ref == 'refs/heads/dev'
+      - name: Build & Push (vaapi)
         uses: docker/build-push-action@v2
         with:
+          file: ./vaapi.Dockerfile
           push: true
-          tags: ${{ env.DOCKER_BASE_NAME }}:dev
+          tags: ${{ env.DOCKER_BASE_NAME }}:${{ env.DOCKER_TAG }}-vaapi
 
-      - name: Build & Push (Release)
-        if: github.event_name == 'release'
+      - name: Build & Push (nvenc)
         uses: docker/build-push-action@v2
         with:
+          file: ./nvenc.Dockerfile
           push: true
-          tags: ${{ env.DOCKER_BASE_NAME }}:${{ github.event.release.tag_name }}
+          tags: ${{ env.DOCKER_BASE_NAME }}:${{ env.DOCKER_TAG }}-nvenc
+
+      - name: Run Trivy vulnerability scanner
+        uses: aquasecurity/trivy-action@master
+        with:
+          image-ref: ${{ env.DOCKER_BASE_NAME }}:${{ env.DOCKER_TAG }}
+          format: 'template'
+          template: '@/contrib/sarif.tpl'
+          output: 'trivy-results.sarif'
+
+      - name: Upload Trivy scan results to GitHub Security tab
+        uses: github/codeql-action/upload-sarif@v1
+        with:
+          sarif_file: 'trivy-results.sarif'
 
       # 2FA を無効化する必要がある
       # https://github.com/peter-evans/dockerhub-description#action-inputs

Dockerfile

@@ -1,29 +1,46 @@
 # Gradle Cache Dependencies Stage
-# This stage caches plugin/project dependencies from *.gradle.kts and gradle.properties.
-# Gradle image erases GRADLE_USER_HOME each layer. So we need COPY GRADLE_USER_HOME.
-# Refer https://stackoverflow.com/a/59022743
+## This stage caches plugin/project dependencies from *.gradle.kts and gradle.properties.
+## Gradle image erases GRADLE_USER_HOME each layer. So we need COPY GRADLE_USER_HOME.
+## Refer https://stackoverflow.com/a/59022743
 FROM gradle:jdk8 AS cache
 WORKDIR /app
 ENV GRADLE_USER_HOME /app/gradle
 COPY *.gradle.kts gradle.properties /app/
-# Full build if there are any deps changes
+## Full build if there are any deps changes
 RUN gradle shadowJar --parallel --no-daemon --quiet
 
 # Gradle Build Stage
-# This stage builds and generates fat jar.
+## This stage builds and generates fat jar.
 FROM gradle:jdk8 AS build
 WORKDIR /app
 COPY --from=cache /app/gradle /home/gradle/.gradle
 COPY *.gradle.kts gradle.properties /app/
 COPY src/main/ /app/src/main/
-# Stop printing Welcome
+## Stop printing Welcome
 RUN gradle -version > /dev/null \
     && gradle shadowJar --parallel --no-daemon
 
+# For mirakc-arib
+FROM mirakc/mirakc:alpine AS mirakc-image
+
 # Final Stage
-FROM openjdk:8-jre-alpine
+FROM slashnephy/dtv-ffmpeg-build:alpine
+
+## Add user
+RUN addgroup -S saya \
+    && adduser -S saya -G saya
+
+## Install JRE 11
+RUN apk add --update --no-cache openjdk11-jre-headless
+
+## Copy mirakc-arib binary
+COPY --from=mirakc-image /usr/local/bin/mirakc-arib /usr/local/bin/
+## Install gcc runtime
+RUN apk add --update --no-cache libgcc libstdc++
+
 COPY --from=build /app/build/libs/saya-all.jar /app/saya.jar
 COPY docs/ /app/docs/
 
+USER saya
 WORKDIR /app
 ENTRYPOINT ["java", "-jar", "/app/saya.jar"]

README.md

@@ -1,9 +1,9 @@
 # saya: Japanese DTV backend service with powerful features
 
-[![Kotlin](https://img.shields.io/badge/Kotlin-1.4.21-blue)](https://kotlinlang.org)
+[![Kotlin](https://img.shields.io/badge/Kotlin-1.4.30-blue)](https://kotlinlang.org)
 [![GitHub release (latest by date)](https://img.shields.io/github/v/release/SlashNephy/saya)](https://github.com/SlashNephy/saya/releases)
 [![GitHub Workflow Status](https://img.shields.io/github/workflow/status/SlashNephy/saya/Docker)](https://hub.docker.com/r/slashnephy/saya)
-[![Docker Image Size (latest by date)](https://img.shields.io/docker/image-size/slashnephy/saya)](https://hub.docker.com/r/slashnephy/saya)
+[![Docker Image Size (tag)](https://img.shields.io/docker/image-size/slashnephy/saya/latest)](https://hub.docker.com/r/slashnephy/saya)
 [![Docker Pulls](https://img.shields.io/docker/pulls/slashnephy/saya)](https://hub.docker.com/r/slashnephy/saya)
 [![license](https://img.shields.io/github/license/SlashNephy/saya)](https://github.com/SlashNephy/saya/blob/master/LICENSE)
 [![issues](https://img.shields.io/github/issues/SlashNephy/saya)](https://github.com/SlashNephy/saya/issues)
@@ -27,8 +27,16 @@ saya is still in heavy development.
 次の機能を現在実装しています。
 
 - ライブ再生 / 録画番組再生での実況コメントの配信
-  - ライブ再生時には [ニコニコ実況](https://jk.nicovideo.jp/) の公式放送およびコミュニティ放送 / Twitter ハッシュタグから取得します。
-  - 録画番組再生時には [ニコニコ実況 過去ログ API](https://jikkyo.tsukumijima.net/) / 5ch 過去ログから取得します。
+  - ライブ再生時には次のソースから取得します。
+    + [ニコニコ実況](https://jk.nicovideo.jp/) の公式放送およびコミュニティ放送
+    + Twitter ハッシュタグ (Filter ストリーム or 検索 API)
+    + 5ch DAT
+    
+  - 録画番組再生時には次のソースから取得します。
+    + [ニコニコ実況 過去ログ API](https://jikkyo.tsukumijima.net/)
+    + 5ch 過去ログ
+  
+- TS ファイルから EPG 情報を抽出
 - and more, coming soon...
 
 その他実装予定の機能などは [Roadmap](https://github.com/SlashNephy/saya/projects/1) をご覧ください。
@@ -42,18 +50,22 @@ saya is still in heavy development.
 - [ci7lus/elaina](https://github.com/ci7lus/elaina)
   - EPGStation を介した番組プレイヤーです。saya の API をフロントエンドで利用しています。
 
-# Docker
+# Get Started
 
-環境構築が容易なので Docker で導入することをおすすめします。
+## Docker
 
-現在のベースイメージは `alpine` です。いくつかタグを用意しています。
+環境構築が容易なので Docker で導入することをおすすめします。
 
-- `:latest`
+- `slashnephy/saya:latest`  
   master ブランチへのプッシュの際にビルドされます。安定しています。
-- `:dev`
+- `slashnephy/saya:dev`  
   dev ブランチへのプッシュの際にビルドされます。開発版のため, 不安定である可能性があります。
-- `:v<tag>`
+- `slashnephy/saya:<version>`  
   GitHub 上のリリースに対応します。
+- `slashnephy/saya:***-vaapi`  
+  VAAPI によるハードウェアエンコーディングを有効化した ffmpeg を同梱しています。
+- `slashnephy/saya:***-nvenc`  
+  NVEnc によるハードウェアエンコーディングを有効化した ffmpeg を同梱しています。
 
 `docker-compose.yml`
 
@@ -65,6 +77,8 @@ services:
     container_name: saya
     image: slashnephy/saya:latest
     restart: always
+    # nvenc イメージを使用する場合に必要
+    # runtime: nvidia
     ports:
       - 1017:1017/tcp # いれいな
     # 環境変数で各種設定を行います
@@ -80,17 +94,46 @@ services:
       # ログレベル ("INFO")
       # 利用可能な値: ALL, TRACE, DEBUG, INFO, WARN, ERROR, OFF
       SAYA_LOG: DEBUG
+      # 内部データ 更新間隔 [分] (15)
+      SAYA_UPDATE_INTERVAL_MINS: 15
       # Mirakurun のホスト, ポート番号 ("mirakurun", 40772)
       MIRAKURUN_HOST: mirakurun
       MIRAKURUN_PORT: 40772
       # Annict のアクセストークン (null)
       # 以下, 未設定でも動作します
       ANNICT_TOKEN: xxx
-      # Twitter の資格情報 (null, ...)
+      # Twitter の資格情報 (null, null, null, null)
       TWITTER_CK: xxx
       TWITTER_CS: xxx
       TWITTER_AT: xxx
       TWITTER_ATS: xxx
+      # Twitter からツイートを取得する際にストリーミング API を使用するか (false)
+      # 接続に失敗した場合には通常の検索 API にフォールバックします。
+      # 試験的な機能のため, 一部の環境で動作しない可能性があります。
+      TWITTER_PREFER_STREAMING_API: 'true'
+      # 5ch API への接続情報 (null, null, null, null, null)
+      GOCHAN_HM_KEY: xxx
+      GOCHAN_APP_KEY: xxx
+      GOCHAN_AUTH_UA: xxx
+      GOCHAN_AUTH_X_2CH_UA: xxx
+      GOCHAN_UA: xxx
+      # モリタポアカウントの資格情報 (null, null)
+      MORITAPO_EMAIL: xxx
+      MORITAPO_PASSWORD: xxx
+      # /files エンドポイントで TS ファイルを検索するパス (null)
+      # 別途 volume マウントが必要です
+      MOUNT_POINT: /mnt
+      # mirakc-arib へのパス ("/usr/local/bin/mirakc-arib")
+      # Docker イメージを使用している場合は指定不要です
+      MIRAKC_ARIB_PATH: /path/to/mirakc-arib
+      # ffmpeg へのパス ("/usr/local/bin/ffmpeg")
+      # Docker イメージを使用している場合は指定不要です
+      FFMPEG_PATH: /path/to/ffmpeg
+    volumes:
+      # 録画 TS ファイルの置き場所
+      - /mnt:/mnt:ro
+      # definitions.yml を書き換えて使用したい場合
+      # - ./definitions.yml:/app/docs/definitions.yml:ro
 
   elaina:
     container_name: elaina
@@ -121,16 +164,42 @@ docker-compose down
 
 up すると `http://localhost:1017/` に saya が, `http://localhost:1234/` に elaina が起動しているはずです。
 
+## 直接実行
+
+リリースから Jar を取ってきて実行するか, `./gradlew run` で実行できます。
+
+設定値の変更は現在, 環境変数経由でしか行なえません。ご了承ください。
+
+```console
+SAYA_LOG=DEBUG java -jar /path/to/saya.jar
+```
+
 # Endpoints
 
-TODO...
+saya が提供する API は [endpoints.md](https://github.com/SlashNephy/saya/blob/master/docs/endpoints.md) に一覧があります。
+
+# Contribution
+
+開発には IntelliJ IDEA をおすすめします。
+
+不安定なプロジェクトにつき, 互換性のない変更や方針変更が発生する可能性があります。ご了承ください。
+
+```console
+# ビルド
+./gradlew build
+
+# 実行
+./gradlew run
+```
 
 # Acknowledgments
 
 saya および [ci7lus/elaina](https://github.com/ci7lus/elaina) は次のプロジェクトを利用 / 参考にして実装しています。
 
 - [tsukumijima/TVRemotePlus](https://github.com/tsukumijima/TVRemotePlus)
 - [tsukumijima/jikkyo-api](https://github.com/tsukumijima/jikkyo-api)
+- [asannou/namami](https://github.com/asannou/namami)
+- [silane/TVTComment](https://github.com/silane/TVTComment)
 
 DTV 実況コミュニティの皆さまに感謝します。