jfinn
/
jitsi_app_c0
Sledovat 1
Oblíbit 0
Rozštěpit 0
Zdrojový kód Úkoly 0 Požadavky na natažení 0 Vydání 0 Wiki Aktivita
Nelze vybrat více než 25 témat Téma musí začínat písmenem nebo číslem, může obsahovat pomlčky („-“) a může být dlouhé až 35 znaků.
8291 Revize
2 Větve
Strom: b559cb8ec6
Větve Značky
${ item.name }
Vytvořit větev ${ searchTerm }
z „b559cb8ec6“
${ noResults }
jitsi_app_c0/react/features/stream-effects/blur/vendor
Tudor D. Pop 946339a52e
feat(blur) replace BodyPix with TFLite 		před 4 roky
..
models feat(blur) replace BodyPix with TFLite před 4 roky
tflite feat(blur) replace BodyPix with TFLite před 4 roky
README.md feat(blur) replace BodyPix with TFLite před 4 roky

README.md

Virtual Background on stream effects

Inspired from https://ai.googleblog.com/2020/10/background-features-in-google-meet.html and https://github.com/Volcomix/virtual-background.git

Canvas 2D + CPU

This rendering pipeline is pretty much the same as for BodyPix. It relies on Canvas compositing properties to blend rendering layers according to the segmentation mask.

Interactions with TFLite inference tool are executed on CPU to convert from UInt8 to Float32 for the model input and to apply softmax on the model output.

The framerate is higher and the quality looks better than BodyPix

SIMD and non-SIMD

How to test on SIMD:

  1. Go to chrome://flags/
  2. Search for SIMD flag
  3. Enable WebAssembly SIMD support(Enables support for the WebAssembly SIMD proposal).
  4. Reopen Google Chrome

More details: