소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

BlazeBVD 팀 제공

Qubits 공개 계정 QbitAI

가족들이여, 없애라"영상 깜박임"(예를 들어 갑자기 화면이 꺼지는 경우) 새로운 트릭이 있습니다!

생각해 보세요. 휴대폰으로 촬영한 오래된 영화나 동영상을 볼 때 가끔 사진이 나타납니다.깜박이거나 일관되지 않은 색상그리고 다른 현상.

이를 제거하기 위해 메이투 이미징 연구소(Meitu Imaging Research Institute), 중국과학원대학교, 쓰촨대학교(Sichuan University) 연구진은 다음과 같은 제안을 제안했습니다.새로운 알고리즘。

새로운 알고리즘“블레이즈BVD”비디오에서 깜박임을 자동으로 제거할 수 있으며 매우 빠르게 제거됩니다. 기존 방법보다 빠른 것으로 알려졌습니다.10배 더 빨라짐。

더욱 좋습니다! 이 방법에는 비디오 깜박임의 특정 유형이나 정도에 대한 사전 지식도 필요하지 않습니다.

즉,"눈이 먼", 다양한 영상에 적용할 수 있습니다.

이제 조명 환경이 바뀌거나 카메라 하드웨어가 따라가지 못하더라도 걱정할 필요가 없습니다. [총독]

현재 관련 논문이 나와있습니다.컴퓨터 비전 컨퍼런스ECCV 2024가 승인되었습니다.

관심있으시면 계속해서 캉캉~

BlazeBVD는 비디오 깜박임을 어떻게 제거합니까?

첫째, 고전적인 STE(Scintle Removal Method Scale Time Equalization)에서 영감을 받아 BlazeBVD는 다음을 소개합니다.히스토그램보조 솔루션.

이미지 히스토그램은 픽셀 값의 분포로 정의되며, 이미지의 밝기나 대비를 조정하기 위해 이미지 처리에 널리 사용됩니다.

예를 들어,이미지 히스토그램은 사진에 밝기가 다른 픽셀이 몇 개 있는지 알려주는 통계표와 같습니다.

△ 클로드 3.5 소네트가 제작한 사진

STE가 영상을 분석합니다각 프레임의 히스토그램, 그리고 다음이라는 메서드를 사용합니다.가우스 필터이러한 히스토그램을 매끄럽게 만들려면 먼저 히스토그램 분포의 급격한 변화가 있는 이미지 프레임을 미리 수정하세요. 이렇게 하면 사진이 더 안정적으로 보이고 깜박임을 줄일 수 있습니다.

STE는 일부 경미한 깜박임에만 효과적이지만,하지만 확인됐어：

• 히스토그램은 원시 픽셀 데이터보다 더 간결하며 비디오의 밝기 변화와 깜박임을 더 효과적으로 캡처할 수 있습니다.
• 히스토그램을 부드럽게 하면 영상의 깜박임을 줄이고 영상을 더욱 안정적으로 보이게 할 수 있습니다.

따라서 STE와 히스토그램 힌트를 활용하여 개선하세요.블라인드 비디오 깜박임 제거품질과 속도가 가능합니다.

구체적으로 BlazeBVD는 세 단계로 구성됩니다.

BlazeBVD의 3단계에 대한 자세한 설명

질병을 치료하는 의사처럼 BlazeBVD는 먼저 비디오의 각 프레임을 검사합니다.

그것은 소개한다인조명 공간에서 비디오 프레임의 히스토그램 순서를 수정합니다.

그런 다음 처리된 프레임에서 깜박임이 가장 눈에 띄는 프레임과 같은 중요한 정보를 추출합니다.(단일 프레임 컬렉션), 조명을 조정해야 하는 곳(필터링된 라이트 맵), 노출 과다 또는 노출 부족 영역(노출사진)。

다음으로 BlazeBVD가 시작됩니다.수리하다。

한편 BlazeBVD는 다음과 같은 도구를 사용합니다.전역 깜박임 제거 모듈(GFRM) 도구는 이전에 추출된 라이트 맵을 사용하여 전체 비디오의 조명을 조정하여 각 프레임의 밝기와 색상이 자연스럽게 보이도록 합니다.

반면에 노출 과다 또는 노출 부족과 같이 특별한 주의가 필요한 일부 지역의 경우 BlazeBVD는 다음을 사용합니다.부분 깜박임 제거 모듈 (LFRM). 이 모듈은 광학 흐름 정보(예: 비디오에서 개체의 움직임 추적)를 사용하여 이러한 영역의 세부 사항을 수정합니다.

이 단계를 완료한 후 BlazeBVD는 마침내 다음 단계로 진행합니다.완벽한 작품。

그것은경량 순차 네트워크(TCM), 이 네트워크는 비디오의 "미용사"와 같으며 각 프레임이 갑작스러운 변화 없이 시각적으로 부드럽게 전환되도록 보장합니다.

비디오의 일관성을 더욱 향상시키기 위해 BlazeBVD는 특별한 채점 시스템을 설계했습니다.(적응형 마스크 가중 손실) . 이 시스템은 각 프레임의 점수를 매겨 시각적 일관성을 유지함으로써 전체 비디오가 더욱 부드럽고 자연스럽게 보이도록 합니다.

현재 BlazeBVD는 전체 "진단 및 치료" 과정을 완료했습니다.

실험 결과

그렇다면 BlazeBVD는 얼마나 효과적일까요?

기존 방식과 BlazeBVD를 직접 살펴보세요블라인드 영상에서깜박임 제거 작업 결과 비교:

그 중 Delicker는 기존 방식으로 GT(Ground Truth)는 이상적인 깜박임 없는 영상을 나타내고, KL 다이버전스는 처리된 영상과 이상적인 깜박임 없는 영상의 차이를 나타냅니다. KL 값이 클수록 차이가 커집니다.

BlazeBVD는 색상 아티팩트와 색상 왜곡을 피하면서 조명 히스토그램을 잘 복원할 수 있음을 알 수 있습니다.(예: 두 번째 열에 있는 남자의 팔)。

더 나아가기준 방법정량적 비교를 위해:

BlazeBVD는 PSNR(피크 신호 ​​대 잡음비, 값이 높을수록 비디오 품질이 좋음) 및 SSIM(구조적 유사성 지수, 값이 1에 가까울수록 비디오 품질이 좋음을 의미)에서 더 높은 점수를 얻었으며 Ewarp( 값이 낮을수록 비디오 품질이 좋아짐) 일관성) 점수가 낮아졌습니다.

한마디로,BlazeBVD는 기존의 기본 방법을 능가합니다.

이러한 차이를 시각적으로 보여주기 위해 BlazeBVD와 기준 방법은시각적 비교다음과 같이:

절제 실험또한 BlazeBVD가 설계한 모듈의 효율성도 검증했습니다.

요약하자면BlazeBVD는 합성 영상, 실제 영상, 생성 영상에 대한 종합적인 실험을 통해 우수한 정성적, 정량적 결과를 보여주며, 최첨단 모델 추론 속도보다 10배 빠릅니다.

현재 관련 논문이 공개되었습니다. 관심이 있으시면 더 자세히 알아볼 수 있습니다.

종이:
https://arxiv.org/html/2403.06243v1