무단 사용으로부터 컴퓨터 비전 데이터셋 보호하기

중국 연구진이 컴퓨터 비전 훈련에 사용되는 이미지 데이터셋에 효과적으로 ‘워터마크’를 삽입하고, 허가된 사용자만 클라우드 기반 플랫폼을 통해 ‘클린’ 이미지를 복호화할 수 있는 방법을 개발하여 저작권을 보호했습니다. 이 시스템에 대한 테스트 결과, 저작권이 보호된 이미지로 머신러닝 모델을 훈련시키면 모델 정확도가 치명적으로 하락하는 것으로 나타났습니다. 두 가지 인기 있는 오픈 소스 이미지 데이터셋에 대해 시스템을 테스트한 결과, 연구진은 복호화되지 않은 데이터로 모델을 훈련하려 할 때 클린 데이터셋의 정확도 86.21%와 74.00%가 각각 38.23%와 16.20%로 떨어뜨릴 수 있었다고 밝혔습니다.

논문에서 – 왼쪽부터 클린, 보호된(즉, 변조된) 및 복구된 이미지의 예. Source: https://arxiv.org/pdf/2109.07921.pdf

이는 고품질이지만 고가의 데이터셋을 널리 공개 배포하고, (아마도) 대략적인 기능을 시연하기 위해 심지어 반쯤 무력화된 ‘데모’ 훈련도 가능하게 할 수 있습니다.

클라우드 기반 데이터셋 인증

논문은 난징 항공항천대학교의 두 학과 소속 연구진이 발표한 것으로, 데이터셋 관리 클라우드 플랫폼(DMCP)의 일상적인 사용을 구상하고 있습니다. 이 원격 인증 프레임워크는 Adobe Creative Suite와 같은 부담스러운 로컬 설치에서 흔해진 것과 같은 종류의 원격 측정 기반 사전 실행 검증을 제공할 것입니다.

제안된 방법의 흐름과 프레임워크.

보호된 이미지는 2019년 노스캐롤라이나의 듀크 대학교에서 개발된 적대적 공격 방법인 특징 공간 변조를 통해 생성됩니다.

특징 공간 변조는 한 이미지의 특징이 적대적 이미지의 특징 공간 쪽으로 밀려나는 ‘활성화 공격’을 수행합니다. 이 경우, 공격은 머신러닝 인식 시스템이 개를 비행기로 분류하도록 강제합니다. Source: https://openaccess.thecvf.com

다음으로, 수정되지 않은 원본 이미지는 2016년 논문 Reversible Data Hiding in Encrypted Images by Reversible Image Transformation에서 제안된 블록 페어링 및 블록 변환을 통해 왜곡된 이미지에 삽입됩니다. 블록 페어링 정보를 포함하는 시퀀스는 AES 암호화를 사용하여 임시 중간 이미지에 임베딩되며, 이에 대한 키는 나중에 인증 시 DMCP에서 검색됩니다. 그런 다음 최하위 비트 스테가노그래피 알고리즘이 키를 임베딩하는 데 사용됩니다. 저자들은 이 과정을 수정된 가역 이미지 변환(mRIT)이라고 부릅니다. mRIT 루틴은 복호화 시 본질적으로 역순으로 진행되며, 훈련 세션에서 사용할 수 있도록 ‘클린’ 이미지가 복원됩니다.

테스트

연구진은 ResNet-18 아키텍처와 두 가지 데이터셋으로 시스템을 테스트했습니다: 10개 클래스에 걸쳐 6000개의 이미지를 포함하는 2009년 작업 CIFAR-10; 그리고 ImageNet 분류 챌린지 데이터의 하위 집합으로 100,000개의 훈련 이미지와 10,000개의 검증 이미지, 10,000개의 테스트 이미지를 포함하는 스탠포드의 TinyImageNet입니다. ResNet 모델은 클린, 보호된, 복호화된 데이터셋이라는 세 가지 구성으로 처음부터 훈련되었습니다. 두 데이터셋 모두 Adam 옵티마이저를 사용했으며, 초기 학습률은 0.01, 배치 크기는 128, 훈련 에포크는 80이었습니다.

암호화 시스템 테스트의 훈련 및 테스트 정확도 결과. 역변환(즉, 복호화)된 이미지에 대한 훈련 통계에서 미미한 손실이 관찰됩니다.

논문은 ‘복구된 데이터셋에 대한 모델의 성능은 영향을 받지 않는다’고 결론지었지만, 결과는 복구된 데이터 대 원본 데이터의 정확도에서 미미한 손실을 보여줍니다. CIFAR-10의 경우 86.21%에서 85.86%로, TinyImageNet의 경우 74.00%에서 73.20%로 하락했습니다. 그러나 사소한 시드 변경(GPU 하드웨어도 마찬가지)조차 훈련 성능에 영향을 줄 수 있는 방식을 고려할 때, 이는 정확도 대비 지적 재산권 보호를 위한 최소한이면서 효과적인 절충안으로 보입니다.

모델 보호 현황

기존 연구는 주로 실제 머신러닝 모델의 지적 재산권 보호에 집중해 왔으며, 훈련 데이터 자체를 보호하는 것이 더 어렵다는 가정 아래 진행되었습니다: 2018년 일본의 연구 노력은 딥 뉴럴 네트워크에 워터마크를 삽입하는 방법을 제안했으며, 2017년의 더 초기 작업도 비슷한 접근법을 제안했습니다. 2018년 IBM의 구상은 아마도 뉴럴 네트워크 모델에 대한 워터마킹의 잠재력을 가장 깊고 헌신적으로 조사한 것일 수 있습니다. 이 접근법은 훈련 데이터에 비가역적 워터마크를 삽입한 다음 뉴럴 네트워크 내부의 필터를 사용하여 데이터의 변조를 ‘할인’하는 것을 목표로 했다는 점에서 새로운 연구와 다릅니다.

IBM의 뉴럴 네트워크가 워터마크를 ‘무시’하는 방식은 데이터의 워터마크가 표시된 부분을 인식하고 버리도록 설계된 아키텍처 부분을 보호하는 데 달려 있었습니다. Source: https://gzs715.github.io/pubs/WATERMARK_ASIACCS18.pdf

불법 복제 경로

데이터셋 암호화 프레임워크를 통한 지적 재산권 보호 추구는 여전히 오픈 소스 검토와 글로벌 연구 커뮤니티 간 정보 공유에 의존하는 머신러닝 문화의 맥락에서 주변적인 사례로 보일 수 있지만, 프라이버시 보존 신원 보호 알고리즘에 대한 지속적인 관심은 개인 식별 정보보다는 특정 데이터를 보호하려는 기업들에게 관심을 가질 만한 시스템을 주기적으로 만들어 낼 가능성이 있습니다. 새로운 연구는 이미지 데이터에 무작위 변조를 추가하는 것이 아니라, 정교하게 제작된, 강제적인 특징 공간 이동을 가합니다. 따라서 현재 쏟아져 나오는 워터마크 제거 및 이미지 향상 컴퓨터 비전 프로젝트들은 오분류를 유발하는 특징 변조를 실제로 제거하지 않고도 이미지를 인간이 인지하는 더 높은 품질로 ‘복원’할 가능성이 있습니다. 컴퓨터 비전의 많은 응용 분야, 특히 라벨링 및 개체 인식과 관련된 분야에서 그러한 불법적으로 복원된 이미지는 여전히 오분류를 유발할 가능성이 높습니다. 그러나 이미지 변환이 핵심 목표인 경우(얼굴 생성 또는 딥페이크 응용 프로그램과 같이), 알고리즘적으로 복원된 이미지는 여전히 기능적인 알고리즘 개발에 유용할 수 있을 것입니다.