پژوهشگر

همکاران پژوهشگر

چکیده پژوهش

در این طرح روشی برای همجوشی اطلاعات در سیستم¬های تشخیص احساس در ویدیو پیشنهاد خواهد شد. هدف سیستم¬های تشخیص احساس در ویدیو يافتن ویدیوهایی با ویژگی احساسي خاصی است. معمولاً این سیستم‏ها برای تشخیص احساس منابع مختلف که دارای اطلاعاتی است که بتوان احساس را با استفاده از آن تشخیص داد را به کار برده و با استفاده از همجوشی اطلاعات آن¬ها را ترکیب می¬کنند. از آن¬جا که منابع ترکیبی دارای ذات متفاوتی هستند پس برای همجوشی اطلاعات باید این تفاوت¬ها را در نظر گرفت تا بتوان بهترین ترکیب ممکن را داشت. براي اين منظور، در اين طرح پژوهشی از روش¬های میانگین¬گیری برای تلفیق داده¬های اطلاعاتی استفاده خواهد شد. در اين روش ابتدا احساس در ويديو بر اساس محتوای صوتی، تصویری و متنی (نظرات کاربران در شبکه¬های اجتماعی) تشخیص داده شده و سپس با استفاده از روش پیشنهادی برای همجوشی این سه منبع اطلاعات برای تشخیص احساس نهايي موجود در ويديو استفاده مي‏شود. روش پيشنهادي بر روي موزیک ویدیو¬های مجموعه داده‏ي استاندارد DEAP که یک مجموعه داده¬ی چندوجهی برای تحلیل حالت‏های احساسی است آزمايش خواهد شد.

خلاصه نتایج حاصله

مقاله مربوطه A Hybrid Latent Space Data Fusion Method for Multimodal Emotion Recognition

فایل های پژوهش