코딩 다이어리

서비스 바로가기: https://opennote.duckdns.org 개요지난 포스팅에서 음성 인식 기술을 활용한 서비스 개발 계획과 시스템 설계를 공유했었습니다. 이후 지속적인 개발과 테스트를 거쳐 OpenNote 서비스를 정식으로 오픈하게 되었습니다.음성 인식 기술의 발전으로 많은 사람들이 회의나 강의를 녹음하지만, 실제로 녹음 파일을 다시 듣는 경우는 드뭅니다. 시간이 오래 걸리고 비효율적이기 때문입니다. OpenNote는 이러한 문제를 해결하기 위해 AI가 자동으로 음성을 텍스트로 변환하고 핵심 내용을 요약해주는 서비스입니다.서비스 소개1. 주요 기능음성 인식 (STT)OpenAI Whisper 모델을 활용한 정확한 음성 인식한국어, 영어 등 다국어 지원평균 처리 시간: 30분 녹음 기준 약 2-..

들어가기 전현재 사전 학습된 오픈 모델을 활용하고 있으나 성능에 한계가 있는 것을 확인이에 따라 한국어, 서비스에 맞도록 파인튜닝을 진행할 예정활용 가능한 음성 관련 데이터들을 수집하고 확인해서 학습 데이터셋을 구축할 예정현재까지 수집한 데이터셋을 리스트업하고 원본 데이터의 정보들을 확인각 데이터별 특성과 AI 모델에 맞도록 전처리 후 활용할 예정전처리 및 데이터셋 구축 관련 코드와 학습 결과 등은 추후 Github를 통해 공유할 예정모든 데이터는 상업적 목적으로 활용하지 않으며, 원본 데이터 정보는 공개하나 구축한 데이터셋을 직접 공유할 계획은 없음데이터셋 종류1. 한국어 음성데이터 기본 정보데이터셋 명칭: KsponSpeech출처/배포처: AIHUBURL: https://aihub.or.kr/aihu..

행사 내용행사 주최: 과학기술정보통신부행사 일시: 2025.04.24~ 2025.04.26, 3일간행사 장소: 코엑스 1F, 3F행사 참가비: 사전 참가 신청 시 무료, 현장 신청은 1만원행사 주제: 디지털 미래를 여는 연결의 진화 행사 개요World IT Show는 대한민국을 대표하는 ICT 전문 전시회최신 정보통신기술과 디지털 혁신 트렌드를 한눈에 볼 수 있는 행사산업 관계자뿐 아니라 일반 참관객도 첨단 기술을 직접 체험하고 소통국내외 주요 IT 기업 및 기관이 참여하여 인공지능, 빅데이터, 클라우드, 5G/6G, 디지털 헬스케어, 스마트시티, 메타버스, XR 등 다양한 분야의 최신 기술과 솔루션을 소개전시회 구성 글로벌 ICT 전망 컨퍼런스업계 전문가들이 최신 기술 트렌드와 산업 전망을 공유컨퍼런스..

1. 기술 스택Django오픈 소스 기반 웹 프레임워크반응형 웹 UI를 위해 bootstrap 사용을 고려했으나 직접 UI 디자인 및 개발 진행계정 로그인 시 개인 정보 문제와 편의성을 위해 소셜 계정 로그인 기능 추가(네이버, 카카오톡, github, google)Django ORM 활용 시 내장 DB인 SQLite가 아닌 PostgreSQL 사용RabbitMQAMQP를 구현한 오픈 소스 기반 메시지 브로커 소프트웨어사용자가 웹서버를 통해 데이터를 업로드 시, AI를 활용한 처리를 위해 활용GPU 서버 부족으로 사용량에 따라 consumer를 추가할 수 있도록하여 추후 AI 서버 추가 가능durable을 True로 설정하여 queue의 데이터를 디스크에 저장하여 안정성 및 지속성 향상PostgreSQL..

개요STT, TTS, 화자 분할/분리, 음성 감정 인식 등등 음성 분야에서도 AI가 활용되며 관련 연구들이 진행되었고 이를 활용한 여러 서비스들이 나오게 되었다. 가장 많이 사용하게 되는 STT와 TTS 같은 경우 대기업 이외에도 여러 기업에서 API 형태로 제공하기도 하며, 여러 AI 기술이 활용된 클로바노트와 같이 고객들에게 직접 서비스하는 것들이 나오게 되었다. 따라서 LLM, vision AI 등과 같이 연구가 활발히 이뤄지고 있는 분야말고도 음성 분야도 충분히 수요가 있다고 생각한다. 지금까지 음성 분야 AI 기술을 공부하고 실무에서 활용하다보니 항상 드는 생각이 있었다. 그것은 바로 우리나라 자료를 찾기가 힘들다는 것이다. 물론 우리나라에 음성 분야 기술력이 낮다는 이야기는 아니다. 다만 데이..

들어가기 전TTS 오픈 소스 중 많이 사용되는 coqui tts가 2023년 12월에 셧다운되어 더이상 업데이트를 진행하지 않게 되면서 다른 오픈 소스 사용이 불가피해졌다. 그래서 최근 TTS 관련 오픈 소스를 조사하던 중 Mysell.ai의 openvoice를 알게되었고, 2024년 4월에 v2 모델이 배포되면서 한국어 지원을 하게 되어 테스트를 해보려고 한다. SOTA 모델 중의 하나라고 하며 다중언어를 지원하고 특히 Zero-shot Cross-lingual Voice Cloning 기능이 있어서 사용해보려고 한다.논문 리뷰 참고(https://yc7764.tistory.com/39)개인 노트북에서 테스트를 진행하며 실행 환경을 구축할 서버의 사양은 아래와 같다.CPU: Intel(R) Core(T..