제조의 6대 뿌리 기술과, 제조업에 Segformer 적용 사례 (Sementic Segmentation)

https://youtu.be/_UMjejb5rDA?list=LL

https://youtu.be/_UMjejb5rDA

 

안될과학 이상아 박사님 편을 보면서 간략하게 정리해본 포스팅입니다.

보다 상세하고 재밌는 설명 보고자 하신다면 위 영상 보시는 게 좋습니다.

---

- 제조의 6대 뿌리 기술

(주조, 금형, 소성가공, 용접, 표면처리, 열처리)

 

1. 주조

 

용탕: 금속을 녹인 액체

틀에다가 부어서 굳혀서 제품을 만드는 제조기술

복잡한 형상의 제품을 한 번에 만들 수 있음 (EX. 붕어빵)

하나의 금형을 통해 여러 개를 양산할 수 있다.

 

2. 소성가공

 

캡스톤디자인 프로젝트 소재였던 공작기계는 소성가공을 하는 설비.

 

소성: 탄성의 반댓말. 원래 상태로 돌아올 수 없게 만드는 것을 의미함

소성 가공은 힘을 줘서 영원히 변형시키는 가공 방법

 

포징(강한 압력을 주어 모양 잡는 것), 롤링(얇고 넓게 펴는 것), 와이어 드로잉(철사 만들기?) 등

 

3. 금형

 

가공을 하기 위한 각 종 틀을 금형이라고 한다. 폐쇄형 금형이 몰드 (거푸집)

 

오픈형 금형이 Die

저 틀에 금속을 밀어 눌러서 모양을 만드는 것

 

금형의 정교함 = 제품의 정교함. 금형의 품질은 제품의 퀄리티와 직결되기 때문에 아주 중요하다.

 

4. 용접

 

5. 열처리

어떤 형상을 만드는 건 아니고 눈에 보이지 않는 성질을 부여하는 기술

 

 

기존 6대 뿌리 기술과, 새롭게 정의한 8대 차세대 공정 기술의 조합으로 제조업의 프로세스 전반을 설명할 수 있다. 

 

인공지능 적용 사례

 

뿌리 기술 중 주조에 인공지능 적용한 연구를 설명해주셨다.

이상치 검출에 대한 내용이었고, 데이터는 자동차 내 변속기(컨버터)를 소재로 한다.

 

 

1. 데이터 확보 방법

제품 주위를 360도 돌면서 단면을 촬영.

단면을 모아서 3D이미지를 만듦 (Reconstruction)

 

2. 문제 정의

숙련자들이 보통 3D 이미지의 단면을 쭉 넘겨가며 검사하는데

1. CT 촬영 자체가 시간이 오래 걸림 (보통 제품 하나 당 천 번 넘게 찍음. 한 시간 정도 걸린다나) 

2. 촬영해야 하는 제품이 몇 만 개 있음

3. 제품 결함(기공이라던가) 아주 작아서 눈으로 보기 어려움. 작업자 피로도

4. CT 장비가 비쌈 (촬영에 사용되는 레이저건조차 소모품인데 비싸다고 함)

 

 

주조 과정에서 기포는 생길 수밖에 없는데, 그 기공의 위치가 제품의 품질을 좌우한다

(Ex.좀 두꺼운 부분은 상관 없는데, 와인잔 손잡이 같은데는 치명적. 또는 나사를 박아야 하는 부분)

 

 

크랙 결함의 경우 기공보다 결함 빈도가 낮아서 데이터 확보 부족하다고.

제조업 데이터의 경우 데이터 부족 이슈는 빈번하다고 하다.

- 데이터를 확보하기 위해선 작업자들이 기존에 검사와 더불어 데이터 수집하는 추가작업 필요 -> 피로도 증가

- 데이터는 기업의 기술력이기 때문에 다른 곳에서 데이터 불러오기 쉽지 않음

 

 

이미지 속 결함을 찾아주는 것에 인공지능 모델을 적용

U-Net 과 유사해보이는 구조를 보인다.

기공 영역의 크기에 따라 색을 달리 하여 시각화해주는 후처리 작업도 도입된 것으로 보인다.

 

 

영역 검출 인공지능과 더불어 초해상도 인공지능(Super Resolution) 기술도 도입하였다고 한다.

데이터 품질을 높이기 위한 업스케일링 작업.

앞서 문제되었던 부분 중 하나가 CT 촬영 시간이 오래 걸린다는 점인데,

아무래도 여러 각도에서 많이 촬영할수록 3D 이미지는 좋을 수밖에 없다.

초해상도 기술 적용하면 완전 촘촘하게 찍지 않아도 검출 가능하게 할 수 있다.  

 

오른쪽 그림의 상태로는 기공을 찾기 어렵다.

 

세그멘테이션 - 픽셀 단위로 물체를 구분해내는 인공지능 기술

어디에 물체가 있다는 것을 픽셀 단위로 그림에서 잘라낼 수 있는 기술

 

연구원님이 알려주지는 않았지만 위 적용한 논문은 SegFormer.

2021년 엔비디아에서 발표한 기술로, 트랜스포머를 시멘틱 세그멘테이션에 적용한 연구다.

인코딩 과정에서 컨볼루션이 아닌 트랜스포머 기반 블록을 사용한 것이 Unet과 차이점으로 보인다.

https://github.com/NVlabs/SegFormer 

GitHub - NVlabs/SegFormer: Official PyTorch implementation of SegFormer

 

코드가 공개되어 있다. 아마 이를 수정한 것이 아닐까

1) positional encoding이 필요하지 않아 성능 감소를 피할 수 있고

2) 디코더 블럭에 MLP를 사용함으로써 경량화한 것이 주요 특징이라고 한다.

 

ViT 구조를 채택하였기에 선행적인 이해가 필요하다. 

SegFormer 정리한 부분은 포스팅 하단에.

 

 

입력값은 45 해상도. GT(Ground Truth)는 1440해상도

출력물과 GT의 관계를 통해 정확도를 평가한다.

 

제조 분야가 인공지능 자체를 개발하는 난이도가 그렇게 높지는 않을 거라고 말하셨고,

문제를 정의하여 어느 부분에 어떤 기술 적용시키느냐,

이를 현장 작업자에게 곧바로 연결시켜줄 수 있게, 현장 지식 갖춘 분들과 협업하는 것이 관건이라고 한다.

 

스마트팩토리?

정부에서 정의한 스마트팩토리 단계

 

스마트팩토리는 현직자 입장에서 피로감이 드는 개념이라고 한다.

나온지 제법 시간이 지난 개념이지만 

설계, 설비, 공정, 물류, 검사 전부 다른 장르이며, 이를 통합하는 것이 현실적으로 잘 이루어지지 않고 있고

기존의 공장을 스마트화, 자동화 하게 바꾸는 것이 현실적으로 어렵다고.

스마트팩토리는 처음부터 염두해두고 짓는 게 현실적이라고 한다.

 

SegFormer는 비전 트랜스포머(Vision Transformer) 기반의 이미지 세분화(Semantic Segmentation) 모델로, 효율성과 성능을 동시에 추구하는 것이 주요 목표이다. SegFormer의 주요 컨셉과 아키텍처를 다음과 같이 정리할 수 있다:

주요 컨셉

1. 비전 트랜스포머(Vision Transformer, ViT): SegFormer는 Vision Transformer 구조를 채택하여, 이미지 내의 장기적인 종속성을 효과적으로 캡처할 수 있다. ViT는 이미지를 패치 단위로 분할한 후, 각각의 패치를 입력으로 받아들여 처리한다.
2. 효율적인 인코더-디코더 구조: SegFormer는 효율적인 인코더-디코더 아키텍처를 사용합니다. 인코더는 멀티-스케일 기능을 추출하고, 디코더는 이를 이용해 고해상도의 세그멘테이션 맵을 생성한다.
3. 무동기 네트워크(Asynchronous Network): SegFormer는 다단계의 피쳐를 동시에 학습하고 병합하는 무동기 네트워크 구조를 사용하여, 정확성을 높이면서도 계산 비용을 줄인다.

아키텍처

SegFormer의 아키텍처는 크게 인코더와 디코더로 나눌 수 있다.

1. 인코더:
   • 패치 분할과 임베딩: 입력 이미지를 고정 크기의 패치로 분할하고, 각 패치를 저차원 공간으로 임베딩한다.
   • 멀티-스케일 피쳐 추출: 트랜스포머 블록을 통해 다양한 크기의 피쳐 맵을 추출한다. 이는 다양한 스케일에서의 정보를 포착하여 더욱 정교한 세그멘테이션을 가능하게 한다.
   • 계층적 피쳐 융합: 추출된 피쳐 맵들을 결합하여, 더 풍부한 표현력을 갖도록 한다.
2. 디코더:
   • 피쳐 맵 업샘플링: 인코더에서 추출된 멀티-스케일 피쳐 맵을 고해상도로 복원하기 위해 업샘플링을 수행한다.
   • 피쳐 융합과 예측: 업샘플링된 피쳐 맵들을 결합하여 최종 세그멘테이션 맵을 생성한다. 이를 통해 정확하고 세밀한 이미지 세분화가 가능하다.

장점

• 효율성: SegFormer는 트랜스포머의 장점을 살리면서도, 계산 비용을 줄이는 구조를 사용하여 높은 효율성을 자랑한다.
• 높은 성능: 다양한 스케일에서의 피쳐 추출과 결합을 통해, 정교하고 정확한 세그멘테이션 결과를 도출할 수 있다.
• 유연성: 다양한 크기의 이미지와 복잡한 배경에서도 안정적인 성능을 보인다.

SegFormer는 이러한 특성과 구조 덕분에 이미지 세분화 작업에서 높은 성능을 발휘하며, 특히 실시간 처리나 자원 제약이 있는 환경에서도 유용하게 사용할 수 있다.