AI thật đơn giản - Image Transformations

0 Shares

Post Views: 833

Chào mọi người mình là Dũng đến từ team AI VTI-VN!
Theo series AI thật đơn giản - landmark face detection đây là bài đầu tiên giúp mn có kiến thức cơ bản để hiểu các module sắp tới của blog sau.

1. Giới thiệu về Image Transformations

Image Transformations là tâp hợp cách phép biến đổi hình ảnh cơ bản và nâng cao. Ứng dụng của biến đổi hình ảnh như:

Photoshop.
Nén ảnh.
Các nền tảng mạng xã hội.
vvv

Vậy câu hỏi ở đây là có bao nhiêu cách để biến đổi hình ảnh. Làm sao xây dựng hàm để sử dụng biến đổi hình ảnh cơ bản?

Blog này sẽ trả lời câu hỏi đó. Cụ thể chúng ta sẽ tìm hiểu về các phép biến đổi ảnh, nội suy song tuyến.

Các định nghĩa trong bài blog:

input: các hình ảnh đầu vào
output: kêt quả sau khi áp dụng biến đổi hỉnh ảnh đầu vào.
index: vị trí của pixel trên ảnh.

2. Phép biến đổi hình ảnh

Trong biến đổi hình ảnh có rất nhiều phép khác nhau tuy nhiên mình chỉ giới thiệu 4 phép biến đổi chính: rotate, scale, shear,translation(nonlinear).

Trước tiên chúng ta cùng thống nhất:

Một điểm điểm là một vector cột (2,1). trong đó các phần tử là index trong ảnh.

$K= \begin{bmatrix}x\\y\end{bmatrix}$
một ma trận biến đổi M có hình dạng : (2,2)

$M= \begin{bmatrix}a&b\\d&e\end{bmatrix}$

Vậy với ma trận M:

$M= \begin{bmatrix}1&0&1\end{bmatrix}$

làm sao biến đổi điểm K với ma trận M?

Hãy nhớ về phép toán nhân 2 ma trận như sau:

$K'= \begin{bmatrix}1&0&1\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix} =\begin{bmatrix}x\\y\end{bmatrix}=K$

Tức là với ma trận M như trên thì điểm K không thay đổi trong không gian.

Hãy làm tương tự với các phép biến đổi khác nhé!!!

Scaling

Giả sử ta có ma trận M như sau, hãy xem với ma trâin M này thì điểm K sẽ biến đổi như thế nào nhé:

$M= \begin{bmatrix}p&0&q\end{bmatrix}$

$K'= \begin{bmatrix}p&0&q\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix} =\begin{bmatrix}p.x\\q.y\end{bmatrix}$

Giả sử 0<p,q<=1 vậy điểm K sẽ gần gốc tọa hơn điểm K không? Tương tự với K lớn hơn 1 nhé !!!

Rotation

Vậy nếu chúng ta cần quay quanh tâm 1 góc θ thì phải làm sao. Mình không thể nhớ được đã học nó ở lớp mấy nhưng nó sẽ đơn giản như sau:

$M= \begin{bmatrix}cos\theta&-sin\theta\\sin\theta&cos\theta\end{bmatrix}$

$K'= \begin{bmatrix}cos\theta&-sin\theta\\sin\theta&cos\theta\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix} =\begin{bmatrix}x.cos\theta-y.sin\theta\\x.sin\theta + y.cos\theta\end{bmatrix}$

Giả sử 0<p,q<=1 vậy điểm K sẽ gần gốc tọa hơn điểm K không? Tương tự với K lớn hơn 1 nhé !!!

Shear

Có bao giờ bạn thắc mắc văn bản bình thường làm sao biến đổi thành chữ nghiêng được hay không?

Để làm được điều đó chúng ta cần dịch x đi 1 đoạn tỉ lệ với y hoặc y dịch 1 đoạn tỉ lệ với x. Đương nhiên với ví dụ trên chỉ cần biến đổi x thôi nhé 😀

$M= \begin{bmatrix}1&m\\n&1\end{bmatrix}$

$K'= \begin{bmatrix}1&m\\n&1\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix} =\begin{bmatrix}x+m.y\\n.x +y\end{bmatrix}$

Vậy là chúng ta đã xong các phép biến đổi cơ bản. v với phép dịch thì sao? rõ ràng là không thể vì nó là không phải là phép biến đổi tuyến tính. tuy nhiên nó lại là phép biến đổi cực kỳ quan trọng trong xử lý ảnh. Hãy theo dõi tiếp nhé !!!

Chúng ta sẽ cần biến đổi điểm K và M như sau:

$M= \begin{bmatrix}a&b&c\\d&e&f\end{bmatrix}$

$K= \begin{bmatrix}x\\y\\1\end{bmatrix}$

Translation

Hãy ví dụ với phép ma trận M và K mới nhé 😀

$M= \begin{bmatrix}1&0&delta&1&delta\end{bmatrix}$

$K'= \begin{bmatrix}1&0&delta&1&delta\end{bmatrix}\begin{bmatrix}x\\y\\1\end{bmatrix}=\begin{bmatrix}x+delta&y+delta\end{bmatrix}$

3. Nội suy song tuyến (Bilinear Interpolation)

Khi một hình ảnh (tập hợp các điểm) được biến đổi thì đầu ra của nó sẽ là số thực, thế nhưng làm sao lấy được giá trị pixel khi nó là số thực (các index của ảnh bắt buộc phải là số nguyên).

Để giải quyết vấn đề này chúng ta cần nội suy song tuyến. Nội suy song tuyến sử dụng 4 điểm pixel lân cận để tìm cường độ màu phù hợp cho pixel đó. kết quả sẽ tạo màu phù hợp, chân thực hơn cho bức ảnh.

Ưu điểm: kết quả đầu ra trơn tru.
Nhược điểm: hình ảnh có thể bị mờ.

thuật toán:

Mục tiêu là tìm giá trị pixel ở điểm P vậy chỉ cần nội suy theo trục X sau đó là nội suy theo trục Y để tìm giá trị pixel phù hợp cho P:

$R_1=\frac{x_2-x}{x_2-x_1}*Q_{11}+\frac{x-x_1}{x_2-x_1}*Q_{21}$

$R_2=\frac{x_2-x}{x_2-x_1}*Q_{12}+\frac{x-x_1}{x_2-x_1}*Q_{22}$

$P=\frac{y_2-y}{y_2-y_1}*R_1+\frac{y-y_1}{y_2-y_1}*R_2$

$P=(x_2-x)*(y_2-y)*Q_{11}+(x-x_1)*(y_2-y)*Q_{21}+(x_2-x)*(y-y_1)*Q_{12}+(x-x_1)*(y-y_1)*Q_{22}$

4. Python Code

Các bước triển khai:

Tạo tập hợp các điểm (x,y) có trong ảnh. Ví dụ ảnh 800x800 px. Sẽ có 640000 điểm x,y trong ảnh (Grid generater)
Sau đó áp dụng ma trận biến đổi với tập hợp các điểm đã tạo.
Dùng nội suy tuyến tính lấy giá trị pixel từ hình ảnh ban đầu.

đầu tiên cần phải đọc ảnh input

import numpy as np
import cv2
img = cv2.imread("/home/vti/Desktop/Blank diagram.png")
height = img.shape[0]
width = img.shape[1]

Sau đó tạo ma trận lưới các điểm trong ảnh giá trụ từ (-1:1) gốc tọa độ là tâm của ảnh.

x = np.linspace(-1, 1, width)
y = np.linspace(-1, 1, height)
xx, yy = np.meshgrid(x, y)

Tiếp theo chúng ta cần thêm điểm 1 vào tất cả các điểm - tương tự như điểm K ở ví dụ trên

homogeneous_co_ordinates = np.vstack([xx.flatten(), yy.flatten(), np.ones_like(xx.flatten())])

Rồi tạo ma trận biến đổi ở đây là ma trận xoay 1 góc 45 độ:

transformation_matrix = np.asarray([[np.cos(np.pi/4), -np.sin(np.pi/4), 0], [np.sin(np.pi/4), np.cos(np.pi/4),0]])

Bây giờ chúng ta thực hiện phép nhân ma trận M và K. Sau đó resize về cùng với kích thước ảnh ban đầu (width, height, 2)

transformed_co_ordinates = transformation_matrix @ homogeneous_co_ordinates
transformed_co_ordinates = transformed_co_ordinates.reshape(2, height, width)
transformed_co_ordinates = np.moveaxis(transformed_co_ordinates, 0, -1)

Chuyển về gốc tọa độ về góc trên bên trá của ảnh.

x_transformed = transformed_co_ordinates[:,:,0:1].squeeze()
y_transformed = transformed_co_ordinates[:,:,1:2].squeeze()

x = ((x_transformed + 1.) * width) * 0.5
y = ((y_transformed + 1.) * height) * 0.5

Tìm kiếm 4 điểm xung quanh để chuẩn bị thực hiện nội suy song tuyến tham chiếu công thức tính P nội suy song tuyến.


x1 = np.floor(x).astype(np.int64)
x2 = x1 + 1
y1 = np.floor(y).astype(np.int64)
y2 = y1 + 1

x1 = np.clip(x1, 0, width-1)
x2 = np.clip(x2, 0, width-1)
y1 = np.clip(y1, 0, height-1)
y2 = np.clip(y2, 0, height-1)
x = np.clip(x, 0, width-1)
y = np.clip(y, 0, height-1)

# lấy giá trị pixel của 4 điểm
Ia = img[y0, x0]
Ib = img[y1, x0]
Ic = img[y0, x1]
Id = img[y1, x1]

# lấy index theo công thức(1)
wa = (x1-x) * (y1-y)
wb = (x1-x) * (y-y0)
wc = (x-x0) * (y1-y)
wd = (x-x0) * (y-y0)

wa = np.expand_dims(wa, axis=2)
wb = np.expand_dims(wb, axis=2)
wc = np.expand_dims(wc, axis=2)
wd = np.expand_dims(wd, axis=2)

# thực hiện biến đổi song tuyến
out = np.asarray(wa*Ia + wb*Ib + wc*Ic + wd*Id, dtype=np.uint8)

Tính hiển thị output sau biến đổi:

cv2.imshow("img",img)
cv2.imshow("out",out)
cv2.waitKey()

Thành quả:

Kết quả sau khi thực hiện phép quay 45 độ và dùng nội suy tuyến tính.

Tiếp theo là đoạn code nâng cao hơn một chút, thêm chút hiệu ứng cho tấm ảnh tuy nhiên ví dụ này mình không cần dùng ma trận biến đổi mà mình sẽ biến đổi trực tiếp grid.
Trong đó:

K′ = [x]
     [y+0.1 * sin(10 * x)]

Code python:

import numpy as np
import cv2
img = cv2.imread("/home/vti/input.jpg")
height = img.shape[0]
width = img.shape[1]

x = np.linspace(-1, 1, width)
y = np.linspace(-1, 1, height)

xx, yy = np.meshgrid(x, y)
homogeneous_co_ordinates = np.vstack([xx.flatten(), yy.flatten()])

dy = 0.1 * np.sin(10 * homogeneous_co_ordinates[0,:]) 
homogeneous_co_ordinates[1,:] += dy

transformed_co_ordinates = homogeneous_co_ordinates.reshape(2, height, width)

transformed_co_ordinates = np.moveaxis(transformed_co_ordinates, 0, -1)

x_transformed = transformed_co_ordinates[:,:,0:1].squeeze()
y_transformed = transformed_co_ordinates[:,:,1:2].squeeze()

x = ((x_transformed + 1.) * width) * 0.5 
y = ((y_transformed + 1.) * height) * 0.5

x0 = np.floor(x).astype(np.int64)
x1 = x0 + 1
y0 = np.floor(y).astype(np.int64)
y1 = y0 + 1

x0 = np.clip(x0, 0, width-1)
x1 = np.clip(x1, 0, width-1)
y0 = np.clip(y0, 0, height-1)
y1 = np.clip(y1, 0, height-1)
x = np.clip(x, 0, width-1)
y = np.clip(y, 0, height-1)

Ia = img[y0, x0]
Ib = img[y1, x0]
Ic = img[y0, x1]
Id = img[y1, x1]

wa = (x1-x) * (y1-y)
wb = (x1-x) * (y-y0)
wc = (x-x0) * (y1-y)
wd = (x-x0) * (y-y0)

wa = np.expand_dims(wa, axis=2)
wb = np.expand_dims(wb, axis=2)
wc = np.expand_dims(wc, axis=2)
wd = np.expand_dims(wd, axis=2)

out = np.asarray(wa*Ia + wb*Ib + wc*Ic + wd*Id, dtype=np.uint8)
cv2.imshow("img",img)
cv2.imshow("out",out)
cv2.waitKey()

5. Kết luận

Mình đã xây dựng module biến đổi ảnh. Mặc dù bài này còn đơn giản nhưng sẽ là nền tảng cho những blog chất lượng tiếp theo.

Tiếp theo mình sẽ áp dụng biến đổi không gian vào phân loại hình ảnh, landmark face detection trong tương lai.

Cám ơn mọi người đã đọc bài

6. tham khảo

0 Shares

AI thật đơn giản – Image Transformations

1. Giới thiệu về Image Transformations

2. Phép biến đổi hình ảnh

Scaling

Rotation

Shear

Translation

3. Nội suy song tuyến (Bilinear Interpolation)

4. Python Code

5. Kết luận

6. tham khảo

Leave a Reply Cancel reply

1. Giới thiệu về Image Transformations

2. Phép biến đổi hình ảnh

Scaling

Rotation

Shear

Translation

3. Nội suy song tuyến (Bilinear Interpolation)

4. Python Code

5. Kết luận

6. tham khảo

Leave a Reply Cancel reply

RECOMMENDこちらの記事も人気です。

Amazon ECS Service Discovery - Một g…

XGBoost - Bài 7: Lưu và sử dụng XGBo…

Git Branch Model

Năm phút nghịch AWS CloudShell Baby

Fix lỗi gatsby command not found

Amazon Elasticsearch Service Best Pr…

Authorization sử dụng Amazon Cognito…

Sử dụng Index trong MySQL: Phần 1- C…