Have you ever heard someone talk about First Principles Thinking? What is it and how can we – engineers use it for our work?
First Principles in Programming
First Principles Thinking is one of the methods that we can use to break down complex problems into smaller, more fundamental problems that can be solved, and finally aggregated into a workable solution. solve the original complex problem.
Following the series of Gamba Technical Events, this time, Gambaru and Grokking Vietnam will bring you a new perspective on problem-solving thinking.
We will meet with Hung Doan – exFacebook and currently a Software Engineer at Coda.io and discuss more deeply this First Principles Thinking topic.
Bài viết này sẽ tổng hợp tất các các job Unity Developer (mọi trình độ) có mức lương tối đa được nhà tuyển dụng đưa ra từ $,2000 (46 triệu đồng) đến $4,000 (96 triệu đồng).
Hôm nay, Gambaru chính thức cho chạy một tool mới, miễn phí và hỗ trợ rất nhiều cho Nhà tuyển dụng / HR / Headhunt: Tool kiểm tra độ khớp (matching) giữa hồ sơ của ứng viên so với yêu cầu từ NTD.
Thông thường việc đánh giá độ Matching của một hồ sơ ứng viên sẽ bao gồm:
HR nắm rõ yêu cầu của công việc cần tuyển
HR tìm và sàng lọc từng hồ sơ, đánh giá tiềm năng của hồ sơ trước khi quyết định liên hệ
Tuy nhiên cách làm này sẽ tương đối cảm tính và việc sàng lọc hàng trăm hồ sơ khác nhau cũng không phải dễ dàng gì, hay dẫn tới bỏ sót hồ sơ, mệt mỏi ảnh hưởng tới sức khỏe.
Tool này sẽ tiết kiệm công sức cho bạn!
Tool này sẽ cho biết % độ khớp giữa yêu cầu công việc và các kỹ năng trong hồ sơ ứng viên (% càng CAO thì ứng viên càng HỢP với công việc bạn tuyển), đồng thời đưa ra gợi ý giúp bạn quyết định nhanh chóng.
Thử Matching tool của Gambaru nào!
Có 2 lưu ý trước khi bắt đầu:
Hiện Gambaru chỉ công khai 3 hồ sơ ứng viên. Đây là các hồ sơ thực (real), từ Talent Pool của Gambaru. Nếu bạn đang có nhu cầu tìm AI Engineer, Backend Java Developer và Frontend Developer thì vào thử ngay nhé. Còn mà muốn thử với một vị trí khác không phải 3 vị trí trên hãy yêu cầu qua mẫu này, ghi rõ thông tin theo mẫu là được. Gambaru sẽ liên hệ hỗ trợ.
Đặc biệt, nếu kết quả Matching với ứng viên từ 85% trở lên, Gambaru sẽ gửi hồ sơ của ứng viên để bạn liên hệ (sau khi có kết quả Matching, nhớ bấm vào nút Contact Us và điền thông tin nhé).
Bạn có thể xem video hướng dẫn dưới đây để tiết kiệm thời gian đọc:
Đây là màn hình cho biết thông tin sơ bộ về ứng viên, các thông tin hiển thị trong màn hình này được hiển thị bằng A.I trên nhiều hồ sơ ứng viên thuộc Talent Pool của Gambaru,
Màn hình này có 2 khu vực cần chú ý:
Trình độ, lĩnh vực và
Skill graph (đồ thị kỹ năng của ứng viên bạn đang xem)
Bấm Check Matching để bắt đầu
Bước 3: Nhập thông tin từ phía NTD
Thông tin yêu cầu công việc
Các vị trí cần chọn / nhập liệu gồm:
Vị trí, trình độ
Kỹ năng
Chọn Add Skill để đưa kỹ năng vào danh sách bên dưới. Sau đó tiếp tục chọn skill khác.
Nhập (hoặc Copy / paste) yêu cầu công việc vào khung Job Requirements
Nhấn Submit, chờ vài giây là thấy kết quả khớp ngay bên dưới.
Kết quả matching với ứng viên
Chú thích về kết quả Matching:
Technical skill: độ phù hợp kỹ năng chuyên môn
Soft skill: độ phù hợp kỹ năng mềm
Exact matching: các kỹ năng và số năm kinh nghiệm bạn đưa ra khớp hoàn toàn với hồ sơ ứng viên
Potential substitute: các kỹ năng bạn không đưa ra, nhưng ứng viên có và có thể thay thế kỹ năng bạn đưa ra.
Lacking skills: các kỹ năng bạn đưa ra mà hồ sơ ứng viên không có.
Nếu có bất kỳ thắc mắc, góp ý nào trong quá trình sử dụng công cụ này, vui lòng liên hệ với Gambaru qua mẫu thông tin. Chúc bạn thành công!
Trong khi lập trình truyền thống phục vụ nhiều mục đích khác nhau, thì khi nói tới làm game, có nhiều lựa chọn thiết thực hơn.
Game engine (phần mềm game) là môi trường phát triển được thiết kế để đơn giản hóa quá trình làm game. Đây cũng là cách thiết thực nhất để làm game.
Sử dụng Unity, một game engine phổ biến nhất thế giới sẽ là một quyết định thiết thực khác cho doanh nghiệp của bạn.
Unity là gì?
Unity là một phần mềm game đa nền tảng, nơi các nhà phát triển (developer) có thể thực hiện các dự án 3D thời gian thực thuộc hầu hết mọi loại. Một số trường hợp sử dụng phổ biến cho các dự án Unity bao gồm:
Trò chơi
Phim ảnh
Hoạt hình
Ô tô
Vận chuyển
Kiến trúc
Sản xuất & Xây dựng
Unity là một game engine. Ảnh: Medium
Bạn có thể so sánh các phần mềm game như Unity với các IDE (môi trường phát triển tích hợp) cho các ngôn ngữ lập trình. Trên thực tế, chúng đồng dạng với nhau.
Khác biệt ở đây là game engine không dựa trên coding theo cách mà bạn nghĩ từ bất kỳ nhà phát triển phần mềm nào. Unity tự xử lý phần đó, còn Unity Developer tập trung vào chính trò chơi.
Mặc dù không cần phải code toàn bộ chương trình, nhưng bạn có thể sửa đổi code của Unity thông qua MonoCode, trình soạn thảo văn bản Unity hoặc Visual Studio. Để làm được điều này, bạn cần có hiểu biết cơ bản về C #.
Unity sử dụng C#, một ngôn ngữ do Microsoft phát triển. C# là ngôn ngữ hướng đối tượng, có mục đích chung và được trang bị nhiều tính năng khác nhau từ strong typing cho tới lexical scoping.
Nó cũng là đa mô hình, nghĩa là các nhà phát triển có thể sử dụng nhiều mô hình lập trình trong ngôn ngữ. Phạm vi và tính linh hoạt của ngôn ngữ C # khiến nó trở thành lựa chọn phổ biến cho các nhà phát triển trò chơi.
Unity Developer là gì?
Dừng lại chút nào, nếu bạn đang #open_to_work, thử nghía qua các công việc đang tuyển trên Gamba nhé. Vào LINK NÀY để xem các job dành cho Unity hoặc scan QR Code ở bên dưới nhé.
Scan QR code để Ứng tuyển ngay các job Unity hiện có trên Gamba
Unity Developer là nhà phát triển phần mềm đã quen thuộc với Unity. Thông thường, các Unity Developer sẽ là nhà phát triển trò chơi (game developer) vì phát triển game là mục đích sử dụng chính của nền tảng.
Unity Developer không nhất thiết phải là nhà phát triển C# nhưng kinh nghiệm lập trình trước đó bằng ngôn ngữ này chắc chắn sẽ hữu ích.
Các nhà phát triển sử dụng Unity có thể có một vai trò không thể thiếu trong phần còn lại của quá trình phát triển game. Một vai trò như vậy có thể không chỉ bao gồm thiết kế trò chơi mà còn tạo ra cốt truyện và phát triển nhân vật.
Tại sao sử dụng Unity?
Có một số lý do tại sao việc sử dụng Unity sẽ là một lựa chọn mang tính xây dựng cho việc phát triển game của doanh nghiệp. Dưới đây, bạn sẽ thấy một số lý do thuyết phục nhất.
Tự do
Lý do đầu tiên là nó miễn phí. Đối với các doanh nghiệp chỉ mới bắt đầu tham gia vào thế giới phát triển game, Unity là lựa chọn hoàn hảo cho người mới bắt đầu vì bạn sẽ không tốn một xu nào – ít nhất là lúc đầu.
Nếu bạn tạo một trò chơi trong Unity và cuối cùng kiếm được hơn $100K, thì khi Unity phát triển cùng bạn và nó bắt đầu yêu cầu một thứ gì đó để đổi lại cũng là điều hợp lý. Cụ thể, Unity yêu cầu trả 150 đô la một tháng cho Unity Pro.
Xuyên nền tảng
Bạn sẽ trải nghiệm từ ít cho tới không giới hạn khi muốn phát hành game của mình từ nền tảng này sang nền tảng khác. Android, iOS, Mac, PC, Steam, Playstation, Xbox và bất kỳ nền tảng nào khác mà bạn có thể nghĩ đến đều được Unity hỗ trợ một cách vui vẻ.
So với toàn bộ cuộc tranh luận về ứng dụng gốc so với đa nền tảng đang diễn ra trong lĩnh vực phát triển ứng dụng dành cho thiết bị di động, tính linh hoạt này chắc chắn là một lợi ích.
Đương nhiên, bạn sẽ phải tính đến các tính năng độc đáo của từng nền tảng nhưng tính di động nói chung thì trơn tru hơn so với các nền tảng khác.
Cộng đồng
Unity có hàng triệu nhà phát triển chuyên tâm cho phần mềm của mình. Do đó, nếu bạn quyết định tự mình sử dụng Unity, bạn sẽ truy cập được vào một cộng đồng hỗ trợ cực kỳ lớn.
Có rất nhiều diễn đàn Unity để bạn tìm được những con người cùng chí hướng và thậm chí cộng tác với các chuyên gia. Unity cũng tổ chức một hội nghị hàng năm được gọi là Unite.
Ưu điểm khi sử dụng Unity
Cho dù bạn không hoàn toàn bị thuyết phục rằng việc sử dụng Unity phù hợp với bạn ngay từ đầu, thì sẽ không có hại gì khi nghe về một số lợi thế nội của việc sử dụng nền tảng này.
Tài sản
Một trong những lợi thế chính của việc sử dụng Unity là bạn không phải tạo bất cứ thứ gì con số 0. Bạn có thể duy trì một số tính nguyên bản trong khi vẫn sử dụng Unity Asset Store để thu thập một số vật phẩm lựa chọn, một nhân vật hoặc một tòa nhà chẳng hạn.
Ngoài ra, bạn có thể kiếm tiền bằng cách xây dựng tài sản của riêng mình và bán chúng trên cửa hàng. Bạn sẽ nhận được tới 70% tiền bán sản phẩm.
Ngôn ngữ kịch bản
Bạn đã nghe những chia sẻ công bằng về C # thực sự là gì. Nhưng hãy tưởng tượng một ngôn ngữ có khả năng thích ứng đó có thể cải thiện tốt hơn việc lập trình của các nhà phát triển tốt hơn đến mức nào. Dù mô hình lập trình ưa thích của bạn là gì, C# là một lựa chọn vững chắc.
Nhiều người chơi
Xây dựng video game nhiều người chơi không phải là nhiệm vụ dễ dàng. Mọi người đều muốn chơi với bạn bè của họ và chia sẻ niềm vui cùng nhau, nhưng về mặt lập trình, điều đó là vô cùng khó khăn.
Unity cung cấp một bộ công cụ để giúp bạn vượt qua nó. Nếu không có Unity, sẽ có rất ít game nhiều người chơi để mà thưởng thức ngày nay.
Học tập
Bắt đầu với Unity khá dễ dàng. Bạn có thể thấy kết quả những gì bạn làm gần như ngay lập tức và không giống như lập trình truyền thống, bạn không cần trình biên dịch bất để xem được nó.
Ngoài ra, có rất nhiều lớp học và hướng dẫn miễn phí trực tuyến với các hướng dẫn siêu cụ thể về cách hoàn thành công việc. Youtube là bạn của bạn. Ít nhất, nó có thể là một người bạn tốt đối với mỗi developer..
Các games được làm bằng Unity
Cuphead
Ori and the Blind Forest
Hearthstone
Temple Run
Tàu điện ngầm Surfers
Slender: Tám trang
Angry Birds 2
Lý do cần thuê một nhà phát triển Unity
Dễ sử dụng chắc chắn là một lợi thế để xây dựng trong Unity nhưng không có nghĩa là bạn nên tự mình xây dựng toàn bộ trò chơi.
Quá trình phát triển trò chơi thường mất nhiều thời gian hơn so với phát triển web hoặc di động. Các trò chơi phong phú nhất cần ít nhất ba năm để phát triển.
Bạn có thể chọn làm game 2D đơn giản để tiết kiệm thời gian. Unity thậm chí có khả năng đáp ứng một dự án như vậy. Nhưng thời gian của bạn sẽ không được sử dụng một cách khôn ngoan. Các nhà phát triển chuyên nghiệp theo định nghĩa là đủ tiêu chuẩn và hiệu quả.
Hãy nhớ rằng, Unity cũng có nhiều cách sử dụng khác. Và việc thuê các nhà phát triển cho những mục đích sử dụng đó cũng quan trọng không kém.
Nên tìm kiếm điều gì ở một Unity Developer?
Các Unity Developer ở trình độ cao phải có các kỹ năng và khả năng sau:
Lên ý tưởng và triển khai gameplay trong môi trường phát triển
Sử dụng thành thạo Unity Asset Store và thực hiện các sửa đổi để có sự độc đáo
Thể hiện hiểu biết cơ bản về C# và các kỹ năng sử dụng nó
Có thể cung cấp portfolio trong Unity thể hiện kiến thức chuyên môn và kinh nghiệm trước đây của họ khi sử dụng phần mềm game.
Mức lương của Unity Developer
Mức lương trung bình hàng năm cho một Unity Developer ở Mỹ là 98.214 đô, theo dữ liệu của ZipRecruiter. Nhìn chung, mức lương năm cho các Unity Developer sẽ nằm trong khoảng $11,000 đến $132,000.
Huuk - startup vừa thành công gọi được 2,5 triệu đô vòng pre-seed
Môi trường startup trong 2-3 năm vừa qua trở nên sôi động với nhiều startup thuộc nhiều lĩnh vực, mô hình khác nhau được thành lập.
Từ play-to- earn cho đến run-to-earn, từ web2 cho đến web3,… ai cũng cạnh tranh và cố gắng giải bài toán tăng trưởng và phát triển thị phần nhằm đi tới những cuộc chơi cao hơn.
Huuk – startup vừa thành công gọi được 2,5 triệu đô vòng pre-seed
Huuk là startup được thành lập vào những tháng cuối năm 2021. Huuk sở hữu một nền tảng ứng dụng được coi là mô hình lai giữa Social network thuần tính giải trí, chia sẻ và Social commerce tập trung vào mua bán.
Huuk là cái bắt tay giữa 2 thế hệ doanh nhân khởi nghiệp, anh Lâm Hồ – nhà sáng lập Alpha Group Inc., người Việt đầu tiên có doanh nghiệp được niêm yết trên sàn chứng khoán Nhật vào năm 1995, và anh Mic Nguyễn – một doanh nhân trẻ với hoài bão cống hiến cho đất mẹ, anh đã khởi nghiệp thành công với 2 startup trị giá chục triệu đô trên đất Mỹ.
Hai đồng sáng lập của Huuk
Giờ đây với Huuk, hai anh mang tham vọng giúp cho hàng triệu người Việt vừa trải nghiệm, giải trí, vừa kiếm được thu nhập thông qua nền tảng của mình.
Dựa trên việc nghiên cứu tỉ mỉ của mình về hành vi của thế hệ GenZ hiện nay và tham khảo ý kiến chuyên gia, anh Mic đã tìm được cảm hứng từ XiaoHongShu (Tiểu Hồng Thư), một ứng dụng social commerce cực kỳ nổi tiếng tại Trung Quốc.
Đây là ứng dụng thu hút rất nhiều người dùng, không chỉ tham gia để mua sản phẩm / dịch vụ, bản thân người dùng cũng có thể tạo các nội dung đánh giá và bán hàng trên nền tảng.
Theo thống kê riêng về đối tượng GenZ:
Có đến 97% sử dụng social network để mua sắm, kiểm tra và đánh giá về sản phẩm và
65% bảo rằng video là định dạng xem và chia sẻ ưa thích của họ.
Huuk – A new way of social commerce
Anh Mic cho biết, về cơ bản, Huuk giống XiaoHongShu đến 90%, tuy nhiên điểm khác biệt ở đây là XiaoHongShu chỉ sử dụng hạn chế ở TQ và không sử dụng tiếng Anh.
Đây cùng là lý do Huuk sẽ có lợi thế cực lớn để phát triển ở thị trường toàn cầu, gồm Mỹ, các quốc gia sử dụng tiếng Anh và Việt Nam.
Với phương châm “Make money easily with fun” (Kiếm tiền không chỉ dễ, mà còn vui), 2 nhà sáng lập tin rằng Huuk sẽ tạo nên sự khác biệt với đối thủ của mình.
Tuy mới chỉ ra mắt vào cuối năm ngoái tại Mỹ, nhưng Huuk đã sớm huy động được 2,5 triệu đô ở vòng pre-seed (tiền hạt giống).
Bằng kết quả này, Huuk đã vạch ra lộ trình phát triển nền tảng cho những năm tiếp theo, với sự tích hợp không thể tránh khỏi các công nghệ xu hướng hiện nay như blockchain, NFT, cryptocurrency.
Ngoài ra, Huuk còn định hướng trở thành một siêu ứng dụng, ngoài các tính năng của một social commerce, Huuk sẽ hỗ trợ thêm việc thanh toán bằng token, tích hợp thêm tính năng mua chung, tìm kiếm và tích hợp thêm dịch vụ vào nền tảng hiện có.
Từ tháng 03.2022, Huuk chọn Việt Nam là thị trường mục tiêu để phát triển. Anh Mic chia sẻ có 2 lý do để anh đưa ra quyết định này.
Đầu tiên, bạn có thể đoán được là tình yêu quê hương, mong muốn sớm trở lại và đóng góp cho nước nhà.
Mế đến là nền kinh tế Việt Nam vừa ổn định lại sau đợt dịch Covid-19, dấu hiệu phục hồi đã xuất hiện, và nhu cầu làm việc tại nhà, tìm kiếm thu nhập thêm cũng ngày càng rõ rệt.
Chính vì vậy, sự xuất hiện của Huuk cũng là kênh tạo thêm thu nhập cho rất nhiều người dân Việt trong bối cảnh mới.
Để sớm chinh phục thị trường Việt Nam, Huuk hiện đang tuyển dụng rất nhiều vị trí kỹ thuật nhằm hoàn thiện sản phẩm và nâng cao khả năng đáp ứng của nền tảng trước số lượng người dùng và nội dung ngày càng tăng.
Bạn có thể tham khảo và ứng tuyển một số vị trí dưới đây:
Chờ đợi quá lâu khiến rất ít người muốn quay lại sinh sống
Hôm 12/6, chính phủ Nhật Bản đã chính thức dỡ bỏ lệnh sơ tán tại làng Katsurao, tỉnh Fukushima.
Dỡ bỏ lệnh sơ tán tại Fukushima
Đây là lần đầu tiên kể từ sau hơn 1 thập kỷ, các hạn chế được gỡ bỏ để cho phép người dân quay về sinh sống trở lại tại một phần nhỏ của khu vực được xếp hạng “khó quay lại” này, đó là vùng được cho là sẽ đóng cửa dài hạn do mức độ nhiễm phóng xạ cao.
Làng Katsurao nằm ở phía đông tỉnh Fukushima, gần sát nhà máy điện hạt nhân Fukushima số 1, được cho là một trong những nơi chịu ảnh hưởng nặng nề nhất từ sự cố rò rỉ hạt nhân sau thảm hoạ động đất, sóng thần năm 2011.
Làng Katsurao
Chính quyền đã quyết định chấm dứt các biện pháp hạn chế đối với một khu vực rộng 0,95 km2, sau khi xác định việc khử nhiễm đã làm giảm mức độ bức xạ để phù hợp cho việc sinh sống.
Đồng thời, cơ sở hạ tầng cần thiết cũng được thiết lập để hỗ trợ người dân.
Mặc dù chính phủ rất cố gắng chi trả cho việc khử nhiễm và phát triển cơ sở hạ tầng cho các khu vật này để chuẩn bị mở cửa trở lại, thế nhưng 11 năm chờ đợi kéo dài đã khiến nhiều người không còn mong muốn quay về.
Chờ đợi quá lâu khiến rất ít người muốn quay lại sinh sống
Ở khu vực quận Noyuki của Katsurao, chỉ có 4 trên 30 hộ gia đình gồm 82 người có ý định quay trở lại.
Thị trưởng Hiroshi Shinoki cho biết, ông đang cân nhắc việc tái thiết ngành nông nghiệp địa phương, vốn là ngành trọng điểm trong khu vực để thu hút thêm nhiều người quay về.
“Đây là một cột mốc quan trọng. Nhiệm vụ của chúng tôi là cố gắng đưa mọi thứ có thể trở về như 11 năm về trước.”
Fujio Hanzawa – một cư dân 69 tuổi đã bày tỏ sự bất an khi quay trở về nhà:
“Mặc dù tôi rất vui vì có thể quay về làng mà không bị hạn chế, nhưng tôi vẫn lo ngại 80% về những vấn đề còn tồn tại. Chẳng hạn như việc khử nhiễm vẫn chưa hoàn thành của ngọn núi.”
Nhiều nơi ở Fukushima vẫn thuộc diện “khó quay lại”
Khoảng 337 km2 đất ở 7 thành phố tự trị của Fukushima vẫn thuộc phân loại “khó quay lại”.
Trong số đó, tổng cộng chỉ có 27 km2 ở 6 trong số các thành phố nằm trong kế hoạch tái thiết và phục hồi cụ thể.
Ngoài làng Katsurao, các thị trấn Futaba và Okuma cũng đang chuẩn bị dỡ bỏ lệnh sơ tán sớm nhất vào tháng 6. Trong khi đó 3 thành phố khác được lên kế hoạch sẽ dỡ bỏ vào mùa xuân năm sau.
Chúng ta rất dễ bỏ qua lượng dữ liệu được tạo ra hàng ngày – từ điện thoại thông minh, cuộc gọi Zoom cho đến máy rửa bát có kết nối Wi-Fi.
Người ta ước tính rằng thế giới sẽ tạo và lưu trữ 200 Zettabyte dữ liệu vào năm 2025. Mặc dù việc lưu trữ lượng dữ liệu này là một thách thức, nhưng việc rút lấy giá trị từ đó còn phức tạp hơn.
Từ năm 2020 đến năm 2022, tổng khối lượng dữ liệu doanh nghiệp sẽ tăng từ 1 lên 2,02 petabyte (PB). Tăng trung bình hàng năm 42,2% trong hai năm.
Có thể bạn đã quen với thuật ngữ “Dữ liệu lớn” (big data) – và quy mô của thị trường này đang tiếp tục tăng lên.
Thị trường phân tích big data dự kiến đạt 103 tỷ đô vào năm 2023, với chất lượng dữ liệu kém khiến nền kinh tế Mỹ thiệt hại lên tới 3,1 nghìn tỷ đô la mỗi năm.
Các công ty trong danh sách Fortune 1000 có thể kiếm thêm thu nhập ròng hơn 65 triệu đô, chỉ bằng cách tăng khả năng truy cập dữ liệu của họ lên 10%.
Điều này nghĩa là điều quan trọng trong kinh doanh là các công ty có thể thu được giá trị từ dữ liệu của họ nhằm cung cấp thông tin tốt hơn cho các quyết định kinh doanh, bảo vệ doanh nghiệp và khách hàng cũng như phát triển doanh nghiệp.
Để làm được điều này, doanh nghiệp phải tuyển những người có bộ kỹ năng cụ thể phù hợp với chiến lược và quản trị dữ liệu, chẳng hạn như data engineer, data scientist và ML engineer.
Bài viết này sẽ trình bày tất cả những điều cơ bản về data engineer bao gồm các vai trò, chức năng và trách nhiệm chung.
Bạn cũng sẽ hiểu rõ hơn về tầm quan trọng của data engineer và tìm hiểu cách bắt đầu thu được nhiều giá trị hơn từ dữ liệu của mình.
Dừng lại chút nào, nếu bạn đang #open_to_work, thử nghía qua các công việc đang tuyển trên Gamba nhé. Vào LINK NÀY để xem các job Data hoặc scan QR Code ở bên dưới nhé.
Xem và ứng tuyển các ‘data’ job
Data Engineering là gì?
Khi nói đến việc tăng thêm giá trị cho dữ liệu, có nhiều điều bạn phải tính đến – cả bên trong và bên ngoài công ty.
Công ty của bạn có thể tạo dữ liệu từ các hệ thống hoặc sản phẩm nội bộ, tích hợp với các ứng dụng và nhà cung cấp bên thứ ba, đồng thời phải cung cấp dữ liệu ở định dạng cụ thể cho những người dùng (nội bộ và bên ngoài) và các trường hợp sử dụng khác nhau.
Dữ liệu được tạo và thu thập từ doanh nghiệp của bạn có thể có các yêu cầu tuân thủ như SOC2 hoặc Thông tin nhận dạng cá nhân (PII) mà bạn bắt buộc phải bảo vệ về mặt pháp lý.
Trong trường hợp này, bảo mật trở thành ưu tiên hàng đầu đối với dữ liệu, điều này dẫn đến những thách thức kỹ thuật đối với dữ liệu đang chuyển và ở trạng thái nghỉ.
Dữ liệu của bạn không chỉ phải an toàn mà còn phải có sẵn cho người dùng cuối, tuân thủ các yêu cầu kinh doanh và có tính toàn vẹn (tính chính xác và nhất quán).
Nếu dữ liệu được bảo mật nhưng không sử dụng được, nó không thể tăng thêm giá trị cho công ty. Có nhiều khía cạnh đối với một chiến lược quản trị dữ liệu đòi hỏi các kỹ năng chuyên biệt.
Đây là lúc data engineer (kỹ sư dữ liệu) phát huy tác dụng.
Vai trò của Data Engineer
Một kỹ sư dữ liệu giống như một con dao đa năng Thụy Sĩ trong không gian dữ liệu. Data Engineer có nhiều vai trò và trách nhiệm, thường phản ánh một hoặc nhiều phần quan trọng của data engineering, đã đề cập bên trên.
Vai trò của một kỹ sư dữ liệu sẽ thay đổi tùy thuộc vào nhu cầu cụ thể của tổ chức của bạn.
Vai trò của một kỹ sư dữ liệu là lưu trữ, trích xuất, chuyển đổi, tải, tổng hợp và xác thực dữ liệu. Điều này bao gồm:
Xây dựng quy trình dữ liệu (data pipeline và lưu trữ dữ liệu hiệu quả cho các công cụ cần truy vấn dữ liệu.
Phân tích dữ liệu, đảm bảo dữ liệu tuân thủ các quy tắc và quy định quản trị dữ liệu.
Hiểu ưu và nhược điểm của các phương án lưu trữ và truy vấn dữ liệu.
Ví dụ: một doanh nghiệp có thể đang sử dụng Amazon Web Services (AWS) làm nhà cung cấp dịch vụ đám mây và bạn muốn lưu trữ và truy vấn dữ liệu từ các hệ thống khác nhau.
Phương án tốt nhất sẽ khác nhau tùy thuộc vào việc dữ liệu của bạn có cấu trúc hay không có cấu trúc (hoặc thậm chí bán cấu trúc), chuẩn hóa hay không chuẩn hóa và liệu bạn cần dữ liệu ở định dạng dữ liệu hàng hay cột.
Dữ liệu của bạn có quan trọng / dựa trên giá trị không? Có các mối quan hệ phức tạp giữa các dữ liệu không? Dữ liệu có cần được xử lý hoặc kết hợp với các tập dữ liệu khác không?
Tất cả những quyết định này ảnh hưởng đến cách một data engineer nhập, xử lý, quản lý và lưu trữ dữ liệu.
Data Team gồm những ai? Ảnh: phData
Cách data engineer gia tăng giá trị
Thay vì mô tả trừu tượng, đây là kịch bản: CEO muốn biết doanh nghiệp của bạn có thể tiết kiệm được bao nhiêu tiền bằng cách mua hàng loạt nguyên vật liệu và phân phối chúng đến các địa điểm khác nhau.
Bạn cần có khả năng xác định cách tính phí lại bất kỳ vật liệu không sử dụng nào cho các đơn vị kinh doanh khác nhau.
Điều này có thể cần bạn tổng hợp dữ liệu từ hệ thống ERP, hệ thống chuỗi cung ứng, các nhà cung cấp bên thứ ba và dữ liệu xung quanh cấu trúc doanh nghiệp nội bộ.
Trước đây, một số công ty có thể đã cố gắng tạo báo cáo này trong Excel, nhờ nhiều nhà phân tích kinh doanh và kỹ sư đóng góp vào việc khai thác và thao tác dữ liệu.
Kỹ sư dữ liệu cho phép một tổ chức thu thập dữ liệu một cách hiệu suất và hiệu quả từ nhiều nguồn khác nhau, nói chung là lưu dữ liệu đó vào một hồ dữ liệu (data lake) hoặc thành một số chủ đề Kafka.
Khi dữ liệu đã được thu thập từ mỗi hệ thống, data engineer có thể xác định cách kết hợp tối ưu các bộ dữ liệu.
Với điều đó, các kỹ sư dữ liệu có thể xây dựng các quy trình dữ liệu cho phép dữ liệu chảy ra khỏi hệ thống nguồn.
Kết quả của quy trình dữ liệu này sau đó được lưu ở một vị trí riêng biệt – thường ở định dạng mà các công cụ thông minh kinh doanh khác nhau có thể truy vấn.
Các kỹ sư dữ liệu cũng chịu trách nhiệm đảm bảo rằng các quy trình dữ liệu này có đầu vào và đầu ra chính xác. Điều này thường liên quan đến việc đối chiếu dữ liệu hoặc các quy trình dữ liệu bổ sung để xác nhận đối với các hệ thống nguồn.
Các kỹ sư dữ liệu cũng phải đảm bảo rằng các quy trình dữ liệu lưu chuyển liên tục và thông tin luôn được cập nhật, sử dụng các công cụ giám sát và thực hành SRE (Site Reliability Engineering – kỹ thuật quản lý độ tin cậy) khác nhau.
Nói một cách dễ hiểu, data engineer gia tăng giá trị khi họ tự động hóa và tối ưu hóa các hệ thống phức tạp, biến dữ liệu thành một tài sản kinh doanh có thể truy cập và sử dụng được.
ELT và ETL
Quy trình dữ liệu có nhiều loại khác nhau và vai trò của data engineer là biết nên sử dụng chiến lược nào và tại sao.
Hai chiến lược phổ biến nhất xoay quanh các khái niệm trích xuất, tải và chuyển đổi (ELT) dữ liệu. Trước tiên, dữ liệu luôn phải được trích xuất theo cách nào đó từ một nguồn dữ liệu, nhưng những gì sẽ xảy ra tiếp theo không đơn giản như vậy.
ELT thường thấy trong các kiến trúc hồ dữ liệu hoặc hệ thống cần dữ liệu trích xuất thô từ nhiều nguồn. Điều này cho phép các quy trình và hệ thống khác nhau xử lý dữ liệu từ cùng trích xuất.
Nếu bạn kết hợp dữ liệu từ nhiều hệ thống và nguồn khác nhau, sẽ có lợi khi đồng định vị dữ liệu đó và lưu trữ ở một nơi trước khi thực hiện chuyển đổi sang dữ liệu.
MẸO CHUYÊN NGHIỆP: Nói chung, luồng công việc loại ELT chính là một quy trình ELT-L, nơi dữ liệu đã chuyển đổi sau đó được tải vào một vị trí khác để tiêu thụ như Snowflake, AWS Redshift hoặc Hadoop.
Ngược lại, quy trình ETL (trích xuất, chuyển đổi, tải) đặt việc tính toán nặng khi chuyển đổi trước khi tải kết quả vào tệp hệ thống, cơ sở dữ liệu hoặc kho dữ liệu.
Kiểu cách này thường không hiệu quả so với quy trình ELT, vì dữ liệu cho mỗi lô hoặc luồng thường được yêu cầu từ các hệ thống phụ thuộc hoặc liên quan.
Điều này nghĩa là trên mỗi lần thực thi, bạn sẽ phải truy vấn lại dữ liệu từ các hệ thống cần thiết, thêm tải cho các hệ thống đó và thêm thời gian chờ dữ liệu có sẵn.
Tuy nhiên, trong trường hợp các chuyển đổi đơn giản được áp dụng cho một nguồn dữ liệu duy nhất, ETL có thể thích hợp hơn vì nó làm giảm độ phức tạp của hệ thống, nhưng có khả năng phải trả giá bằng khả năng trao quyền dữ liệu (data enablement)
Khuyến nghị chung là sử dụng các quy trình ELT khi có thể để tăng hiệu suất, tính khả dụng và khả năng trao quyền của dữ liệu.
Hiệu suất
Việc có dữ liệu chính xác và sẵn có cho data engineer không đơn giản. Dữ liệu cũng phải hiệu quả.
Khi xử lý gigabyte, terabyte hoặc thậm chí petabyte dữ liệu, các quy trình và kiểm tra phải được thực hiện để đảm bảo dữ liệu đáp ứng các thỏa thuận mức dịch vụ (SLA) và gia tăng giá trị cho doanh nghiệp nhanh nhất có thể.
Điều quan trọng nữa là xác định ý nghĩa của hiệu suất đối với dữ liệu của bạn.
Các data engineer cần tính đến tần suất họ nhận được dữ liệu mới, thời gian chạy quá trình chuyển đổi và mất bao lâu để cập nhật điểm đến đích của dữ liệu.
Các đơn vị kinh doanh thường muốn thông tin cập nhật càng sớm càng tốt, đồng thời có những điểm dừng và chuyển động trong hành trình của dữ liệu mà các data engineer phải tính đến.
Ví dụ:
Hãy tưởng tượng nếu công ty của bạn là một hãng hàng không và bạn muốn cung cấp giá cho khách hàng dựa trên đầu vào từ nhiều hệ thống khác nhau để đưa ra mức giá cho khách hàng.
Nếu giá của bạn quá cao, khách hàng sẽ đặt vé với các hãng hàng không khác. Nếu giá của bạn quá thấp, tỷ suất lợi nhuận của bạn sẽ bị ảnh hưởng.
Đột nhiên, kênh đào Suez bị tắc nghẽn và các tàu vận tải vận chuyển dầu không thể đi ra khỏi Ả-rập Xê-út, làm gián đoạn chuỗi cung ứng toàn cầu và khiến giá dầu và khí đốt tăng cao.
Máy bay thương mại sử dụng rất nhiều nhiên liệu, lên tới gần 20 tỷ gallon mỗi năm. Điều này sẽ ảnh hưởng đáng kể đến chi phí vận hành doanh nghiệp của bạn và phải được phản ánh nhanh nhất có thể trong việc định giá của bạn.
Để điều này xảy ra, các kỹ sư dữ liệu phải thiết kế và triển khai các quy trình dữ liệu hiệu quả và hoạt động tốt.
Tích hợp liên tục và phân phối liên tục
Code không bao giờ là một giải pháp kiểu “lên và quên”. Các yêu cầu về quản trị dữ liệu, công cụ, thực hành tốt nhất, quy trình bảo mật và các yêu cầu kinh doanh luôn nhanh chóng thay đổi và thích ứng; môi trường sản xuất của bạn cũng phải như vậy.
Điều này có nghĩa là việc triển khai cần phải được tự động hóa và có thể xác minh được.
Các kiểu triển khai phần mềm cũ hơn thường dẫn đến việc chạy bản dựng, sao chép và dán kết quả vào máy chủ sản xuất của bạn và thực hiện “smoke test” thủ công để xem ứng dụng có hoạt động như mong đợi hay không.
Việc này không thể mở rộng và gây rủi ro cho doanh nghiệp của bạn.
Nếu bạn đang thử nghiệm trực tiếp trên môi trường sản xuất, bất kỳ lỗi hoặc vấn đề nào mà bạn có thể đã bỏ qua trong quá trình kiểm thử (hoặc bất kỳ ảnh hưởng nào của môi trường cụ thể lên mã của bạn), sẽ dẫn đến trải nghiệm khách hàng kém vì những lỗi hoặc lỗi này sẽ xảy ra với người dùng cuối.
Thực tiễn tốt nhất để đẩy code lên là thiết lập các quy trình tự động để xác minh code hoạt động như mong đợi trong các tình huống khác nhau.
Điều này thường được thực hiện với các bài kiểm thử đơn vị và kiểm thử tích hợp.
Các kiểm thử đơn vị xác minh rằng các đoạn mã riêng lẻ sẽ tạo ra các đầu ra mong đợi một cách độc lập với mã khác sử dụng đoạn mã đó.
Những điều này là để xác minh logic phức tạp trong từng đoạn mã, cũng như cung cấp bằng chứng rằng mã thực thi đúng như mong đợi.
Một cấp độ khác từ đó là kiểm tra tích hợp. Việc này đảm bảo rằng các đoạn mã hoạt động cùng nhau và tạo ra (các) đầu ra mong đợi cho một tập hợp các đầu vào nhất định.
Đây thường là lớp kiểm tra quan trọng hơn, vì nó đảm bảo rằng các hệ thống tích hợp với nhau như mong đợi.
Bằng cách kết hợp các bài kiểm thử đơn vị và kiểm thử tích hợp với các chiến lược triển khai hiện đại như triển khai xanh lam-xanh lá (blue – green deployment), xác suất tác động đến khách hàng và doanh nghiệp của bạn bằng mã mới sẽ giảm đáng kể.
Mọi thứ đều được xác thực dựa trên các bài kiểm thử đã thiết lập trước khi các thay đổi được đưa vào môi trường.
Phục hồi sau thảm họa
Nhiều doanh nghiệp tập trung vào việc cung cấp càng nhiều giá trị cho khách hàng càng nhanh càng tốt, nhưng điều quan trọng là đảm bảo rằng bạn có kế hoạch trong trường hợp hệ thống gặp sự cố.
Trong khi nhiều công ty phụ thuộc rất nhiều vào các nhà cung cấp đám mây để giảm thiểu thời gian ngừng hoạt động và đảm bảo SLA, thất bại chắc chắn sẽ xảy ra.
Điều này có nghĩa là các hệ thống phải được thiết kế để chịu được lỗi hệ thống nghiêm trọng.
Khôi phục sau thảm họa trong data engineering thường rơi vào chỉ số:
Mục tiêu thời gian khôi phục (RTO)
Mục tiêu điểm phục hồi (RPO)
Trong trường hợp xảy ra tình huống khôi phục thảm họa, các doanh nghiệp cần phải có các tiêu chuẩn để hiểu tác động đến khách hàng của họ và hệ thống của họ sẽ không hoạt động trong bao lâu.
Các kỹ sư dữ liệu chịu trách nhiệm đưa các quy trình vào đúng vị trí để đảm bảo rằng các quy trình dữ liệu, cơ sở dữ liệu và kho dữ liệu đáp ứng các chỉ số này.
Ví dụ:
Hãy tưởng tượng nếu công ty của bạn là một hãng hàng không và bạn cần cung cấp cho khách hàng khả năng đặt vé máy bay, nhưng đột nhiên, trung tâm dữ liệu của bạn phát nổ.
Doanh nghiệp của bạn đã thiết lập quy trình đồng bộ hóa dữ liệu để sao chép dữ liệu sang một trung tâm dữ liệu khác, nhưng quy trình đó đã bị gián đoạn và xảy ra mất mát dữ liệu.
Bạn cần thiết lập lại cơ sở dữ liệu chính trong bộ ứng dụng của mình từ cơ sở dữ liệu được sao chép.
RPO thể hiện lượng dữ liệu bị mất trong khoảng thời gian đó và RTO thể hiện thời gian khách hàng không thể đặt chuyến bay.
Các kỹ sư dữ liệu thường xuyên phải đánh giá, thiết kế và triển khai các hệ thống để giảm thiểu tác động đến khách hàng trong trường hợp hỏng hóc.
Data Governance là gì?
Một chiến lược quản trị dữ liệu (data governance) là điều cần thiết cho sự thành công của tổ chức và dữ liệu của nó.
Đây là một chủ đề rất phức tạp mà chúng tôi đã đề cập ở những nơi khác, nhưng ở cấp độ cao, quản trị dữ liệu được cấu trúc như sau:
Data Governance là gì? Ảnh: phData
Để dữ liệu của bạn cung cấp giá trị cho doanh nghiệp đồng thời giảm thiểu rủi ro và chi phí, bạn sẽ cần xác định và thực thi câu trả lời cho khá nhiều câu hỏi:
Ai có quyền truy cập vào dữ liệu của tôi?
Làm cách nào để kiểm tra và cung cấp quyền truy cập?
Dữ liệu được lưu trữ vật lý như thế nào trong một hệ thống và trên các hệ thống?
Công ty của tôi tuân theo các tiêu chuẩn và thông lệ mã hóa dữ liệu nào?
Làm cách nào để xác thực dữ liệu trong các báo cáo khác nhau đến từ đâu?
Làm cách nào để xác thực tính đúng đắn của một báo cáo mà tôi đang đưa ra quyết định kinh doanh quan trọng?
Làm cách nào để người dùng tìm thấy dữ liệu trong hệ thống của tôi?
Đây là những câu hỏi rất phức tạp thường có câu trả lời phức tạp và đòi hỏi kiến thức từ các lĩnh vực kinh doanh và công nghệ khác nhau:
Doanh nghiệp của bạn cần xác định cách dữ liệu làm tăng giá trị cho tổ chức.
Nhân viên bảo mật của bạn cần xác định các tiêu chí để mã hóa và quản lý truy cập.
Các kỹ sư dữ liệu của bạn cần có khả năng liên kết dữ liệu với nhau và làm chủ các kho dữ liệu cho người dùng cuối.
Tất cả điều này cần được quản lý và thực thi bởi các thành viên đa chức năng trong tổ chức.
Data Governance khác với Data Engineering như thế nào?
Quản trị dữ liệu tập trung hơn vào quản trị dữ liệu và kỹ thuật dữ liệu tập trung vào thực thi dữ liệu.
Mặc dù kỹ sư dữ liệu là một phần của chiến lược quản trị dữ liệu tổng thể, nhưng quản trị dữ liệu bao gồm nhiều thứ hơn là thu thập và quản lý dữ liệu.
Khó mà nói một tổ chức có một thực tiễn quản trị dữ liệu hiệu quả nếu không có các kỹ sư dữ liệu thực hiện nó.
Ví dụ: hãy xem một số câu hỏi của chúng tôi ở trên, lưu ý các kỹ sư dữ liệu và cách họ hoàn thành từng nhiệm vụ.
Ai có quyền truy cập vào dữ liệu?
Trong thực tiễn quản trị dữ liệu, các quy tắc và quy định xác định ai nên có quyền truy cập vào các phần thông tin cụ thể trong tổ chức.
Nếu là công ty vận chuyển, bạn có thể cần tách biệt dữ liệu mà nhà cung cấp và khách hàng có thể xem tại bất kỳ thời điểm nào hoặc đảm bảo rằng các nhà cung cấp khác nhau không thể xem thông tin về các nhà cung cấp khác.
Điều này yêu cầu các ràng buộc về phân loại, gắn thẻ và truy cập dữ liệu.
Nếu bạn đang thu thập dữ liệu từ các hệ thống khác nhau, kỹ sư dữ liệu chịu trách nhiệm áp dụng các quy tắc phân loại và gắn thẻ khi thu thập.
Điều này có thể bao gồm việc thêm các điểm dữ liệu bổ sung vào dữ liệu đã thu thập hoặc lưu trữ dữ liệu riêng biệt trên đĩa.
Sau đó, khi dữ liệu được tổng hợp hoặc chuyển đổi, kết quả cuối cùng phải bao gồm cùng thông tin này. Khi thiết lập các ràng buộc truy cập đối với dữ liệu, kỹ sư dữ liệu cũng phải thực thi các chính sách được yêu cầu.
Làm cách nào điều chỉnh và cung cấp quyền truy cập?
Để được coi là tuân thủ nhiều quy định bắt buộc của doanh nghiệp, bạn phải có khả năng theo dõi ai có quyền truy cập vào dữ liệu của bạn và những thay đổi đối với quyền truy cập đó.
Điều này cũng bao gồm việc thông báo cho người dùng dữ liệu về những thay đổi đối với dữ liệu.
Nếu bạn là người tiêu dùng của một tập hợp dữ liệu và nó thay đổi mà bạn không biết, hệ thống có thể bị hỏng. Điều này có nghĩa là việc có thể theo dõi ai và ai nên sử dụng dữ liệu là rất quan trọng.
Mặc dù các thực tiễn quản trị dữ liệu xác định những quy tắc đó nên là gì, nhưng trách nhiệm của các kỹ sư dữ liệu là đưa những quy tắc đó vào đúng vị trí.
Điều này có nghĩa là thiết lập các quy tắc IAM trong AWS hoặc Microsoft Azure để đảm bảo rằng một số vai trò nhất định chỉ có thể đọc dữ liệu từ các nguồn và hệ thống khác nhau.
Sau đó, nhóm bảo mật có trách nhiệm xác thực rằng người dùng chỉ có quyền truy cập vào các vai trò thích hợp.
Làm thế nào dữ liệu được lưu trữ vật lý trong một hệ thống và trên toàn hệ thống?
Kỹ sư dữ liệu chịu trách nhiệm lưu trữ dữ liệu được thu thập và chuyển đổi ở nhiều vị trí khác nhau tùy thuộc vào yêu cầu của doanh nghiệp.
Mỗi bộ công cụ và vị trí sẽ có các cách khác nhau để dữ liệu được lưu trữ và truy cập, và kỹ sư dữ liệu phải tính đến các giới hạn, lợi ích và trường hợp sử dụng cho từng vị trí và tập hợp dữ liệu.
Ví dụ:
Giả sử doanh nghiệp của bạn đang nhập một triệu bản ghi mỗi ngày cho một nguồn dữ liệu cụ thể.
Nếu bạn đang lưu trữ tệp này trên đĩa, bạn không thể chỉ thêm vào một tệp đơn lẻ, (Nó giống như mò kim đáy bể!)
Nếu bạn đang cố gắng tạo báo cáo hoặc cung cấp cho người dùng cuối một phần thông tin cụ thể, bạn sẽ không bao giờ có thể tìm thấy nó.
Các kỹ sư dữ liệu sẽ:
Biết rằng dữ liệu này cần được phân vùng trên các tệp và thư mục khác nhau trong hệ thống tệp của bạn để tách dữ liệu.
Đánh giá dữ liệu và cách dữ liệu được tải và sử dụng để xác định cách thích hợp để chia nhỏ dữ liệu.
Xác định cách cập nhật các phần dữ liệu cụ thể khi các thay đổi được áp dụng cho nguồn dữ liệu.
Quản trị dữ liệu và các quy tắc xung quanh nó có thể xác định quyền truy cập dữ liệu vào các phân vùng đó và có thể yêu cầu các chỉ số hiệu suất của dữ liệu đó.
Tuy nhiên, các thành viên của nhóm quản trị dữ liệu sẽ không có bộ kỹ năng để thiết lập các vai trò truy cập đó hoặc lấy các chỉ số đó.
Data Science là gì?
Nếu bạn đang cố gắng tìm kiếm giá trị từ các tập dữ liệu khác nhau, bạn sẽ bắt đầu từ đâu?
Ví dụ: nếu bạn có dữ liệu về khách hàng và đơn hàng của họ, bạn có thể cố gắng tìm ra những mặt hàng bổ sung nào bạn có thể bán cho họ dựa trên các đơn hàng khác. Nếu bạn có thể biết tương quan giữa khách hàng và việc mua hàng của họ, bạn có thể bán thêm cho các đơn hàng trong tương lai.
Điều này có thể đơn giản nếu bạn có một nhóm khách hàng và đơn hàng nhỏ.
Bạn có thể thuê các nhà phân tích kinh doanh (business analyst) là chuyên gia trong công ty của bạn và đã làm việc với khách hàng trong nhiều năm để có thể suy ra những gì khách hàng muốn.
Nhưng…
Điều gì sẽ xảy ra nếu bạn có hàng triệu khách hàng và hàng triệu giao dịch?
Điều gì sẽ xảy ra nếu bạn có các nhà cung cấp bên ngoài cung cấp cho bạn thông tin bổ sung về khách hàng của bạn?
Điều gì sẽ xảy ra nếu dữ liệu của bạn không có cấu trúc và không thể dễ dàng kết hợp với các tập dữ liệu khác?
Làm thế nào để bạn biết rằng các phần thông tin cụ thể thực sự có mối tương quan và đưa ra quyết định dựa trên dữ liệu chứ không phải cảm tính?
Đây là lúc khoa học dữ liệu (data science) đi vào bức tranh.
Các nhà khoa học dữ liệu được giao nhiệm vụ sử dụng các phương pháp, quy trình, thuật toán và hệ thống khoa học để trích xuất những hiểu biết kinh doanh có giá trị từ dữ liệu có cấu trúc và phi cấu trúc.
Mô hình hóa dữ liệu là gì?
Để hiểu kết quả công việc của nhà khoa học dữ liệu trông như thế nào, chúng ta phải hiểu mô hình dữ liệu là gì.
Mô hình hóa dữ liệu là quá trình dữ liệu được xác định, phân tích và cấu trúc để tạo ra một đầu ra có ý nghĩa.
Điều này thường có nghĩa là nhập dữ liệu từ nhiều nguồn khác nhau, cấu trúc nó thành các thực thể và mối quan hệ khác nhau, thực hiện các phép tính đối với dữ liệu và xác thực đầu ra.
Data Modeling là gì? Ảnh: phData
Mục tiêu của mô hình hóa dữ liệu là để minh họa hoặc tính toán các kết nối giữa các điểm và cấu trúc dữ liệu.
Quay trở lại ví dụ về khách hàng và giao dịch của chúng ta, mô hình dữ liệu sẽ cho chúng ta thấy các khách hàng và giao dịch khác nhau liên quan với nhau như thế nào, vì vậy chúng tôi có thể bắt đầu thực hiện một số phân tích thống kê về mức độ liên quan chặt chẽ của chúng.
Một đầu ra tiềm năng của mô hình dữ liệu này là những khách hàng đã mua tã có khả năng mua nước rửa tay cao hơn 80% so với những khách hàng không mua.
Ngoài ra còn có các loại mô hình dữ liệu khác nhau:
Mô hình vật lý: lược đồ hoặc khuôn khổ về cách dữ liệu được lưu trữ vật lý trên đĩa hoặc trong cơ sở dữ liệu.
Mô hình khái niệm: cấu trúc và khái niệm kinh doanh cấp cao.
Mô hình dữ liệu logic: các kiểu thực thể, kiểu dữ liệu và thuộc tính, mối quan hệ giữa các thực thể.
Cách nhà khoa học dữ liệu gia tăng giá trị
Các nhà khoa học dữ liệu thường có nền tảng toán học, thống kê và lập trình vững chắc.
Khi làm việc với Dữ liệu lớn, rất khó xác định giá trị theo cách thủ công. Còn nhớ “mò kim đáy bể” chứ?
Thay vào đó, các nhà khoa học dữ liệu phải làm việc với dữ liệu để xác thực các lý thuyết và mô hình thống kê.
Trong ví dụ về mô hình dữ liệu của chúng ta, chúng ta có thể xác định rằng những khách hàng đã mua tã có khả năng mua nước rửa tay cao hơn 80% so với những khách hàng không mua.
Mặc dù đây là một kết luận đơn giản và hợp lý, nhưng đôi khi các tổ chức có những mối quan hệ phức tạp hơn giữa dữ liệu của họ và giá trị kinh doanh.
Cũng có thể là tổ chức của bạn có quá nhiều dữ liệu mà bạn thậm chí không biết bắt đầu từ đâu.
Các công ty trong danh sách Fortune 1000 có thể kiếm thêm thu nhập ròng hơn 65 triệu đô la bằng cách tăng khả năng truy cập dữ liệu của họ lên 10%.
Đây là lý do tại sao các công ty cần có các nhà khoa học dữ liệu tạo mô hình dữ liệu và thực hiện phân tích trên dữ liệu – giúp các đơn vị kinh doanh có thể truy cập được.
Rất thực tế là doanh nghiệp của bạn có thể bán kèm hoặc bán thêm các dịch vụ cho khách hàng hiệu quả hơn hoặc doanh nghiệp của bạn có thể tiết kiệm tiền bằng cách sử dụng các mô hình dữ liệu để dự đoán việc sử dụng tài nguyên.
Phân tích dự đoán (Predictive analysis) là gì?
Mặc dù bán chéo và bán thêm (cross sell và up sell) dịch vụ là một khái niệm bình thường đối với hầu hết các doanh nghiệp bán sản phẩm hoặc dịch vụ, nhưng phân tích dự đoán sẽ bổ sung một lớp giá trị kinh doanh khó hình thành hơn.
Giả sử bạn là một công ty vận chuyển và bạn đã được CEO giao nhiệm vụ tối đa hóa lợi nhuận và giảm thiểu chi phí hoạt động. Đây là mục tiêu của mọi doanh nghiệp, phải không?
Bạn sẽ bắt đầu từ đâu?
Bạn có thể cố gắng xác định các tuyến đường vận chuyển thường xuyên được sử dụng và đảm bảo rằng bạn có xe tải thường xuyên giao hàng qua lại mà không phải chờ đợi giữa các chuyến hàng quá lâu.
Tuy nhiên:
Làm thế nào để bạn xác định thời tiết sẽ ảnh hưởng đến điều kiện lái xe như thế nào?
Làm thế nào để bạn tối ưu hóa các tuyến đường trong trường hợp một cây cầu bị sập?
Làm thế nào để bạn biết được thời điểm lý tưởng để lái xe qua từng thành phố mà không gặp phải lượng lớn giao thông?
Đây là một ví dụ tuyệt vời khác về việc một mô hình dữ liệu và các nhà khoa học dữ liệu bổ sung thêm rất nhiều giá trị.
Nhà khoa học dữ liệu chịu trách nhiệm lập mô hình từng điểm dữ liệu có thể ảnh hưởng đến tuyến đường vận chuyển, tính toán các rủi ro và tác động của từng điểm theo chương trình và tính toán các kết luận để thông báo cho doanh nghiệp về cách hoạt động.
Với phân tích dự đoán, doanh nghiệp của bạn có khả năng tìm thấy mối tương quan giữa các dữ liệu mà trước đây được cho là vô dụng hoặc không có khả năng ảnh hưởng đến các tình huống khác nhau.
Data Engineer khác với Data Scientist ra sao?
Đối với các nhà khoa học dữ liệu để có thể mô hình hóa dữ liệu một cách hiệu quả, các thực tiễn quản trị dữ liệu phải được áp dụng để đảm bảo chất lượng và độ chính xác của dữ liệu.
Sau đó, các kỹ sư dữ liệu chịu trách nhiệm ban hành các chính sách này và giám sát chất lượng và hiệu suất dữ liệu. Các kỹ sư dữ liệu cũng cung cấp nguồn dữ liệu mà các nhà khoa học dữ liệu sử dụng để tạo mô hình dữ liệu.
Mặc dù các kỹ sư dữ liệu có thể thực hiện các chuyển đổi và tổng hợp quy mô lớn trên dữ liệu, nhưng cần phải có một phân tích để xác định cách dữ liệu nên được xử lý.
Kỹ sư dữ liệu phải biết dữ liệu có liên quan như thế nào và nó nên được thao tác như thế nào để tạo ra kết quả mong muốn.
Trong các ví dụ cơ bản, một kỹ sư dữ liệu có thể hợp tác với doanh nghiệp để vạch ra điều này, nhưng trong các hệ thống phức tạp hơn, một nhà khoa học dữ liệu cần phải phân tích thêm.
Trong một số trường hợp, mô hình dữ liệu có thể yêu cầu một thuật toán và quy trình biến đổi phức tạp hơn so với một kỹ sư dữ liệu tổng quát có thể xử lý.
Có thể có các phương trình toán học phức tạp và phân tích thống kê phải được lấy từ một mẫu thử nghiệm hoặc ví dụ quy mô nhỏ và được sản xuất hóa.
Đây là lúc bạn cần tuyển một ML Engineer (kỹ sư học máy).
Kỹ sư học máy (Machine Learning Engineer) là gì?
Kỹ sư học máy là giao điểm của kỹ thuật dữ liệu và khoa học dữ liệu.
Những kỹ sư này thường có nền tảng toán học vững chắc hơn một kỹ sư dữ liệu điển hình, nhưng không đến mức như một nhà khoa học dữ liệu.
Các kỹ sư này có thể tận dụng các khuôn khổ và công cụ kỹ thuật dữ liệu trong hệ sinh thái dữ liệu lớn, áp dụng các mô hình dữ liệu do các nhà khoa học dữ liệu tạo ra cho dữ liệu đó và sản xuất hóa quá trình triển khai các mô hình này.
Đây không phải là một nhiệm vụ đơn giản.
Các kỹ sư học máy cần phải thành thạo về cấu trúc dữ liệu và thuật toán, cả từ góc độ toán học và tính toán.
Để mô hình dữ liệu được sản xuất, dữ liệu phải được nhập vào mô hình và các tính toán chạy trong môi trường hiệu suất cao.
Điều này có nghĩa là có khả năng xử lý hàng terabyte dữ liệu thời gian thực để thúc đẩy các quyết định kinh doanh.
Các kỹ sư học máy làm việc với các nhà khoa học dữ liệu như thế nào?
Khi các nhà khoa học dữ liệu làm việc với dữ liệu để chứng minh các mô hình, công việc thường được thực hiện trong các môi trường như Python hoặc R, bên trong một sổ ghi chép phân tích như Jupyter.
Sổ này này chạy với một cụm để dịch các truy vấn thành một công cụ dành riêng cho nền tảng dữ liệu lớn như Spark.
Mặc dù cách tiếp cận này giảm thiểu kinh nghiệm phát triển và thời gian cần thiết để thu được giá trị, nhưng nó đòi hỏi thêm nhiều việc để sản xuất hóa. Thường bao gồm:
Kiểm tra chất lượng dữ liệu
Tối ưu hóa hiệu suất truy vấn
Tạo hệ sinh thái CI / CD xung quanh những thay đổi đối với mô hình
Đưa dữ liệu từ nhiều nguồn khác nhau vào mô hình dữ liệu
Học máy và các kỹ thuật khoa học dữ liệu cho các hệ thống phân tán
Mặc dù một số kỹ năng này trùng lặp với kỹ sư dữ liệu (nhập dữ liệu, kiểm tra chất lượng dữ liệu, v.v.), các trách nhiệm và kỹ năng cần thiết được tập trung đáng kể vào một số lĩnh vực kỹ thuật dữ liệu.
Những kỹ năng cần thiết của Data Engineer?
Không có câu trả lời đơn giản cho câu hỏi này – nhưng hãy cùng tìm hiểu một số điều cơ bản
Lưu trữ và tính toán dữ liệu
Dữ liệu có thể được lưu trữ ở nhiều định dạng tệp khác nhau trong hệ thống tệp và theo những cách khác nhau trong cơ sở dữ liệu và kho dữ liệu.
Mỗi định dạng khác nhau này được tối ưu cho một trường hợp sử dụng cụ thể và các kỹ sư dữ liệu chịu trách nhiệm tìm hiểu công cụ phù hợp cho công việc.
Ví dụ: nếu bạn đang lưu trữ dữ liệu trên đĩa trong một hồ dữ liệu, có một số tùy chọn phổ biến cho các định dạng dữ liệu:
Parquet
Avro
ORC
Các định dạng dữ liệu này thường được điều khiển bởi một trung tâm theo dõi vị trí của dữ liệu để truy vấn dữ liệu.
Tùy thuộc vào công cụ bạn đang sử dụng, cú pháp truy vấn, mẫu truy cập, hiệu suất và khả năng sẽ khác nhau. Các ví dụ phổ biến bao gồm:
Apache Hive
Databricks Delta Lake
AWS Glue Catalog
Dữ liệu cũng có thể được lưu trữ trong các nền tảng dựa trên luồng cho phép các hệ thống phân tán cao.
Đây thường là một kiến trúc pub / sub cho phép nhiều người tiêu thụ dữ liệu nhận các bản cập nhật từ một nhà xuất bản dữ liệu. Các ví dụ phổ biến bao gồm:
Apache Kafka
AWS Kinesis và AWS Kinesis Firehose
RabbitMQ
Khi dữ liệu đã được lưu trữ, thông thường nó sẽ cần được xử lý để đạt được trạng thái mong muốn.
Điều này có thể liên quan đến việc lấy dữ liệu từ nhiều nguồn khác nhau, kết hợp dữ liệu đó với nhau, thực hiện tổng hợp trên đó và sau đó đưa kết quả vào vị trí cuối cùng.
Có nhiều phương án tính toán thường được sử dụng trong quy trình dữ liệu:
Apache Spark
Databricks
AWS Glue
Đầu ra của các quy trình dữ liệu này sau đó thường sẽ được đưa trở lại vào một hồ dữ liệu, sử dụng các định dạng dữ liệu và vị trí truyền dữ liệu được đề cập bên trên.
Trong một số trường hợp, khách hàng muốn đưa dữ liệu này vào cơ sở dữ liệu hoặc kho dữ liệu như Snowflake hoặc AWS Redshift.
Các công cụ này cho phép điều chỉnh hiệu suất dữ liệu hơn nữa, trao quyền dữ liệu và tích hợp với công cụ của bên thứ ba.
Hiểu biết về Cloud và On-Premises
Nhiều công ty có hệ thống on-premises (tại chỗ) và đang chuyển sang các giải pháp dựa trên đám mây như Amazon Web Services (AWS) và Microsoft Azure.
Điều này đòi hỏi một tập hợp các kỹ năng khác nhau và các kỹ sư phải có khả năng hiểu được sự khác biệt trong cách các hệ thống này hoạt động.
Nói chung, khi làm việc với khối lượng công việc tại chỗ, các kỹ sư không tập trung vào thời gian thực thi và mức sử dụng bộ nhớ cho đến khi chúng trở thành những người hàng xóm xấu tính với các quy trình khác trên cùng một máy chủ hoặc cụm.
Vì công ty trả tiền cho phần cứng chứ không phải theo mô hình dựa trên mức tiêu thụ, nên việc cho phép các quy trình chạy lâu hơn một chút sẽ dễ dàng hơn là dành nhiều thời gian để tối ưu hiệu suất.
Tuy nhiên, khi làm việc trên nền tảng đám mây, nhiều giải pháp chạy trên mô hình dựa trên mức tiêu thụ được gắn với những thứ như sử dụng bộ nhớ, thời gian thực thi và yêu cầu lưu trữ.
Điều này có thể dẫn đến chi phí đáng kể khi chuyển trực tiếp khối lượng công việc tại chỗ lên đám mây.
Kỹ sư dữ liệu cần có khả năng hiểu các mô hình định giá khác nhau và điều chỉnh các giải pháp cho phù hợp.
Điều này có nghĩa là hiểu biết cơ bản về các chiến lược bán hàng, các khoản phí mà một công ty sẽ phải chịu và cách thực hiện các giải pháp trong cả hai hệ sinh thái.
Toán học
Đối với nhiều kỹ sư dữ liệu, quá trình chuyển đổi dữ liệu thành siêu thị data và các tập dữ liệu được sắp xếp không đơn giản như việc kết hợp một vài tập dữ liệu.
Trong nhiều trường hợp, việc tổng hợp cần được thực hiện dựa trên dữ liệu nguồn để tính toán những thứ như các giá trị thống kê như trung vị, độ lệch chuẩn và phương sai.
Toán học cũng rất quan trọng khi xem xét các cấu trúc dữ liệu khác nhau để lưu trữ dữ liệu hoặc các thuật toán để xử lý dữ liệu.
Điều quan trọng là phải hiểu các tác động về hiệu suất của việc lưu trữ dữ liệu trong một cấu trúc cụ thể hoặc thực hiện các thuật toán nhất định dựa trên một tập dữ liệu nhất định.
Ví dụ:
Bạn biết rằng dữ liệu của mình được lưu trữ và phân vùng theo ngày tải, nhưng bạn cần kết hợp dữ liệu đó dựa trên khóa doanh nghiệp (business key). Đối với một kỹ sư dữ liệu, đây là một tín hiệu đáng báo động.
Bằng sự hiểu biết về cấu trúc dữ liệu và thuật toán, kỹ sư sẽ hiểu rằng họ sẽ phải quét toàn bộ bảng trên dữ liệu, đọc từng phân vùng và tệp riêng lẻ để thực hiện hành động đó.
Điều này có thể ổn đối với các tập dữ liệu nhỏ, nhưng chắc chắn là không khả thi khi bạn đang ở trong hệ sinh thái Dữ liệu lớn.
Tập trung vào Chất lượng
Ngay cả khi quá trình nhập và quản lý dữ liệu của bạn được tối ưu hóa 100% và có hiệu suất cao, sẽ không ý nghĩa gì nếu dữ liệu không chính xác.
Một kỹ sư dữ liệu phải có khả năng hiểu kết quả cuối cùng là gì, cũng như các phương pháp và công cụ cho phép xác nhận dữ liệu.
Các kỹ sư dữ liệu có thể sử dụng các công cụ như Deequ và Great Expectations để cung cấp khuôn khổ và công cụ cho chất lượng dữ liệu và phát hiện lỗi dữ liệu.
Các bài kiểm thử phải được viết dựa trên dữ liệu để đảm bảo dữ liệu là như mong đợi và được giám sát về sự sai lệch trong dữ liệu.
Một data engineer lành nghề có thể lập hồ sơ, giám sát và cảnh báo khi dữ liệu nằm ngoài phạm vi và thông số có thể chấp nhận được.
Tại sao Kỹ thuật Dữ liệu lại Quan trọng hơn Bao giờ hết?
Kiến thức là sức mạnh – và nó không thể đúng hơn trong xã hội ngày nay. Các công ty lớn đang tạo, nhập và xử lý nhiều dữ liệu hơn bao giờ hết.
Dữ liệu là một thành phần quan trọng đối với tri thức và như chúng ta đã chứng minh qua các ví dụ khác nhau, quá trình biến dữ liệu thành tri thức có thể rất phức tạp.
Có nhiều cấp độ xử lý và phân tích dữ liệu khác nhau và có thể có những trường hợp trong tổ chức của bạn nơi mà kinh nghiệm trong lĩnh vực và thực tiễn kinh doanh cụ thể có thể cung cấp cho một cá nhân mức độ hiểu biết mà dữ liệu có thể sao lưu.
Tuy nhiên, lượng kiến thức mà Dữ liệu lớn có thể tạo ra về doanh nghiệp của bạn và tác động của nó đối với doanh nghiệp của bạn thường bị bỏ qua (và áp đảo).
Trong suốt bài viết này, chúng ta đã nói về các kỹ sư dữ liệu, nhà khoa học dữ liệu, kỹ sư học máy và cách mỗi người trong số họ có một vị trí cụ thể trong hệ sinh thái dữ liệu lớn.
Những chuyên gia này thường là những nguồn lực có kinh nghiệm và đắt tiền mà một tổ chức tuyển vào, tạo ra một rào cản gia nhập khó có thể vượt qua.
Tuy nhiên, chưa bao giờ có thời điểm quan trọng hơn để đầu tư vào các nguồn lực này.
Hãy cùng xem một số ví dụ về những gì các phương pháp này đã cho phép các công ty thực hiện.
Định giá động
Các nhà bán lẻ lớn như Amazon và các hãng hàng không thường sử dụng giá động cho hàng hóa của họ.
Điều này cho phép định giá cập nhật nhất dựa trên các mô hình dữ liệu được tạo bởi các nhà khoa học dữ liệu, được thực hiện bởi các kỹ sư học máy và được cung cấp bởi các kỹ sư dữ liệu.
Bạn có thể đã thường xuyên kiểm tra giá của các hãng hàng không để thử và kiếm được một món hời hoặc kiểm tra Amazon để xem liệu một mặt hàng cụ thể mà bạn quan tâm có được giảm giá hay ở mức giá tốt hơn so với các đối thủ cạnh tranh hay không.
Điều có thể bạn chưa biết là Amazon cập nhật giá lên đến 2.500.000 lần một ngày.
Điều này được hỗ trợ bởi mô hình dữ liệu do Amazon xây dựng để tối đa hóa lợi nhuận và duy trì tính cạnh tranh trong thị trường thương mại điện tử khổng lồ. Đây là cách công ty kiếm được 35% doanh thu hàng năm.
Một ví dụ khác về định giá động là các khách sạn Marriott.
Là một trong những chuỗi khách sạn lớn nhất trên thế giới, họ có hơn 6.500 khách sạn trên toàn cầu và giá phòng bị ảnh hưởng bởi nhiều yếu tố khác nhau.
Để định giá phòng khách sạn của mình một cách cạnh tranh, họ sẽ phải thuê hàng trăm đến hàng nghìn nhà phân tích để kiểm tra những thứ như tình hình kinh tế địa phương và toàn cầu, thời tiết, tình trạng sẵn có và hành vi đặt phòng, hủy đặt phòng,…
Điều này không khả thi trên quy mô lớn. Thay vào đó, họ sử dụng tính năng định giá động được xây dựng dựa trên các mô hình dữ liệu, dẫn đến doanh thu mỗi phòng tăng 5%.
Tiếp thị kỹ thuật số và phát triển sản phẩm
Trong nền kinh tế toàn cầu, điều quan trọng là phải hiểu rằng tiếp thị không phải là một động lực phù hợp với tất cả. Các chiến dịch tiếp thị và quảng cáo thành công sẽ trông khác ở Mỹ khi so sánh với Trung Quốc.
Ngay cả trong một quốc gia cụ thể, có thể có các khu vực của quốc gia có tín ngưỡng, kiểu thời tiết và sở thích khác nhau.
Để thúc đẩy doanh số bán hàng, thông thường trong tiếp thị là có một chiến dịch nhắm mục tiêu đến một đối tượng cụ thể.
Một ví dụ tuyệt vời về điều này là Airbnb, vào năm 2014 đã muốn điều chỉnh trải nghiệm tìm kiếm theo nhân khẩu học và địa lý.
Họ nhận thấy rằng các quốc gia châu Á nhất định thường có tỷ lệ thoát cao khi truy cập trang chủ.
Phân tích thêm dữ liệu, họ phát hiện ra rằng người dùng sẽ nhấp vào liên kết “Vùng lân cận”, bắt đầu duyệt ảnh và sau đó không bao giờ quay lại để đặt chỗ.
Để giải quyết vấn đề này, công ty đã tạo ra một phiên bản được thiết kế lại cho người dùng ở các quốc gia đó, thay thế các liên kết vùng lân cận bằng các điểm đến du lịch hàng đầu.
Điều này dẫn đến tăng 10% chuyển đổi.
Một ví dụ tuyệt vời khác là Coca-Cola, vào năm 2017 đã tiết lộ rằng hương vị Cherry Sprite được lấy cảm hứng từ dữ liệu thu thập từ các vòi nước uống tự phục vụ, nơi khách hàng tự pha chế đồ uống của họ.
Những chiếc máy này được thiết lập để theo dõi hương vị mà khách hàng đang trộn ở các khu vực khác nhau trên thế giới.
Sau đó, công ty chỉ cần tổng hợp các biến thể của sự kết hợp đồ uống và biến nó thành một mặt hàng có thể mua được.
Kết
Hy vọng rằng bạn sẽ rời khỏi hướng dẫn này với sự hiểu biết tốt hơn về những gì một data engineer làm và cách họ có thể giúp tổ chức của bạn đưa ra quyết định tốt hơn với dữ liệu.
Lần đầu nghe đến Amanotes, tôi không hình dung được sự liên quan giữa công ty này với các tựa game nổi tiếng kia. Theo tiết lộ thì startup này khá kín tiếng trong nhiều năm, mãi đến vài năm gần đây mới bắt đầu chia sẻ.
Điều tôi ấn tượng nhất về Amanotes chính là những thành tích chói sáng của họ trong lĩnh vực âm nhạc công nghệ (music tech) và việc startup này hoàn toàn tự thân, chưa từng trải qua các vòng gọi vốn nào, điều chúng ta không thường thấy trong thế giới startup hoặc ở các mô hình ứng dụng B2C (thường cần rất nhiều tiền để thu hút người dùng, nhất là ở quy mô toàn cầu).
Những thành quả chấn động của Amanotes. Ảnh: venturebeat.com
Kể từ khi thành lập vào cuối năm 2014, Amanotes đã đạt được những con số đáng kinh ngạc đối với một công ty do người Việt sở hữu:
Năm 2019, App Annie từng xếp hạng Amanotes là một trong 5 nhà xuất bản hàng đầu ở ĐNA, top 20 nhà xuất bản ứng dụng di động trên mọi hạng mục, có thể ngồi chung mâm với các ứng dụng ‘không thể không biết’ từ 2 gã khổng lồ Facebook và Bytedance. SensorTower xếp Amanotes vào 20 nhà phát triển ứng dụng hàng đầu thế giới, với số lượng tải cao nhất cũng trong năm này.
Năm 2020, các tựa game của Amanotes có 1,3 tỷ lượt tải (tăng trưởng 200% về lượt tải trong vòng 6 năm), 95 triệu người dùng và hơn 50 tỷ phút gameplay.
Năm 2022, 2 tỷ lượt tải về trên toàn cầu, 120 triệu người dùng tích cực mỗi tháng từ 191 quốc gia. Số lượt tải về của Magic Tiles 3 là
Doanh thu dự kiến vào năm 2023 lên đến 935.2 triệu đô. Nguồn doanh thu chính đến từ quảng cáo, in-app purchase và chia sẻ lợi nhuận với các indie developer khi họ xuất bản game trên nền tảng của Amanotes
Hành trình 8 năm
Làm sao chỉ trong 8 năm, Amanotes đã vươn tới vị trí như vậy?
Theo anh Võ Tuấn Bình, CEO và đồng sáng lập của Amanotes, điều đó bắt đầu bằng niềm đam mê mãnh liệt dành cho âm nhạc và công nghệ, mong muốn tạo ra hệ sinh thái âm nhạc tương tác, và tầm nhìn muốn đem sản phẩm ra thế giới.
2 Co-founder của Amanotes: Billy Võ và Silver Nguyễn. Ảnh: khoahocphattrien.vn
Các nhà sáng lập luôn tin rằng, âm nhạc sẽ giúp chúng ta sống hạnh phúc hơn.
Ngoài ra, thất bại từ nhiều lần khởi nghiệp trước đó đã cho anh những bài học, kinh nghiệm sâu sắc trong việc phát triển chiến lược thị trường đúng đắn, để cuối cùng tạo ra quả ngọt như hiện tại.
Năm 2014, 2 nhà sáng lập Amanotes, Võ Tuấn Bình và Nguyễn Tuấn Cường đã gặp nhau, cùng quyết tâm hiện thực hóa giấc mơ kết hợp âm nhạc và công nghệ, tập trung vào các game âm nhạc tương tác, công nghệ chính là phương tiện làm cho âm nhạc trở nên tương tác.
Sứ mệnh của Amanotes là xuất bản những ứng dụng âm nhạc tốt nhất để giúp càng nhiều người trải nghiệm và tương tác với âm nhạc càng tốt.
Cả 2 sớm nhận ra hiện thực rằng họ cần doanh thu thì mới tồn tại được.
Họ bắt đầu bằng việc dựng website cho các công ty ở VN, và sử dụng nguồn thu nhập đó để tạo ra game Magic Tiles, và với sự tư vấn từ Google App Developer Sales Team, ứng dụng này trở thành một trong 5 game âm nhạc phổ biến nhất tại Mỹ không lâu sau đó.
Magic Tiles lấy cảm hứng từ ứng dụng Piano Tiles,được phát triển bởi Hu Wen Zeng (người TQ) vào năm 2014. Ứng dụng này nổi tiếng, làm cho nhiều developer cố bắt chước, nhưng Amanotes đã nhìn thấy được cơ hội trong đó.
Amanotes muốn giúp cho người dùng, những người không biết sử dụng nhạc cụ, có thể chơi được 1 bài nhạc mà họ thích theo cách đơn giản nhất có thể.
Điều này phù hợp với định hướng ban đầu của công ty là tập trung vào ngách nhỏ – hyper casual mobile music games, nghĩa là người ta có thể chơi game chỉ với 1 hoặc 2 hành động đơn giản.
Sau thành công với Magic Tiles, bằng mô hình “startup inside startup”, Amanotes đã hợp tác với các indie developer (nhà phát triển độc lập), hoặc nhân viên nội bộ tạo ra nhiều ý tưởng, và sản phẩm trong hệ sinh thái của Amanotes
Game Magic Tiles của Amanotes. Ảnh: Pinterest
Sở dĩ mô hình ‘startup inside startup’ thành công là vì các indie developer nếu muốn phát triển một ứng dụng game âm nhạc, sẽ mất rất nhiều chi phí cho bản quyền bài nhạc và chắc chắn sẽ không kham nổi các chi phí marketing liên quan. Chưa kể nền tảng của Amanotes sở hữu lượng khách hàng đông đảo, điều đó mang lại lợi thế rất lớn cho các indie developer.
Đến nay, đã có hơn 60 ứng dụng mobile với tổng hơn 1 tỷ lượt tải về. Đội ngũ nhân sự cũng tăng từ 2 lên 200 người.
Nói về nhân sự, hiện Amanotes cũng đang tuyển một số vị trí trên Gambaru, cực kỳ thú vị, nếu muốn thử thách và đưa mình lên tầm cao sự nghiệp, hãy xem và ứng tuyển nhé:
Đối với vấn đề tuyển dụng nhân tài, nguyên tắc của Amanotes trong việc thu hút và giữ chân người tài đó là “Be Passionate. Be Authentic” (Đam mê. Chân thành).
Đội ngũ Amanotes
Đam mê là khi bạn yêu sản phẩm và bạn có thể chia sẻ nó với mọi người, và những ai có cùng đam mê sẽ tự đến với nhau. Chân thành cho họ biết bạn là ai, chỉ có vậy người ta mới thoải mái cho bạn biết họ là ai và xem xem có sự phù hợp nào để cộng tác với nhau hay không.
Con đường phía trước
Tương lai của Amanotes mở ra rất nhiều dự định.
Họ không chỉ dừng lại ở việc xây dựng ứng dụng, mà còn phát triển hệ sinh thái âm nhạc tương tác cho các publishers, developer, ca sĩ, người chơi.
Không chỉ thành công ở thị trường Mỹ và Châu Âu, Amanotes muốn tiếp tục hành trình chinh phục người dùng tại các thị trường Trung Quốc, Nhật Bản và Hàn Quốc.
Dự tính mở văn phòng đào tạo âm nhạc ở những khu vực quan trọng, bởi vì có nhiều fan chơi game âm nhạc lại có mong muốn học cách chơi nhạc thực sự.
Ngoài ra, mục tiêu của họ là có được nguồn vốn để mua lại các startup giúp nâng tầm nhìn “Everyone can music” lên một tầm cao mới.
Các ứng dụng phi tập trung (decentralized application), hay DApps, về cơ bản là các phiên bản dựa-trên-hợp-đồng-thông-minh-chạy-trên-blockchain của các ứng dụng được mạng Ethereum phổ biến. Chúng hoạt động giống như các ứng dụng truyền thống – người dùng thậm chí không nhận thấy sự khác biệt – nhưng cung cấp nhiều hơn về mặt bộ tính năng.
DApps đại diện cho một cách mới để tương tác với tài chính cá nhân. Khi người ta nghĩ đến tài chính truyền thống, người ta thường nghĩ đến hoạt động cho vay, đi vay, gửi tiết kiệm và các thực thể tương tự. Mỗi thứ trong số này được cung cấp bởi một cơ quan trung ương như ngân hàng hoặc các tổ chức tài chính khác.
Khác biệt giữa app truyền thống và dapps
Nhưng khi nói đến tương lai của tài chính, nhiều người coi tiền điện tử và blockchain là những đại diện của điều đó. Nếu đúng như vậy, làm thế nào để các nhiệm vụ tài chính đơn giản như cho vay diễn ra ở trạng thái phi tập trung?
Lịch sử của DApps
Khi Bitcoin (BTC) là mạng blockchain đầu tiên, công nghệ này đã phát triển vượt xa so với một giao dịch tài chính đơn giản. Khi Vitalik Buterin và các đồng nghiệp của mình đề xuất Ethereum (ETH) vào năm 2013, họ đã đặt mục tiêu vào một thứ lớn lao hơn – một cách sống phi tập trung.
Buterin đã hình dung ra một mạng internet dựa trên blockchain, nơi người dùng có quyền kiểm soát thay vì các tập đoàn.
Để làm như vậy, Ethereum sẽ cung cấp năng lượng cho những gì về cơ bản là các câu lệnh if-then tự động được gọi là hợp đồng thông minh (smart contract). Các hợp đồng này là bất biến, vì các quy tắc và giới hạn đã được đưa vào mã của chúng. Điều này nghĩa là bất kỳ bên nào cũng có thể giao dịch mà không cần trung gian, loại bỏ nhu cầu về các nền tảng tập trung.
Năm 2014 chứng kiến việc phát hành một báo cáo định nghĩa DApp, có tên là “Lý thuyết chung về các ứng dụng phi tập trung, Dapps”, được viết bởi nhiều tác giả có kinh nghiệm trong lĩnh vực như David Johnston và Shawn Wilkinson.
Bài báo định nghĩa DApps là các thực thể có các đặc điểm sau:
DApp phải có mã nguồn mở và hoạt động mà không có sự can thiệp của bên thứ ba. Nó phải được người dùng kiểm soát, vì họ đề xuất và bỏ phiếu cho những thay đổi được thực hiện tự động.
Tất cả thông tin phải được lưu trữ trong một mạng lưới blockchain có thể truy cập công khai. Phi tập trung là chìa khóa, vì không có điểm tấn công trung tâm.
DApps phải có một số loại token mật mã (cryptographic token) để truy cập và họ phải thưởng cho những người đóng góp trong token nói trên, chẳng hạn như người khai thác (miner) và cổ đông (staker).
DApp phải có phương pháp đồng thuận tạo ra token, chẳng hạn như bằng chứng công việc (PoW) hoặc bằng chứng cổ phần (PoW).
Từ đó, bài báo phân loại ba “loại” hoặc “lớp” DApp dựa trên cách người dùng tương tác với chúng.
DApp lớp một tự tồn tại trên blockchain của riêng chúng. Các dự án phổ biến nhất là loại DApp này, chẳng hạn như Bitcoin. Chúng yêu cầu một thuật toán đồng thuận và các quy tắc tích hợp.
DApps lớp hai thường được xây dựng trên lớp một, khai thác sức mạnh của blockchain đã nói. Thường được coi là giao thức, chúng sử dụng token cho các tương tác. Giải pháp mở rộng được xây dựng trên Ethereum là một ví dụ điển hình về DApp lớp hai. Các giao dịch có thể xử lý trên lớp thứ hai này trước khi thực hiện với lớp đầu tiên, loại bỏ một số tải khỏi chuỗi chính.
DApp lớp ba được xây dựng trên lớp hai, thường chứa thông tin cần thiết để hai lớp kia tương tác. Nó có thể lưu trữ các giao diện lập trình ứng dụng (API) và các tập lệnh cần thiết cho lớp một và lớp hai hoạt động. Ví dụ: giao thức lớp ba có thể chứa các DApp lớp hai khác nhau, tạo điều kiện thuận lợi cho trải nghiệm người dùng thông qua tất cả chúng.
Nói một cách đơn giản, bài báo định nghĩa DApp là các ứng dụng khác nhau được cung cấp bởi một blockchain lõi. Một số có thể xây dựng trên lớp ban đầu đó, nhưng tất cả chúng đều được coi là DApp nếu đáp ứng các tiêu chí đã đề cập ở trên.
Tại sao sử dụng DApps?
Phi tập trung mang lại nhiều lợi ích khác nhau so với các ứng dụng chạy trên mạng tập trung.
Chủ yếu là việc thiếu đi bên thứ ba, nhờ vào hợp đồng thông minh sáng tạo.
Một ứng dụng như Venmo cho phép một người gửi tiền cho bất kỳ ai, tuy nhiên, việc chuyển những khoản tiền đó vào tài khoản ngân hàng đều sẽ mất một khoản phí.
Thêm vào đó, việc chuyển tiền thường mất nhiều ngày mới đến nơi.
Tại sao sử dụng Dapps
Còn gửi tiền qua ứng dụng phi tập trung có nghĩa là không có hoặc rất ít chi phí phải trả.
Điều này giúp người dùng tiết kiệm tiền cho các khoản phí và việc xem xét các giao dịch phi tập trung là gần như ngay lập tức, giúp họ tiết kiệm thời gian.
Tất nhiên, DApp cũng không chạy trên các máy chủ tập trung.
Một lợi thế của các nền tảng phi tập trung là chúng không thể bị hủy hoại trước tất cả các loại tấn công, vì không có thiết bị vật lý nào để nhắm mục tiêu.
Điều này không chỉ làm cho mạng an toàn hơn mà còn không có thời gian chết. Luôn có thể truy cập các ứng dụng này.
DApp cũng có thể áp dụng cho hầu hết mọi ngành, chẳng hạn như trò chơi, y tế, quản trị và thậm chí là lưu trữ tệp.
Kết quả là, việc sử dụng DApp gần như không khác so với các ứng dụng truyền thống. Mặc dù người dùng hưởng lợi từ tất cả các thay đổi đằng sau đó, nhưng trải nghiệm thực tế sẽ giống nhau.
Cách tương tác với các ứng dụng này được coi là Web 3.0, cũng liên quan đến phi tập trung thông tin.
Khi web bắt đầu, đó là một không gian chứa đầy thông tin mà bất kỳ ai cũng có thể truy cập. Theo thời gian, các công ty lớn đã khai thác hoặc tập trung hóa nó.
Mặc dù các tổ chức này cung cấp dữ liệu đó “miễn phí”, nhưng chúng ta trả giá bằng cách cung cấp dữ liệu của chúng ta, sau đó họ bán dữ liệu này để thu lợi nhuận.
Sau đó, các công ty có quyền kiểm soát thông tin đó, biết người dùng của họ thích mua gì, họ có bao nhiêu tiền và họ biết ai. Sự kiểm soát đó cũng có nghĩa là họ có thể lấy nó đi.
Hãy đến với Web 3.0, nơi việc sử dụng DApp không phải trả giá bằng quyền riêng tư.
Thay vào đó, người dùng có thể chọn chỉ chia sẻ thông tin được yêu cầu, chẳng hạn như một cuộc kiểm tra y tế hoặc một khoản vay, và chọn ai sẽ nhìn thấy nó và trong thời gian bao lâu.
Các công ty cũng có thể trả tiền cho quyền truy cập này, đảm bảo rằng người dùng cũng thu được lợi nhuận từ nó. Ngoài ra còn có vấn đề về lòng tin.
Trong thế giới mà các công ty lớn được gọi là bảo mật cao đang làm rò rỉ tên người dùng, email và mật khẩu, thật khó để tin tưởng hoàn toàn vào bất kỳ ai.
Nhược điểm của DApps
Mặc dù các ứng dụng phi tập trung có thể cho thấy một tương lai không còn các tập đoàn, nhưng hiện tại có một số vấn đề lớn mà ngành đang nỗ lực giải quyết.
Đầu tiên, việc thiếu cơ quan trung tâm có thể đồng nghĩa với việc cập nhật và thay đổi nền tảng chậm hơn. Rốt cuộc, một bên có thể chỉ cần cập nhật ứng dụng của họ khi họ muốn.
Tuy nhiên, một DApp đòi hỏi sự đồng thuận của đa số từ ban quản trị – ngay cả đối với một bản sửa lỗi nhỏ.
Quá trình này có thể mất vài tuần hoặc thậm chí vài tháng khi người dùng tranh luận về ưu và nhược điểm của bất kỳ cải tiến nào.
Ngoài ra, DApps yêu cầu cơ sở người dùng có quy mô hợp lý để hoạt động bình thường. Họ cần các nút, ban quản trị và người dùng chỉ để tương tác với nó.
Tuy nhiên, việc truy cập DApp có thể khá khó khăn trong giai đoạn đầu này và nhiều người không nhận thấy sự hỗ trợ mà họ cần.
Trong tương lai, việc truy cập DApp có thể chỉ cần tải xuống. Nhưng hiện tại, người dùng phải tải xuống trình duyệt hỗ trợ DApp, gửi tiền điện tử được yêu cầu đến ví và tương tác từ đó.
Mặc dù người dùng hiểu biết về công nghệ sẽ không gặp vấn đề gì với điều này, nhưng đại đa số mọi người sẽ không biết bắt đầu từ đâu.
DApps trên thế giới
DApps trong thế giới tài chính dường như không có trí tuệ, nhưng chúng thực sự có thể đổi mới trong tất cả các ngành. Hãy cùng xem xét ở qua một số lợi ích trong các ngành như tài chính, truyền thông xã hội, trò chơi….
Tài chính
Những người cho vay và đi vay có thể sử dụng DApps để thực hiện công việc kinh doanh của họ.
Với ngân hàng, người cho vay kiếm mức lãi suất nhất định dựa trên số tiền họ tiết kiệm được. Một người tiết kiệm càng nhiều thì ngân hàng cho vay càng nhiều và cả hai bên càng có lãi về mặt tiền lãi.
Dapps tài chính (nguồn: Cointelegraph)
Tuy nhiên, ngân hàng, hoạt động như một thực thể tập trung, thực hiện một khoản cắt giảm lớn hơn những gì người cho vay có thể muốn, chỉ đơn giản là cung cấp không gian để lưu trữ tiền.
Trên DApp, người cho vay hưởng 100% tiền lãi vì không có trung gian thanh toán.
Ngoài có quyền kiểm soát nhiều hơn đối với các khoản vay, họ còn đồng thời kiếm được token từ nền tảng mà họ chọn để cho vay.
Đối với người đi vay, họ có nhiều quyền lợi hơn về lãi suất phải trả cũng như thời gian trả.
Thật vậy, một số nền tảng cho phép người vay mất vài tháng hoặc thậm chí nhiều năm để trả lãi, giả sử họ đáp ứng ngưỡng thanh toán tối thiểu.
Người đi vay cũng có thể thảo luận về tỷ lệ với người cho vay, đảm bảo đưa ra quyết định công bằng cho cả hai bên liên quan.
Khi tất cả được nói và thực hiện, giao dịch được có thể xảy ra ngay lập tức nhờ công nghệ hợp đồng thông minh.
Không cần phải có sự tham gia của luật sư và các bên thứ ba khác làm cho quá trình xác nhận mất nhiều thời gian hơn và với chi phí lớn hơn cho cả hai bên.
Truyền thông xã hội
Người dùng được hưởng lợi rất nhiều từ các DApp mạng xã hội. Trước hết, không có ai kiểm duyệt các bài đăng, nghĩa là có quyền tự do ngôn luận.
Tuy nhiên, nếu một số bài đăng trở thành vấn đề, cộng đồng có thể bỏ phiếu yêu cầu gỡ chúng xuống.
Những người có ảnh hưởng (influencer) cũng có thể kiếm được nhiều tiền hơn.
Trên các nền tảng truyền thống như Twitter, công ty kiếm được nhiều lợi nhuận nhất từ các dòng tweet phổ biến.
Nó thu được doanh thu quảng cáo từ tất cả các lượt truy cập trang web và tác giả không nhận được gì đồng bạc nào cả.
Các DApp mạng xã hội có thể có hệ thống tính tiền tích hợp sử dụng token của mình và người dùng có thể chạy quảng cáo và kiếm đầy đủ các khoản thanh toán của họ, thay vì một công ty ăn mất một phần.
Gaming
Gaming luôn là một trường hợp sử dụng DApp thú vị. Hiện tại, các trò chơi yêu cầu hàng chục giờ đầu tư để phát triển một nhân vật – có thể đầu tư bằng tiền thật – chỉ để nhân vật ngồi đó và mục rữa khi người chơi tiếp tục.
Dapps Gaming (ảnh: Cointelegraph)
DApps mang đến một giải pháp thú vị hơn về mặt giá trị. Lấy một trò chơi như CryptoKitties chẳng hạn.
Người chơi có được một tài sản mã hóa (tokenized asset), trong trường hợp này là một con mèo. Con mèo đó sau đó lớn lên theo thời gian, tăng giá trị nếu được nuôi dạy đúng cách.
Sau đó, người dùng có thể bán con mèo đó với bất kỳ giá nào họ muốn, giả sử sẽ có người trả tiền cho nó.
Thêm vào đó, một số con mèo có khả năng sinh sản với những con mèo khác, tạo ra một con mèo thậm chí còn hiếm hơn, có giá trị hơn.
Người chơi có thể buôn bán hoặc thu thập mèo, làm bất cứ điều gì họ muốn với những vật nuôi được mã hóa này. Đầu tư thời gian của họ trở nên thực sự có giá trị.
Bây giờ không có nhiều, nhưng hãy tưởng tượng khái niệm đó trong một tiêu đề hấp dẫn hơn với hàng giờ chơi. Chơi game toàn thời gian có thể là tương lai của chúng ta.
Bầu chọn và quản trị
Trong hầu hết các trường hợp, bỏ phiếu là một quá trình đau đớn. Nó thường bao gồm các bước xác nhận khác nhau – một số không thể tiếp cận được đối với những công dân không có nhà ở hoặc những người đang gặp vấn đề khác.
Đó là chưa kể đến hoạt động giả mạo và bất hợp pháp tương tự.
DApp bầu chọn có thể mở ra quy trình cho tất cả mọi người nhờ vào hợp đồng thông minh.
Về cơ bản, cộng đồng có thể bầu chọn cho một danh sách các đề xuất. Sau đó, họ có thể thiết lập khung thời gian, chẳng hạn như 24 giờ, để người dùng “đặt” phiếu bầu của họ bằng token. Điều này mở ra sự tham gia cho tất cả mọi người, cho phép mọi người bỏ phiếu ẩn danh tại đó.
Các phiếu bầu được lưu trữ trong một mạng phi tập trung, làm cho chúng không thể thay đổi và không thể làm giả.
Ngoài ra, các hợp đồng thông minh có thể thưởng cho những người bỏ phiếu bằng một token phù hợp cho những nỗ lực của họ, khuyến khích nhiều người bỏ phiếu hơn bao giờ hết.
Gây quỹ và quảng cáo
Nhiều người dùng sử dụng trình chặn quảng cáo khi duyệt web. Đây rõ ràng là một nỗi đau đối với các trang web đang cố gắng tạo ra doanh thu, nhưng có thể hiểu được ở một số khía cạnh vì quảng cáo đã trở nên khá khó chịu theo nhiều cách.
DApp trình duyệt có thể sửa chữa điều này.
Khi người dùng duyệt web, họ làm như vậy với trình chặn quảng cáo và trình theo dõi tích hợp trình duyệt, kiếm tiền điện tử trong quá trình đó.
Giờ đây, khi người dùng tìm thấy người sáng tạo và trang web mà họ muốn ủng hộ, họ có thể chọn cho phép đóng góp.
Điều này có nghĩa là người dùng duyệt web càng lâu thì họ càng trả nhiều tiền hơn cho trang web đó theo thời gian. Người dùng thậm chí có thể bật quảng cáo cho các trang web cụ thể đó, giúp họ nhiều hơn về lâu dài.
Quyền riêng tư là tên của trò chơi ở đây. Người dùng chọn người có thể theo dõi họ, bảo vệ thông tin của họ và vẫn đóng góp cho các nền tảng cần tiền. Đó là một tình huống đôi bên cùng có lợi.
