USA, thung lũng Silicon.
Noam Sa Trạch ngươi vừa kết thúc buổi sáng hội nghị, trở lại văn phòng lúc đã nhanh một điểm.
Tại thung lũng Silicon, tên của hắn bản thân liền là truyền kỳ.
2017 năm, Google ban bố một thiên vượt thời đại luận văn 《Attention Is All dụ Need》, bản này luận văn đưa ra Transformer cơ cấu, triệt để cải thiện trí tuệ nhân tạo tiến trình, hắn chính là bản này luận văn hạch tâm tác giả một trong.
Có thể nói, hôm nay toàn thế giới tất cả lớn ngôn ngữ mô hình tầng dưới chót cơ cấu, đều nguồn gốc từ hắn cùng mặt khác bảy vị tác giả sáng tạo.
2021 năm, hắn rời đi Google, cùng Daniel Đức Freyr tháp tư cùng một chỗ sáng lập Character.AI, làm AI nhân vật nói chuyện phiếm bình đài.
Sản phẩm sau khi lên mạng lượng người sử dụng căng vọt, năm nay vừa hoàn thành A luận đầu tư bỏ vốn, công ty đánh giá giá trị đột phá 10 ức USD, hắn cũng bị 《 Thời đại 》 tuần san định giá toàn cầu bách đại AI một trong những nhân vật.
Đối với một người như vậy tới nói, thời gian vĩnh viễn không đủ dùng.
Buổi sáng liên tục mở hai cái sẽ, đến giữa trưa hắn đã có chút mỏi mệt, trợ lý đem cơm trưa đặt ở trên bàn hắn, hắn một bên ăn một bên bật máy tính lên, nghĩ thừa dịp điểm ấy đứng không xử lý chất chứa bưu kiện.
Hộp thư bên trong nằm mấy chục phong bưu kiện mới, trong đó gần một nửa là luận văn xem xét bản thảo mời.
Bây giờ AI lĩnh vực quá nóng, mỗi tháng đều có hàng trăm hàng ngàn thiên luận văn mới phát ra đi, xem như Transformer một trong những người phát minh, hắn nhận được mời đương nhiên sẽ không thiếu.
Bất quá nhìn một thiên luận văn quá mức tốn thời gian, dưới mắt công ty lại vội vàng, hắn căn bản không có dư thừa tinh lực.
“Xem một chút đi, có thể đẩy đều đẩy.” Hắn lẩm bẩm, vạch lên con chuột, đem mấy phong xem xét bản thảo bưu kiện dần dần tiêu ký thành “Cự tuyệt”.
Thẳng đến ánh mắt của hắn dừng ở trên trong đó một phong.
《Transport-Optimal Sparse Attention: A Compute-Efficient Framework for Large-Scale Language Models》
Ngón tay của hắn dừng ở trên con chuột, không có xuống chút nữa điểm.
Hắn liên tục ở trong lòng đọc thầm ba lần tiêu đề, ý thức được bản này luận văn tựa hồ không tầm thường.
Xuống chút nữa nhìn, là biên tập gửi tới ngắn gọn giới thiệu, nói bản này luận văn đưa ra một loại mới lực chú ý cơ chế, tại bảo trì mô hình năng lực đồng thời, có thể diện rộng hạ thấp huấn luyện tính toán lực, tác giả tuyên bố tại trên nhiều cái tiêu chuẩn cơ bản khảo thí đạt đến cùng tiêu chuẩn Transformer tương đương thậm chí hiệu quả tốt hơn.
Đại Mô Hình có đốt thêm tiền, không có người so Sa Trạch ngươi càng hiểu rõ.
Nếu như loại này cơ chế thật có trong luận văn nói đến xinh đẹp như vậy, kia đối toàn bộ nghề nghiệp ý nghĩa không thể đo lường.
Hắn cấp tốc trở về một phong bưu kiện, biểu thị nguyện ý xem xét bản thảo.
Đối phương động tác rất nhanh, không đến 10 phút, hoàn chỉnh luận văn liền phát tới.
Sa Trạch ngươi đem cơm trưa đẩy lên một bên, ấn mở luận văn.
Trong văn phòng an tĩnh lại, chỉ có điều hoà không khí nhỏ nhẹ tiễn đưa phong thanh.
Luận văn hết thảy hơn 30 trang, hắn từ trích yếu bắt đầu nhìn, sau đó tiến vào phi lộ.
Hắn nguyên bản định trước tiên quét một lần kết cấu phán đoán một chút đối phương đại khái trình độ, kết quả hoàn toàn rơi vào đi, chờ hắn lại nâng lên đầu lúc, đã một giờ đi qua.
Bản này luận văn toán học suy luận cực kỳ nghiêm mật, tối ưu truyền thâu bị dùng để trọng tân định nghĩa lực chú ý quyền trọng thưa thớt hóa quá trình, cũng không chỉ là đơn giản tại trên đã có cơ cấu làm mũi tên, mà là từ năng lượng tối ưu hóa nhất góc độ xuất phát, cấp ra trọn vẹn hoàn toàn mới lực chú ý tính toán dàn khung.
Luận văn còn cho ra phức tạp độ phân tích, lý luận kết quả rất sạch sẽ, thí nghiệm bộ phận cũng còn được vững chắc.
Sa Trạch ngươi càng xem càng cảm thấy phía sau lưng phát lạnh.
Kể từ hắn phát minh Transformer sau, Nhân Công Trí Năng lĩnh vực biến chuyển từng ngày.
Trên thị trường tràn ngập số lớn Đại Mô Hình, đây đều là thuận lý thành chương chuyện, nhưng cũng không bao quát bản này luận văn.
Loại này cấp bậc việc làm, không nên xuất hiện tại bây giờ.
Quá sớm, sớm đến làm cho hắn có chút không thích ứng.
Hai giờ rưỡi xế chiều, trợ lý gõ cửa đi vào: “Lão bản, buổi chiều kỹ thuật hội nghị sắp bắt đầu, tất cả mọi người đến hội bàn bạc phòng.”
Sa Trạch ngươi không ngẩng đầu: “Bãi bỏ.”
Trợ lý sửng sốt một chút: “Bãi bỏ?”
“Bãi bỏ,” Sa Trạch ngươi lặp lại một lần, con mắt còn dừng ở trên màn hình, “Ta có chuyện tạm thời, hôm nay kỹ thuật hội nghị đổi ngày.”
Trợ lý không dám hỏi nhiều, rón rén lui ra ngoài.
Sa Trạch ngươi tiếp tục xem luận văn, mãi cho đến một trang cuối cùng.
Hắn chậm rãi dựa vào trở về thành ghế, trong đầu lật qua lật lại chỉ có một cái ý nghĩ: Nếu như cái này dàn khung thật có thể chạy thông, Đại Mô Hình ngành nghề sẽ lại lần động đất.
Từ trước mắt xem ra, đây là khả năng cao chuyện.
Hắn nhìn xuống bản này luận văn tác giả, hết thảy 4 cái tác giả toàn bộ đến từ Hoa Hạ, vừa làm WuYi, một cái hoàn toàn chưa từng nghe qua tên.
Hắn nhíu mày trầm tư: “Đột nhiên xuất hiện thiên tài?”
Qua đại khái 10 phút, hắn cầm lên nội bộ điện thoại: “Thông tri bộ môn kỹ thuật, chuẩn bị một tổ A100 tụ quần.”
Luận văn bên trong cũng không có toàn bộ mật mã gốc, bất quá cấp ra bộ phận đầy đủ nghiệm chứng dấu hiệu, Sa Trạch ngươi đem những thứ này dấu hiệu đơn độc dẫn xuất tới, mang lên máy tính ra văn phòng.
Bộ phận kỹ thuật tại số ba lầu, Sa Trạch ngươi đến thời điểm, công trình người phụ trách đã đợi tại cửa ra vào.
“Máy móc đã dọn ra, một tổ tám tạp, đủ sao?”
“Chạy trước cái quy mô nhỏ, hẳn là đủ.” Sa Trạch ngươi tìm một cái an tĩnh độc lập vị trí công tác ngồi xuống, đem dấu hiệu copy đi vào, dựa theo trong luận văn cho ra tham số phối trí hảo nhiệm vụ huấn luyện.
Nhiệm vụ huấn luyện khởi động, trên màn hình thiệt hại đường cong bắt đầu nhảy lên.
Sa Trạch ngươi ôm cánh tay, tựa lưng vào ghế ngồi, mắt không hề nháy một cái mà nhìn chằm chằm vào đầu kia chậm rãi giảm xuống đường cong.
Cũng không lâu lắm, Daniel Đức Freyr tháp tư tới, hắn cùng Sa Trạch ngươi là bạn nối khố, cùng một chỗ sáng lập Character.AI.
“Noam, ngươi như thế nào đột nhiên đem sẽ hủy bỏ? Xảy ra chuyện gì?” Daniel đi đến trước bàn.
Noam chỉ chỉ màn hình: “Bởi vì cái này.”
Daniel theo hắn chỉ phương hướng nhìn sang, trên màn hình chỉ có một cái nhiệm vụ huấn luyện thời gian thực trạng thái giới diện, thiệt hại đường cong đang tại đi xuống dưới, bên cạnh là mấy cái giám sát mặt ngoài.
“Ngươi mới viết huấn luyện kịch bản gốc? Chạy cái gì đâu?” Daniel hỏi.
“Một cái mới cơ cấu nghiệm chứng.” Noam nói.
“Mới cơ cấu?” Daniel sửng sốt một chút, lại nhìn vài lần, “Cái này phối trí...... Không phải chúng ta hiện hữu đồ vật a?”
“Không phải.”
“Ngươi chừng nào thì làm cho? Sẽ không hôm nay một buổi chiều liền......”
Daniel rất rõ ràng hắn cái này bạn nối khố chỗ lợi hại.
Lúc đó ngày đó vượt thời đại luận văn 《Attention Is All dụ Need》, Noam viết lại bộ môn dấu hiệu, tăng trưởng rõ rệt hệ thống tính năng, cho nên tại trong tác giả sắp xếp danh liệt đệ nhất.
“Không phải ta làm cho.” Noam đánh gãy hắn.
Daniel sửng sốt một chút.
Noam đem thân thể hướng về bên cạnh nhường, ra hiệu hắn nhìn phía dưới màn hình cái kia huấn luyện phối trí trích yếu.
Daniel xích lại gần nhìn kỹ một hồi, tham số không tính lớn, nhưng ý nghĩ thiết kế rất đặc biệt, lực chú ý tầng tính toán quá trình cùng tiêu chuẩn Transformer hoàn toàn khác biệt.
“Ý nghĩ này...... Có chút ý tứ,” Daniel từ từ nói, “Ai nghĩ đi ra ngoài?”
Sa Trạch ngươi trầm mặc một chút, nói: “Đến từ Hoa Hạ thiên tài.”
Daniel có chút kinh ngạc quay đầu nhìn hắn: “Hoa Hạ?”
Noam gật gật đầu.
Daniel lại liếc mắt nhìn trên màn hình huấn luyện đường cong, đường cong còn tại đi xuống dưới, độ lệch ổn định đến đáng sợ.
“Cái này muốn thật có thể chạy thông......”
Hắn chưa nói xong, Noam tiếp nối: “Vậy chúng ta liền phải suy nghĩ một chút bây giờ bộ này cơ cấu còn có thể chống bao lâu.”
Daniel hít sâu một hơi, thấp giọng mắng một câu: “Người Hoa thực sự là càng ngày càng ngoại hạng.”
Noam không nói chuyện.
Đi qua mấy thập niên này, Hoa Hạ xảy ra biến hóa cực lớn, trước đó một mực là USA một nhà độc quyền, đặc biệt là tại công nghệ cao lĩnh vực, nhưng bây giờ liền tốt không nói.
Hắn biết Hoa Hạ cũng nhấc lên Đại Mô Hình trào lưu, nhưng cũng không quá để ý, bọn hắn mới là nghề nghiệp người đi trước, sẽ không thật bị đường rẽ vượt qua a?
Trên màn ảnh lớn thiệt hại đường cong tiếp tục nhảy lên, mỗi một lần hạ xuống đều để Daniel tim đập rộn lên.
Lại qua nửa giờ, nhiệm vụ huấn luyện chạy tới dự thiết bước đếm.
Thiệt hại đường cong tại sau cùng mấy chục bước trong cơ bản đi bình, chưa từng xuất hiện bắn ngược, mấy cái phụ trợ chỉ tiêu cũng ổn định tại trong một người phi thường xinh đẹp khu gian.
Sa Trạch ngươi ấn mở kết quả mặt ngoài, cùng tiêu chuẩn Transformer cùng tham số dây chuẩn so sánh, thu liễm tốc độ rõ ràng càng nhanh, thời gian huấn luyện trên diện rộng rút ngắn, mà thiệt hại giá trị cũng không có cao quá nhiều.
Cân nhắc đến hắn chỉ có bộ phận dấu hiệu, mật mã gốc chắc chắn càng mạnh hơn.
Hắn nhìn chằm chằm vậy được con số, qua một hồi lâu, mới chậm rãi thở ra một hơi: “Đáng sợ.”
Daniel vẫn đứng tại phía sau hắn, lúc này cũng nhìn thấy kết quả, nuốt nước miếng một cái: “Thật chạy ra ngoài.”
Sa Trạch ngươi khẽ gật đầu một cái, ánh mắt phức tạp.