Thứ 591 chương Thiêu đi ra ngoài đồ vật liền một câu nói đều viết không thông
Ba trăm tấm V100 toàn bộ đến đông đủ.
Liêu Viễn mang theo hai cái kỹ sư trang ba ngày. Tủ máy xếp thành hai hàng, mỗi đài server cắm tám cái tạp, ba mươi tám máy hợp thành một tổ tụ quần. Nguồn điện vừa mở, cả tầng lầu điều hoà không khí đều đi theo vang dội.
" Công hao chín mươi kilowatt." Liêu Viễn vỗ vỗ tủ máy, " Tiền điện một tháng 5 vạn cất bước."
Lâm Nghiễn đứng tại phòng máy cửa ra vào liếc mắt nhìn.
" Lúc nào có thể chạy?"
" Đêm nay." Liêu Viễn nói, " Tụ quần dựng tốt."
Tần Lãng Tại Bạch Bản Thượng vẽ lên một ngày.
Lâm Nghiễn đi vào thời điểm, hắn chính cùng Tiết Kỳ Phong thảo luận tài liệu ngôn ngữ.
"GPT-2 huấn luyện số liệu gọi WebText." Tần Lãng đẩy mắt kính một cái, "OpenAI từ Reddit bên trên bắt 4500 vạn cái kết nối, nhưng xếp đặt cái cánh cửa —— Chỉ trảo bị điểm khen vượt qua ba lần thiếp mời."
" Dùng dân mạng nhấn Like làm cái sàng." Tiết Kỳ phong tiếp một câu.
" Đúng. Trên Internet rác rưởi nhiều lắm, không có cách nào một đầu một đầu chọn. Nhưng Reddit nhấn Like cơ chế tương đương với mấy trăm vạn dân mạng giúp ngươi chọn qua —— Chí ít có người cảm thấy đáng giá nhìn. Cuối cùng si đi ra 800 vạn thiên văn chương, bốn mươi G văn bản."
" Tiếng Trung đâu?" Lâm Nghiễn hỏi.
" Tiếng Trung không có Reddit." Tần Lãng Tại Bạch Bản Thượng vẽ một cái phễu, " Cho nên chúng ta chính mình si. Bách khoa, tin tức, tiểu thuyết, luận đàn thiếp tử, luận văn trích yếu toàn bộ bắt trở lại, thiết lập quy tắc —— Luận đàn thiếp tử theo hồi phục đếm qua lọc, tin tức đè tới nguyên loại bỏ, bách khoa thu hết. Thanh tẩy đi trọng sau đại khái 100 ức chữ."
" Đủ sao?"
"GPT-2 là bốn mươi G tiếng Anh, tiếng Trung tin tức mật độ thấp một chút, 100 ức chữ không sai biệt lắm." Tần Lãng dừng một chút, " Nhưng chất lượng so số lượng trọng yếu. Uy cái gì đi vào, đi ra chính là cái gì. Uy rác rưởi, đi ra ngoài chính là rác rưởi."
Lâm Nghiễn nhìn bạch bản mấy giây." Chạy."
Huấn luyện bắt đầu ngày đó, Tô Vãn tới.
Hắn không phải đến xem náo nhiệt. Hội ý server uỷ trị tại ghi chép máy bay hành khách phòng, tiền điện đi ghi chép khách sổ sách. 2000 vạn chuyện hắn không có ngăn lại, nhưng mỗi một phân tiền xài như thế nào hắn phải nhìn chằm chằm.
Phòng máy cửa vừa mở ra, sóng nhiệt phốc khuôn mặt. Ba mươi tám đài server vận chuyển hết tốc lực, quạt âm thanh giống máy bay động cơ. Tô Vãn đứng ở cửa, bị gió nóng thổi đến híp mắt.
" Đây chính là huấn Đại Mô Hình?"
" Ân." Tần Lãng nói.
" Có thể giải thích một chút đến cùng đang làm gì sao? Làm kinh doanh xem không hiểu dấu hiệu."
Tần Lãng đứng lên, đi đến bạch bản phía trước. Hắn mỗi lần giảng giải phức tạp vấn đề đều như vậy —— Đứng lên, cầm bút, vẽ.
" Ngươi dùng qua điện thoại đưa vào pháp liên tưởng công năng a? Đánh ' Hôm nay ', nó tự động nhảy ra ' Thời tiết '."
" Dùng qua."
" Đại Mô Hình huấn luyện trên bản chất chính là cái này —— Đoán cái tiếp theo chữ. Cho mô hình nhìn một câu nói nửa đoạn trước, để nó đoán cái tiếp theo chữ. Đã đoán đúng nhớ kỹ, đoán sai điều chỉnh. Sau đó đem toàn bộ Internet văn chương rả thành mấy chục ức cái dạng này đoán chữ đề, để nó đoán mấy chục ức lần."
" Cứ như vậy?"
" Cứ như vậy." Tần Lãng nói, " Nhưng mấu chốt tại quy mô. Đoán một trăm lần, cái gì đều không học được. Đoán 1 ức lần, học được ngữ pháp. Đoán 10 ức lần, học được lôgic. Đoán mấy chục ức lần —— Bắt đầu có thể viết văn."
Tô Vãn suy nghĩ một chút." Giống tiểu hài đọc sách?"
" Không sai biệt lắm. Đọc một quyển sách, chỉ có thể chiếu vào chụp. Đọc 1000 bản, bắt đầu có thể tự mình viết. Đọc 1 vạn bản, cái gì đều có thể viết. Khác nhau là, mô hình đi học tốc độ là người 100 vạn lần."
Tô Vãn nhìn một chút tủ máy." Vậy những này tạp làm gì dùng? Phổ thông máy tính không được?"
" Không được." Tần Lãng tại Bạch Bản Thượng vẽ lên hai cái vòng, một lớn một nhỏ."CPU giống một cái giáo sư đại học —— Cái gì cũng biết, nhưng một lần chỉ có thể làm một chuyện.GPU giống 1000 cái học sinh tiểu học —— Mỗi người chỉ có thể phép cộng trừ, nhưng 1000 người đồng thời tính toán, so giáo thụ nhanh hơn nhiều. Huấn Đại Mô Hình chính là mấy chục ức đạo phép cộng trừ, để cho giáo thụ một người làm, làm đến chết cũng không có xong. 1000 cái học sinh tiểu học cùng một chỗ làm —— Mấy ngày giải quyết."
Tô Vãn nhìn một chút cái kia sắp xếp tủ máy." Cho nên những thứ này tạp chính là học sinh tiểu học?"
" Ba trăm tấm V100, mỗi tấm hơn 5000 cái hạch tâm, cộng lại 150 vạn cái học sinh tiểu học đồng thời làm bài."
Tô Vãn không có hỏi nữa. Liếc mắt nhìn công tơ điện, quay người đi. Tới cửa vừa quay đầu, lầm bầm một câu. 150 vạn học sinh tiểu học, một tháng 5 vạn khối học phí. Âm thanh bị quạt phủ lên hơn phân nửa.
Huấn luyện chạy bốn ngày.
Ngày thứ tư buổi tối, Tần Lãng tại phòng thí nghiệm không đi. Lâm Nghiễn đi vào thời điểm, hắn nhìn chằm chằm trên màn hình đường cong, biểu lộ không tốt lắm.
" Đi ra?"
" Đi ra." Tần Lãng đem màn hình quay tới.
Trên màn hình là mô hình sinh thành văn bản ——
Đưa vào: Trung quốc thủ đô là
Thu phát: Trung quốc thủ đô là một cái trọng yếu thành thị tại Trung quốc phương bắc có rất nhiều
Không lưu loát. Trước sau không nối xâu. Giống vừa học tiếng Trung người ngoại quốc, từng chữ đều biết, liều mạng cùng một chỗ không có chút nào lôgic.
" 1 ức tham số." Tần Lãng nói, " Có thể ra từ, có thể dấu chấm, nhưng liền không thành lưu loát lời nói."
"GPT-2 nhỏ nhất phiên bản bao nhiêu tham số?"
" 1 ức hai."
" Không sai biệt lắm."
Tần Lãng nhìn hắn một cái." Nhưng GPT-2 bản đầy đủ 15 ức, kém mười lăm lần. Hơn nữa bọn hắn tài liệu ngôn ngữ có Reddit nhấn Like loại bỏ, chúng ta còn không có nghiệm chứng."
Lâm Nghiễn nhìn màn ảnh. Trung quốc thủ đô là một cái trọng yếu thành thị tại Trung quốc phương bắc có rất nhiều —— Giống một cái câu, nhưng không phải một cái câu.
" Vấn đề ở chỗ nào?"
Tần Lãng trầm mặc một chút." Không xác định. Có thể là tài liệu ngôn ngữ chất lượng, có thể là tham số phối trí, cũng có thể là là huấn luyện bộ đếm không đủ. Liêu Viễn tại tra nhật ký." Hắn điều ra một cái khác đường cong, " Đây là loss—— Chính là mô hình đoán sai xác suất. Hai ngày trước hàng rất nhanh, sau hai ngày cơ bản bình. Thuyết minh đang học, nhưng học học kẹt."
" Bao lâu có thể điều tra ra?"
" Mấy ngày đến mấy tuần."
" Tiếp tục chạy."
Tần Lãng không nhúc nhích." Không ngừng?"
" Ngừng chính là trắng thiêu bốn ngày."
Tần Lãng đẩy mắt kính một cái, quay lại màn hình, bắt đầu điều tham số.
Lâm Nghiễn đi ra phòng thí nghiệm. Cuối hành lang là phòng máy, trong khe cửa lộ ra gió nóng cùng tiếng ông ông. Ba trăm tấm tạp vận chuyển hết tốc lực, mỗi giờ thiêu hủy mấy trăm khối tiền điện.
Bốn ngày, thiêu đi ra ngoài đồ vật liền một câu nói đều viết không thông.
Tần Lãng đuổi theo ra tới." Ngươi như thế nào không vội?"
"GPT-2 nhỏ nhất phiên bản cũng là trình độ này." Lâm Nghiễn nói, "OpenAI từ tiểu phiên bản đến lớn phiên bản, dùng 9 tháng."
" Chúng ta không có 9 tháng."
" Không cần 9 tháng. Lộ đúng hay không, bây giờ có thể đã nhìn ra."
Tần Lãng sửng sốt một chút.
" Lộ đúng. Tốc độ không đủ." Lâm Nghiễn nói xong đi.
Tần Lãng đứng trong hành lang, nhìn xem phòng máy khe cửa lộ ra quang. 150 vạn cái " Học sinh tiểu học " Ở bên trong điên cuồng làm bài, giao ra một tấm thất bại bài thi.
Nhưng Lâm Nghiễn nói lộ đúng.
Hắn nói mỗi một câu " Về sau ", về sau đều ứng nghiệm.